Nato a Mont Vernon nello stato di Washington da una famiglia di religione cattolica composta dal padre Jim, la madre Maggie, le sorelle Ann, Amy ed Erin e dal fratello Tim. James è cresciuto negli Stati uniti del nord-est. Da ragazzo non aveva intenzione di diventare attore ma, data la sua s