Джеймс Гандольфини родился в боро Уэствуд (штат Нью-Джерси), в семье американцев итальянского происхождения — кухарки и каменщика.

Гандольфини окончил Рутгерский университет. В 21 год устроился на работу администратором нью-йоркского ночного клуба на 21-й улице, где проработал два года. Позже Гандольфини вспоминал, что многие из сыгранных позже типажей были встречены им именно там. Окончил театральные курсы Сьюзан Эстон, преподававшей по методике Сэнфорда Мейснера, и участвовал в нескольких любительских постановках.

Дебют Гандольфини на большой бродвейской сцене состоялся в 1992 году в пьесе «Трамвай „Желание“» Теннесси Уильямса. Первая замеченная публикой и критиками роль в кино была сыграна Джеймсом в фильме Тони Скотта «Настоящая любовь». Также известен по фильмам «Одинокие сердца» с Джоном Траволтой и Сальмой Хайек и «Вся королевская рать» с Шоном Пенном и Джудом Лоу.

В фильме «Скорость падения» Гандольфини сыграл русского мафиози, во время съемок этого фильма зимой 1994 года посетил Москву. В музыкальной комедии «Любовь и сигареты» он играл вместе с Сьюзан Сарандон и Кейт Уинслет (режиссёр — Джон Туртурро). В драме «Мексиканец» партнёрами Джеймса стали Брэд Питт и Джулия Робертс.

Наибольшую известность Гандольфини принесла роль принципиального и авторитетного главы криминального клана Сопрано в одноимённом телесериале телеканала HBO. За её исполнение актёр был удостоен трёх премий «Эмми» и «Золотого глобуса». Сериал продержался на экранах шесть сезонов. Критики отмечали экстраординарную актёрскую пластику и харизматичность Гандольфини. Для соответствия сценарному образу актёр набрал 12 килограммов.

За предпоследнюю актёрскую работу, роль Альберта в романтической комедии «Довольно слов», Гандольфини, по мнению ведущих киноаналитиков США, вполне мог быть посмертно выдвинут на премию «Оскар-2014» за лучшую мужскую роль второго плана. Так и не войдя в шорт-лист «Оскара», Гандольфини был посмертно номинирован на премии «Независимый дух» и Гильдии киноактёров США в аналогичных категориях. Пресса отмечала, что актёр в этой картине «вызывает слёзы и согревает сердца».

Гандольфини был дважды женат. 30 августа 2008 года, после двух лет знакомства, Гандольфини женился второй раз на бывшей модели и актрисе Деборе Лин в ее родном городе Гонолулу, Гавайи. От первого брака есть сын Майкл (род. 1999), от второго — дочь, Лилиана Рут (род. 2012).

19 июня 2013 года, находясь на отдыхе с 13-летним сыном Майклом в Риме, около 22 часов по местному времени Гандольфини потерял сознание в ванной комнате гостиничного номера. После безуспешных попыток реанимации был объявлен мёртвым приблизительно в 23:20. По словам профессора Клаудио Модини, у актёра остановилось сердце.