Nacido en un pueblo de Carolina del Norte, Coltrane fue hijo de John R. Coltrane, un profesor y músico aficionado, y de Alice (Blair) Coltrane. Dos meses después de nacer, su abuelo materno, el Reverendo William Blair, fue nombrado regidor anciano de la A.M.E. Zion Church por lo que la familia se trasl