Джозеф Айра Дассен (тогда Да́ссин) родился 5 ноября 1938 года в Нью-Йорке в семье актёра еврейского театра, в будущем известного кинорежиссёра Жюля Дассена (тогда Джулиус Дассин; 1911—2008) и скрипачки Беатрис Лонер-Дассен (Béatrice Launer-Dassin, 1913—1994).Дед Дассена по отцовской линии — Сэмюэл Дассин — эмигрировал в США из Одессы (Российская империя); дед по материнской линии — доктор Луис Лонер, исходно Лаунер — из Бучача (Галиция, Австро-Венгерская империя).

Родители Джо познакомились в летней колонии рабочей еврейской молодёжи в Катскильских горах, где Джулиус Дассин ставил одноактные пьесы, а Беатрис Лонер играла на скрипке в сопровождающем спектакли оркестре; расписались в 1933 году. Уроженка Нью-Йорка (чей отец эмигрировал в США в одиннадцатилетнем возрасте из Австрии) и выпускница еврейской школы в Бронксе, Беатрис Лонер продолжила обучение в Джулиардской школе музыки под руководством британского скрипача и педагога Гарольда Беркли, но оставила музыкальную карьеру после замужества.

​