Joe se narodil na Floridě pochází z židovské rodiny a chodil do hebrejské školy. Jeho otec je kardiolog.

Vyrůstal v městě South Russell, která leží východně od Ohia, kde žil celkem dvanáct let.

Během školy hrál na pozoun ve školní skupině, kytaře se začal věnovat na druhém stupni školy.

Když mu bylo dvanáct rodina se přestěhovala do Chicaga, kde pro zábavu začal hrát v různých kapelách, jednou z nich byla i kapela Arma Angelus, kde potkal Petea Wentze, který v té době v kapele zpíval.