Nacido el 24 de enero de 1930, durante la Gran Depresión, John Romita fue criado en Brooklyn, Nueva York junto a un hermano y tres hermanas por los siciliano-estadounidenses Marie y Victor Romita. Se graduó de la Escuela de Arte Industrial de Manhattan a los 17 años y el día de su cumpleaños obtuvo su primer trabajo como artista de una fuente muy poco probable: un anestesiólogo del Hospital General de Manhattan. A Romita se le pagó para que elaborara una exhibición médica basada en la medicina pneumatología, un estudio obsoleto de las ciencias de los «seres espirituales» y el «aire».
Romita ingresó a la industria del cómic en 1949, pero fue reclutado por el Ejército de los EE. UU. en 1951. Después de mostrar sus muestras de arte, se le pidió que hiciera carteles de reclutamiento. Mientras tanto, conoció a Stan Lee mientras trabajaba para Timely Comics, el precursor de Marvel Comics. Si bien se dedicó principalmente a la guerra, el terror, el romance y los westerns, Romita tuvo la oportunidad de trabajar en la efímera reposición de «Capitán América» en 1954. También se casó durante ese tiempo, con Virginia Bruno en 1952, con quien tuvo dos hijos, Víctor y John Romita Jr. (1956).
Pronto, Romita Sr. se transfirió a DC Comics, donde trabajó duro en el género romántico con la esperanza de conseguir un cómic de superhéroes algún día. Pero cuando eso no funcionó, consiguió un trabajo en una lujosa agencia de publicidad. Cuando Lee escuchó que Romita Sr. se había ido de DC, lo llevó a un almuerzo de tres horas y le ofreció «Daredevil». «En la primera oportunidad que tuvo, me mostró esta historia de ‘Daredevil’ que alguien había comenzado y no le gustó. […He] me preguntó: ‘¿Qué harías con esta página?’ […] Hice […] solo un gran dibujo en papel de calco de Daredevil columpiándose. Y a Stan le encantó», le dijo a Alter Ego.