Pocházel ze známé rodiny divadelníků; mezi předky z matčiny strany figurovali významní britští herci (Kate, Ellen, Marion a Fred Terryovi). Vyrůstal jako třetí dítě ze čtyř v rodině burzovního agenta polského původu. Jeho starší bratr Val Gielgud se posléze prosadil jako spisovatel. J. G. byl od dětství fascinován prostředím divadla, ale spíš než o herce se zajímal o scénografii.

Studoval na londýnské Westminster School a postupně stále víc tíhl k herectví, jehož základní lekce mu poskytla Constance Bensonová. Další odbornou průpravu absolvoval 1922-23 na Royal Academy of Dramatic Art pod vedením Clauda Rainse. Poč. 20. let zahájil profesionální kariéru na divadle, kde se proslavil vedle Laurence Oliviera a Ralpha Richardsona jako jeden z největších shakespearovských tragédů tohoto století.

V letech 1922-24 se připojil k divadelní společnosti Jamese Bernarda Fagana a 1928 ho angažoval Harcourt Williams do londýnského divadla Old Vic (statoval zde již 1921), na jehož scéně pak vytvořil mj. titulní party v Shakespearových hrách Richard II. (1929), Romeo a Julie, Hamlet (1929-30), Macbeth (1930), Král Lear (1940). 1928 se poprvé představil na divadle v New Yorku, kde pak 1936 slavil úspěch se svým Hamletem.

V roce 1937 založil svůj první vlastní soubor, s nímž se orientoval zejména na shakespearovský repertoár. Vedle mnoha britských divadel (Oxford, New Theatre, Queen's Theatre, National Theatre, Elsinor Castle, Globe Theatre, Stratford-on-Avon, Haymarket Theatre, Lyric Theatre, Palace Theatre, Royal Court Theatre) vystupoval a režíroval od 40. let také na předních světových scénách, zejména v New Yorku, kde uvedl nejen Shakespearova dramata, ale i díla jiných klasiků (mj. Čechovovy hry Višňový sad a Ivanov) a moderních autorů (mj. G. B. Shaw, P. Shaffer a E. Albee).

V roce 1959 podnikl třináctiměsíční turné po USA s vlastním shakespearovským programem nazvaným Životní období člověka. Zároveň s rozsáhlou divadelní činností rozvíjel od pol. 20. let své herecké aktivity rovněž ve filmu, kde na sebe výrazněji upozornil úlohou tajného agenta Richarda Ashendena, jemuž padne za oběť místo špiona (Robert Young) nevinný turista, ve špionážním dramatu Čtyři vyzvědači (r. A. Hitchcock).

Své bohaté jevištní zkušenosti a znalost shakespearovských postav využil také před kamerou v přepisech Shakespearových dramat (Julius Caesar, Richard III., Falstaff, Prosperovy knihy) a v mnoha filmech s historickou tematikou. Za roli Cassia ve snímku Julius Caesar (r. J. Mankiewicz) získal cenu BAFTA 1953, kterou obdržel také o jednadvacet let později díky úloze sluhy amerického milionáře Beddoese v adaptaci detektivního románu Agathy Christie Vražda v Orient-expresu (r. S. Lumet).

Z plejády historických osobností, jímž propůjčil na film. plátně svou podobu, vyniká mj. postava francouzského krále Ludvíka VII., za jejíž ztvárnění ve film. verzi stejnojmenné hry Jeana Anouilhe Becket (r. P. Glenville) byl nominován na Oscara 1964. Nevyhýbá se však ani komediálnímu žánru, jak o tom svědčí úloha mudrlantského komorníka Hobsona, jež mu vynesla Oscara 1981, ve ztřeštěné romantické komedii o nezdárném milionářském synovi Arthur (r. S. Gordon).

Pro svůj přísný a vznešený výraz tváře byl častokrát obsazován do rolí autoritativních profesorů (Ohnivé vozy), lékařů (Joseph Andrews, Sloní muž) a ctihodných aristokratů (Útok lehké kavalerie, Vražda na úrovni, Gándhí, Lovecká slavnost, Víc než dost). Strhující portrét umírajícího intelektuála, pronásledovaného trýznivými vidinami své minulosti a svých bližních, podal v postavě smrtelně nemocného spisovatele Cliva Langhama, na jehož narozeniny se u něho sejdou příbuzní, v psychologickém dramatu Prozřetelnost (r. A. Resnais).

Poněkud odlišným způsobem se loučí se životem jiný jeho hrdina, věhlasný americký dirigent polského původu John Lasocki, který umírá během svého hostování v rodném Polsku, kde osudově zasáhne do manželské krize dvou hudebníků (Krystyna Jandová a Andrzej Seweryn), v komorním psychologickém dramatu Dirigent (r. A. Wajda). Nezanedbatelné je také jeho působení v TV, kde vytváří obdobné typy postav jako ve filmu.

V roce 1953 byl povýšen do šlechtického stavu a 1974 se stal uměleckým ředitelem londýnského divadla National Theatre. Své vzpomínky, zkušenosti a postřehy o divadle shrnul do několika knih: Early Stages (1939, Jevištní počátky), Stage Directions (1963, Divadelní režie), Distinguished Company (1972, Vznešená společnost), An Actor and His Time (1979, Herec a jeho doba), Backward Glances (1989, Ohlédnutí) a Acting Shakespeare (1992, Hrát Shakespeara).