Vyrůstal jako jedináček u matky, která projevovala umělecké sklony. Navštěvoval veřejné školy v Irvingtonu, Bloomfieldu a Newarku a pak pracoval v továrně na zpracování kůže, jako zmrzlinář a řidič náklaďáku. V šestnácti letech odešel dobrovolně k válečnému námořnictvu a krátce po válce se uchytil jako úředník v kanceláři pro demobilizované vojáky.

Aby navázal lepší kontakt se svými kolegyněmi z oddělení, přihlásil se s nimi do ochotnického divadelního souboru; zalíbilo se mu to natolik, že využil finanční podpory udělované válečným veteránům a začal studovat herectví v manhattanské dramatické dílně při New School for Social Research. Odtud po dvou letech přešel do Theater Wing a poté do Actors Studia, které krátce předtím založili Lee Strasberg a Elia Kazan.

V roce 1951 debutoval na Broadwayi rolí pětapadesátiletého detektiva ve hře Clifforda Odetse Noční hudba a neméně úspěšně si vedl v broadwayské inscenaci Ibsenova dramatu Nepřítel lidu a v roli mexického bandity ve scénickém přepisu Kurosawova filmu Rašomon (1959); tam měl za partnerku Claire Bloomovou, s níž se záhy oženil. Poč. 50. let nasbíral nejvíc zkušeností v TV, kde vytvořil řadu rolí, z nichž vyniká zejména titulní postava dobrosrdečného řezníka italského původu Marty Pillettiho v původní "živé" inscenaci realistického dramatu Paddyho Chayefského Marty.

Naturalisticky expresivní až patetické herectví blízké Stanislavského metodě prožívání, jaké si osvojil v Actors Studiu, důsledně uplatnil také před film. kamerou a činí tak dodnes. Do mezinárodního povědomí vstoupil a na Oscara 1954 byl nominován díky úloze zkorumpovaného účetního Charlese Malloye, kterého nechá zlikvidovat odborový dokařský předák (Lee J. Cobb) za to, že nedokázal podplatit svého čestně jednajícího bratra (Marlon Brando), v sociálním dramatu V přístavu (r. E. Kazan).

Druhou klíčovou rolí jeho film. začátků byl bezohledný hollywoodský producent Stanley Hoff, který vydírá jednoho ze svých herců (Jack Palance), v dramatu z hollywoodského zákulisí Velký nůž (r. R. Aldrich). Zavalitější postava, oválná tvář s pronikavýma hnědýma očima, měkké rysy obličeje - těmito fyziognomickými předpoklady byl přímo předurčen pro ztělesňování psychicky postižených, citově frustrovaných, zakomplexovaných, charakterově záporných a násilnických mužů, mezi nimiž nejčastěji figurují vyděrači (Křič hrůzou, Velký nůž, Tím hůř, když padnou) intrikáni (Jubal, Ruce nad městem, Lhostejní) a vrahové (Zpátky z věčnosti, Al Capone, Takhle se s dámou nejedná).

Působivou kreaci, jež mu vynesla cenu BAFTA 1966, Stříbrného medvěda na MFF v Západním Berlíně 1964 a nominaci na Oscara 1965, předvedl v postavě zahořklého židovského obchodníka z Harlemu Sola Nazermana, který nemůže zapomenout na hrůzy koncentračního tábora, v dramatu podle románu Edwarda Lewise Wallanta Zastavárník (r. S. Lumet). Neminul ho však již Oscar 1967 za roli primitivního, rasisticky smýšlejícího šerifa z jižanského městečka Billa Gillespieho, který při pátrání po vrahovi musí uznat profesionální i morální kvality černošského detektiva (Sidney Poitier), v kriminálním dramatu V žáru noci (r. N. Jewison).

Strhující výkon, jímž si vysloužil Donatellova Davida 1968, podal v úloze stárnoucího a osamělého homosexuálního seržanta Alberta Callana, o jehož zoufalém úsilí získat si přízeň mladého vojáka (J. Ph. Law), zasnoubeného s půvabnou Francouzkou (Ludmila Mikaelová), pojednává stejnojmenný film. přepis románu Denise Murphyho Seržant (r. J. Flynn).

Zvláštní místo v jeho galerii tragických postav zaujímají také historické osobnosti, vyznačující se egocentrickými a sebedestruktivními sklony a rozporuplnými charaktery: legendární chicagský gangster Al Capone (Al Capone), francouzský vojevůdce, dobyvatel a císař Napoleon Bonaparte (Waterloo), římský správce judské provincie Pilát Pontský (Ježíš Nazaretský), italský fašistický diktátor Benito Mussolini (Mussolini: poslední dějství, Lev pouště), admirál a dobyvatel severního pólu Robert E. Peary v TV dramatu Cook a Peary - boj o severní pól.

Od poč. 60. let často působil v Evropě, zejm. v Itálii. V poslední době se objevuje v nepříliš zajímavých thrillerech a hororech. Byl hostem MFF v Karlových Varech 1998, kde obdržel Cenu za dlouholetý přínos světové kinematografii. Jeho manželkami byly herečky Sally Graceová (1952-58), Claire Bloomová (1959-69) a Sherry Nelsonová (1973-79).