Původně studoval chov dobytka s úmyslem stát se rančerem. Aby vydělal rychle peníze ke koupi ranče, rozhodl pro hereckou dráhu. Absolvoval University of Texas v Austinu (architektura, drama) a vydal se do Hollywoodu. Uplatnil se pouze v menších úlohách ve filmu a v TV. Zkusil štěstí v New Yorku, kde studoval herectví u Lee Strasberga ve známém Actors Studiu a tanec u Marthy Grahamové.

Prosadil se na Broadwayi, především ve hrách Tennessee Williamse Sestup Orfeův (1958), Sladký pták mládí (cena Theater World Award 1958) a Skleněný zvěřinec (1975). Za mimobroadwayské účinkování ve hře Normana Mailera The Deer Park získal cenu Obie. Stal se výrazným představitelem charakterních úloh a často ztělesňoval záporné postavy - nevrlé, drsné a charakterově nevyrovnané muže.

Role samorostlého farmáře Marshe Turnera v životopise spisovatelky Marjorie Kinnan Rawlingsové Cross Creek (r. M. Ritt) mu přinesla nominaci na Oscara 1983. Často hrál skutečné osoby: spisovatel Henry Miller v Obratníku Raka (r. J. Strick), prezident Richard Nixon v TV seriálu o aféře Watergate Slepá ctižádost, italský producent Carlo Ponti v životopisném snímku o Sophii Lorenové Milovat a žít - Životní příběh Sophie Lorenové nebo generála Granta v TV seriálu Modrá a šedá, americký prezident Lyndon Johnson v TV snímku J. Edgar Hoover.

Jednu ze svých nejlepších kreací na film. plátně předvedl v postavě egoistického venkovského country zpěváka Mauryho Danna, o jehož nelichotivém kočovném životě vypráví drama Výplatní den (r. D. Duke). Pokusil se o režii nezdařeným příběhem nezaměstnané herečky Telefon s Whoopi Goldbergovou.

Z prvního manželství s herečkou Ann Wedgeworthovou pochází dcera Danae. V letech 1963-87 byla jeho druhou manželkou významná herečka Geraldine Pageová (1924-1987), s níž má dceru Angelicu (nar. 1964) a chlapecká dvojčata Anthonyho a Jonathana (nar. 1965). Jeho sestřenicí je herečka Sissy Spaceková.