Divadlu se věnoval už jako teenager. Než však nastoupil profesionální hereckou dráhu, vystřídal řadu zaměstnání, pracoval např. jako prodavač knih, rozhlasový opravař, číšník a biletář. 1941 debutoval na Broadwayi ve hře Ghost for Sale.

Za války sloužil u letectva a po demobilizaci navštěvoval dvě newyorské herecké dílny - Dramatic Workshop of the New School for Social Research a od 1947 čerstvě založené Actors Studio. Právě jeden z čelných pedagogů tohoto učiliště, režisér Elia Kazan, mu poskytl první zkušenost před kamerou, když ho obsadil do role inspektora s dýmkou ve svém sociálním dramatu V přístavu. Daleko víc však zaujal úlohou předsedy poroty, který svým jednáním ztělesnil prototyp příjemného a sympatického oportunisty, v soudním dramatu Dvanáct rozhněvaných mužů (r. S. Lumet).

Další postavou, s níž se zapsal do dějin světové kinematografie, je soukromý detektiv Milton Arbogast, jehož při pátrání po zmizelé dívce s penězi (Janet Leighová) zavraždí mladý schizofrenik (Anthony Perkins), v legendárním psychothrilleru Psycho (r. A. Hitchcock). Od poč. 50 let dělil své herecké aktivity mezi film, TV a divadlo, kde byl za své výkony odměněn cenou Tony 1968 v premiérové broadwayské inscenaci komedie Roberta Andersona Víš přece, že neslyším, když teče voda a cenou Obie v mimobroadwayském představení hry Ronalda Ribmana Skladování v chladu.

Na TV obrazovce se začal objevovat hned v raných dobách živého vysílání koncem 40. let, např. v seriálech Playhouse 90, Studio One, Philco Television Playhouse, Dr. Kildare, Naked City (Nahé město), The Defenders (Obhájci), Alfred Hitchcock Presents (Alfred Hitchcock uvádí). Největšího uznání ve filmu (Oscar 1965) dosáhl vedlejší rolí Arnolda Burnse, který dělá agenta svému bratrovi-TV scenáristovi (Jason Robards jr.), v přepisu divadelní komedie Herba Gardnera Tisíc klaunů (r. F. Coe).

Jako charakterní herec se uplatnil především ve vedlejších partech, mezi nimiž vynikají postavy ve filmech se závažnou tematikou: majitel dostavníkové linky Henry Mendez ve westernu podle novely Elmora Leonarda Hombre (r. M. Ritt), horlivý plukovník Cathcart v adaptaci protiválečného satirického románu Josepha Hellera Hlava-22 (r. M. Nichols), podvodník s elixíry Meriweather ve westernovém eposu podle knihy Thomase Bergera Malý velký muž (r. A. Penn), velitel tichomořské flotily admirál Husbard E. Kimmel v rekonstrukci jedné z klíčových událostí 2. světové války Tora, Tora, Tora!!! (r. R. Fleischer) nebo Howard Simons v politickém dramatu o odhalení zákulisí aféry Watergate Všichni prezidentovi muži (r. A. J. Pakula).

Od poč. 70. let často působil v Itálii, kde účinkoval vedle komerčních snímků nevalné úrovně také v politických, společensko-kritických a kriminálních dramatech, v nichž ztvárňoval představitele zákona (Přiznání policejního komisaře prokurátorovi republiky, Pravda a lež, Bankovní konto s výstrahou).

Od pol. 70. let zvýšil frekvenci svých angažmá v TV, kde patří k jeho nejpopulárnějším rolím postava Murraye Kleina, židovského obchodního partnera titulního hrdiny (Jean Stapleton) komediálního seriálu Archie Bunker's Place (1979-81).

Jako host se objevil také v seriálech Alice, The Twilight Zone (Pásmo soumraku) a Murder, She Wrote (To je vražda, napsala - ČTV). Byl ženatý s Pearl Sommerovou (1952-54), s herečkou Joyce Van Pattenovou (1957-63) a s Irene Millerovou (od 1963). Z druhého manželství pochází herečka Talia Balsamová (nar. 1960) a z třetího manželství syn Adam (nar. 1965) a dcera Zoe (nar. 1969).