Byl synem lékárníka. Když mu bylo pět let, rodina se přestěhovala do Berlína. Od roku 1936 navštěvoval humanitní gymnázium prince Jindřicha v Berlíně-Schönebergu, ale studia musel přerušit, protože narukoval do armády a odešel na frontu.

Dezertoval a zbytek války strávil v britských zajateckých táborech, kde začal koketovat s herectvím. Po válce vystupoval na jevištích v Baden-Badenu a Tübingenu a od roku 1946 působil na různých divadelních a kabaretních scénách v Berlíně (mj. Schlosspark-Theater, Theater in der Kaiserallee, Deutsche Theater a Hebbel-Theater).

Jako vlastní projekt realizoval roku 1949 v sále berlínského Kurfürstendammu monodramatickou aktovku Jeana Cocteaua Lidský hlas.

Velký úspěch zaznamenal v roce 1952 při produkci Berliner Festwochen jako kníže Myškin v baletu podle Dostojevského Idiota. Během 50. let hostoval v různých německých a rakouských divadlech, kde hrál mj. Saint-Justa v dramatu Georga Büchnera Dantonova smrt a titulní party v Goethově hře Torquato Tasso a Shakespearově dramatu Jindřich IV.

V roce 1953 vzbudil pozornost svými veřejnými (až čtyřhodinovými) recitacemi Villonových, Rimbaudových a Schillerových básní a monologů ze Shakespearových děl, s nimiž se představil i v sousedních německy mluvících zemích; mnohé z nich byly natočeny na gramofonové desky.

Ve filmu se dlouho objevoval v epizodních rolích a pro svou excentricky démonickou tvář lemovanou blond vlasy se stal vyhledávaným představitelem padouchů, zločinců a šílenců v komerčních, často velmi podřadných filmech.

Od poč. 60. let byl obsazován do kriminálních příběhů (zejm. adaptací Edgara Wallace), italských westernů a thrillerů, španělských hororů, erotických, exotických a dobrodružných snímků.

Mezinárodní uznání mu přinesla teprve spolupráce s režisérem Wernerem Herzogem, který v něm nalezl ideální typ ďábelského hrdiny pro své spektakulární vize odehrávající se v minulosti a v exotických krajích: fanatický španělský dobyvatel Lope de Aguirre v dramatu o hledání bájného El Dorada Aguirre, hněv boží, upírský hrabě Dracula v hororu podle staré legendy Upír Nosferatu, ponižovaný voják a zhrzený manžel Vojcek ve film. přepisu hry Georga Büchnera Vojcek, bláznivý dobrodruh a posedlý milovník opery uprostřed amazónských pralesů Fitzcarraldo v psychologicko-dobrodružném eposu Fitzcarraldo a výstřední dobrodruh, zlatokop, bandita, správce třtinových plantáží, nákupčí otroků a posléze i africký místokrál Francisco Manoel da Silva v dobrodružném snímku Zelená kobra.

Obdobně působivou kreaci předvedl v úloze středověkého herce Klause, ztělesňujícího udatného rytíře Rolanda v historické baladě Píseň o Rolandovi (r. F. Cassenti). V roce 1988 debutoval v Itálii jako režisér životopisným filmem Paganini, v němž také sám ztvárnil houslového génia. Režisér Herzog natočil o jejich vzájemném kontroverzním vztahu vzpomínkový dokument Mein liebster Feind (1999, Můj nejmilejší nepřítel). Je autorem skandálních vzpomínkových knih Ich bin so wild nach deinem Erdbeermund (1975, Jsem tak divý po tvých jahodových ústech) a Ich brauche Liebe (1991, Potřebuji lásku).

Byl celkem třikrát ženatý a jak jeho dcera z prvního manželství Pola Kinská, tak i dcera z druhého manželství Nastassja Kinská jsou herečkami.