Jeho celé jméno je Anthony Joseph Perry. Jeho rodina pochází z Portugalska, pravé jméno je Pereira, ale jeho děda si ho změnil na Perry. Matčina strana je z Neapole.

Se zpěvákem Stevenem Tylerem a baskákem Tomem Hamiltonem založil v roce 1973 skupinu Aerosmith. Po neschodách s Tylerem z ní v roce 1979 odešel, založil The Joe Perry Project a vydal tři solová alba. V roce 1984 se do Aerosmith vrátil.

V roce 2001 hostoval na sólovém albu Micka Jaggera Goddess in the Doorway. V roce 2005 vydal solové album s názvem Joe Perry.