Hirt ble født i New Orleans, Louisiana, til en musikerfar og en hjemmeværende mor. Han begynte å spille trompet i en alder av seks år, og da han gikk på videregående, spilte han profesjonelt i lokale klubber. Etter å ha tjenestegjort i den amerikanske marinen under andre verdenskrig, returnerte Hirt til New Orleans og gjenopptok musikkarrieren.
I 1950 ble Hirt med i bandet til trompetisten Louis Prima, og han turnerte med Prima i flere år. I 1957 forlot Hirt Primas band og dannet sin egen gruppe. Han ble raskt en av de mest populære jazztrompetistene i verden, og han spilte inn en rekke hitalbum.
I tillegg til musikkarrieren var Hirt også en suksessfull TV-personlighet. Han var vertskap for sitt eget varietéshow, "The Al Hirt Show", fra 1964 til 1968. Han dukket også opp på en rekke andre TV-programmer, inkludert "The Tonight Show Starring Johnny Carson", "The Ed Sullivan Show" og "The Merv Griffin Vise."
Hirt døde av kreft i New Orleans i 1999. Han var 76 år gammel.