Costello ble født i Paterson, New Jersey, av italienske immigranter. Han begynte sin karriere i showbransjen som tenåring, og opptrådte i vaudeville og burlesk. Han møtte Bud Abbott i 1936, og de to dannet et komedieteam. De ble raskt en av de mest populære komedieaktene i verden, og opptrådte på nattklubber, på radio og i filmer.
Abbott og Costellos komedie var preget av deres slapstick-rutiner og Costellos høye stemme og overdrevne ansiktsuttrykk. De dukket opp i totalt 36 filmer sammen, inkludert "One Night in the Tropics" (1940), "Buck Privates" (1941) og "Abbott and Costello Meet Frankenstein" (1948).
Costellos helse begynte å avta på begynnelsen av 1950-tallet, og han gjennomgikk flere hjerteoperasjoner. Han døde av et hjerteinfarkt i 1959 i en alder av 52.
Til tross for sin for tidlige død, regnes Costello som en av de mest innflytelsesrike komikerne på 1900-tallet. Hans arbeid med Bud Abbott bidro til å definere komediesjangeren og inspirerte utallige andre komikere.