Johnson ble født i Indianapolis, Indiana. Han begynte å spille trombone i en alder av 11. Han studerte ved Arthur Jordan Conservatory of Music og Indiana University School of Music.
Johnson flyttet til New York City i 1942 og ble raskt en av de mest ettertraktede trombonistene i byen. Han spilte med Charlie Parker, Dizzy Gillespie, Bud Powell og andre bebop-legender.
På 1950-tallet begynte Johnson å utforske hard bop, en nyere, mer aggressiv jazzstil. Han spilte inn flere innflytelsesrike album med sine egne band, inkludert "The Eminent Jay Jay Johnson Volume 1" (1954) og "Jay Jay Johnson with Clifford Brown" (1955).
Johnson fortsatte å turnere og spille inn gjennom 1960- og 1970-tallet. Han underviste også ved Berklee College of Music og Manhattan School of Music.
Johnson døde av et hjerteinfarkt i Indianapolis i 2001. Han var 77 år gammel.
Johnson var en mester på trombone. Han hadde en unik lyd som umiddelbart var gjenkjennelig. Han var også en begavet improvisator og komponist. Musikken hans har påvirket utallige trombonister over hele verden.
Her er noen av Johnsons mest kjente komposisjoner:
* "Klag"
* "Ezz-thetic"
* "Enigma"
* "Stardust"
* "Blue Funk"