Hans mest bemerkelsesverdige arbeid var med Cannonball Adderley Quintet på 1970-tallet, men han har også jobbet med mange andre bemerkelsesverdige jazzmusikere, inkludert Thelonious Monk, Miles Davis, Dizzy Gillespie, Dexter Gordon og Herbie Hancock.
I tillegg til arbeidet som sidemann, har Poole også gitt ut flere soloalbum, inkludert "The Essence of John Poole" (1977), "Sweet Lucy" (1978) og "Blue Planet Man" (1980).
Poole er også komponist og arrangør, og han har skrevet musikk for film og TV. Han har også undervist i jazz og latin perkusjon ved University of Southern California og California Institute of the Arts.
Poole ble tildelt Jazz Journalists Associations pris "Årets trommeslager" i 2004 og 2005, og han er også medlem av National Academy of Recording Arts and Sciences (NARAS).