Joachim var et vidunderbarn, og debuterte som syvåring. Han studerte hos Stanisław Serwaczyński, og senere hos Ferdinand David ved Leipzig-konservatoriet. Han studerte også komposisjon hos Moritz Hauptmann.
Joachims solistkarriere tok ham over hele Europa, og han opptrådte med mange av datidens ledende orkestre. Han var også kammermusiker, og opptrådte med mange av de ledende musikerne på sin tid, inkludert Clara Schumann, Johannes Brahms og Joseph Hellmesberger, Sr.
Joachim var også en dedikert lærer, og underviste ved konservatoriet i Wien fra 1869 til 1907. Han var også grunnleggeren av Joachim-kvartetten, som var en av datidens mest anerkjente strykekvartetter.
Joachim var en stor innflytelse på utviklingen av fiolinspill, og hans lære har hatt en dyp innvirkning på fiolinister over hele verden. Han regnes for å være en av de største fiolinistene gjennom tidene, og arven hans fortsetter å inspirere og utdanne musikere den dag i dag.