Johnson ble født i Canton, South Dakota, og oppvokst på en gård. Han ble uteksaminert fra University of South Dakota i 1982 med en grad i statsvitenskap. Etter å ha jobbet i flere år som lovgivende medhjelper, ble han valgt inn i South Dakota Representantenes hus i 1986. Han tjenestegjorde i huset i seks år, inkludert to år som speaker.
I 1996 ble Johnson valgt inn i USAs senat, og beseiret den sittende republikaneren Larry Pressler. Han ble gjenvalgt til en annen periode i 2002 og en tredje periode i 2008.
Johnson var kjent for sine moderate politiske synspunkter og sin vilje til å jobbe med både republikanere og demokrater. Han var også en sterk tilhenger av landbruk og bygdeutvikling.
I 2014 kunngjorde Johnson at han ikke ville søke en fjerde periode i senatet. Han nevnte helseproblemer, inkludert et hjerneslag han hadde fått i 2006, som årsaken til avgjørelsen.
Johnson forlot senatet i 2015. Han er nå pensjonist og bor i Vermillion, South Dakota.