Wilson ble født 23. juni 1947 i Sioux-indianerreservatet i South Dakota. Han var sønn av en fullblods sioux-kvinne og en irsk far. Wilson ble oppvokst på reservatet, og han begynte å spille gitar i en tidlig alder. Han ble påvirket av den tradisjonelle musikken til folket sitt, så vel som av rock and roll på 1950- og 1960-tallet.
Etter videregående flyttet Wilson til Minneapolis, Minnesota. hvor han dannet et band kalt Sugarloaf med sin svoger Craig Fuller og andre singer-songwriter Michael Omartian.
Gruppen hadde en viss suksess, og spilte inn to album for RCA Records, før de ble oppløst i 1971.
Etter oppløsningen av Sugarloaf , flyttet Wilson til Los Angeles, California hvor han dannet Pure Prairie League i 1972.
Bandet fikk raskt en tilhengerskare, og de ga ut en rekke suksessrike album gjennom 1970-tallet.
Noen av deres mest populære sanger inkluderer " Amie" , "Fallen engler" , og " La meg elske deg i kveld ".
I 1979 forlot Wilson Pure Prairie League for å ta fatt på en solokarriere.
Han ga ut to soloalbum, "Jeff Wilson" (1981) og " Never Be the Same" (1983), men de var ikke like vellykkede som arbeidet hans med Pure Prairie League.
Wilson fortsatte å turnere og opptre gjennom 1980- og 1990-tallet, men helsen hans begynte å avta på slutten av 1980-tallet. Han fikk påvist kreft i halsen og gjennomgikk flere behandlingsrunder.
12. desember 1991 døde Jeff Wilson av kreft i halsen i en alder av 44 år .
Han ble overlevd av sin kone, to døtre og to sønner.