Han ble født 10. juni 1952 i Jacksonville, Florida, og begynte å spille gitar i ung alder. I 1971 ble han med i det Jacksonville-baserte bandet Molly Hatchet, og turnerte med dem til 1980.
Etter å ha forlatt Molly Hatchet, fortsatte McKinney å danne bandet Andy McKinney and the Road Hawgs, som ga ut to album på 1980-tallet.
Han har også jobbet som sesjonsmusiker, og har dukket opp på album av artister som Gregg Allman og Dickey Betts.
De siste årene har McKinney bodd i Jacksonville, Florida, og fortsetter å spille musikk av og til.