Etter krigen fant han det vanskelig å tilpasse seg livet i fredstid. Som sangen sier "Han tålte ikke å være rundt mennesker, så han flyttet alene i Kentucky. Han tilbrakte mest hver våkne time i en liten båt på en innsjø. Om sommeren fisket han hele natten når han kunne se sitt eget agn "
Til slutt, etter å ha brukt år på å vandre fra stat til stat, sporet Wilsons sønn ham opp og brakte ham hjem til Alabama.