Han ble født på øya Bequia, Saint Vincent, og fikk en kolonial grunnskoleutdanning. I 1930 mottok Palmer et stipend for å gå på ungdomsskolen i London. Med tilleggsstipend fortsatte han å studere medisin ved University of Birmingham, og ble uteksaminert i 1941.
Han returnerte til Vestindia og jobbet på Jamaica, Trinidad og Tobago og Saint Lucia. I 1950 kom Palmer tilbake til Saint Vincent for å øve. I 1954 var Palmer med å grunnlegge People's Political Party (PPP) og ble valgt som lovgiver til det lovgivende råd. Han ble valgt som sjefsminister i 1967.
I 1979 ledet Palmer Saint Vincent og Grenadinene til uavhengighet fra Storbritannia. Han ble slått til ridder av dronning Elizabeth II samme år.
I 1984 trakk Palmer seg ut av politikken og ble etterfulgt som statsminister av James Fitz-Allen Mitchell. Han døde på sin 92-årsdag.