Her er det vi vet:
* Ingen bevis for sport: Det er ingen historiske registreringer av Madison som har deltatt i organiserte idretter eller fysiske aktiviteter.
* Begrensede fritidsaktiviteter: Madisons liv ble i stor grad konsumert av politikk og intellektuelle sysler. Han var en glupsk leser, en ivrig observatør av regjeringen og en dedikert student av historie og filosofi.
* Ridning: Selv om det ikke var en sport, var Madison kjent for å nyte ridning, sannsynligvis for transport og rekreasjon.
* Hagearbeid: Madison hadde også en stor interesse for jordbruk og hagearbeid, og administrerte ofte sin egen eiendom.
Avslutningsvis var James Madisons liv fokusert på intellektuelle sysler og offentlig tjeneste, med begrenset bevis på noen betydelige atletiske eller rekreasjonshobbyer.