Connery ble født i Edinburgh, Skottland, i 1930. Faren hans var fabrikkarbeider og moren hans var renholder. Connery forlot skolen i en alder av 13 og begynte å jobbe som melkemann. Han begynte senere i Royal Navy, hvor han tjenestegjorde i tre år.
Connerys skuespillerkarriere begynte på begynnelsen av 1950-tallet, da han dukket opp i en rekke små roller i britiske filmer. Hans store gjennombrudd kom i 1962, da han ble rollebesatt som James Bond i filmen Dr. No. Filmen ble en stor suksess og Connery ble raskt en av de mest populære skuespillerne i verden.
Connery fortsatte å spille James Bond i seks filmer til, inkludert From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) og Never Say Never Again (1983). Han spilte også hovedrollen i en rekke andre suksessrike filmer på 1960- og 1970-tallet, inkludert The Great Escape (1963), Murder on the Orient Express (1974) og The Man Who Would Be King (1975).
På 1980-tallet begynte Connerys karriere å avta. Han spilte hovedrollen i en rekke dårlig mottatte filmer, inkludert Outland (1981), Never Say Never Again (1983) og The League of Extraordinary Gentlemen (2003). Imidlertid fikk han litt kritikerros for rollene sine i The Untouchables (1987), Indiana Jones and the Last Crusade (1989) og The Rock (1996).
Connery trakk seg fra skuespillet i 2006. Han har mottatt en rekke priser for sitt arbeid, inkludert en Oscar-pris, to BAFTA-priser og tre Golden Globe-priser. Han ble også riddet av dronning Elizabeth II i 2000.