Nat King Cole giftet seg med Maria Ellington 25. desember 1936 i Chicago, mens han var på høyden av hans første karriere. De var lykkelig gift i 20 år og adopterte fem barn; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (april 1941), og to jenter Carol "Cookie" Cole (1944) og Maria Cole (1947). Sønnen deres Nat Kelly Cole ble en kjent sanger, låtskriver og skuespiller.
Den 28. desember 1956 døde Maria Cole uventet av lungekreft i en alder av 45, noe som etterlot Nat dypt knust og knust. Han var enkemann til han giftet seg med sangeren Maria Hawkins 8. juli 1965. De forble sammen til Nat King Coles utidige bortgang i 1965.
Farskapskontrovers
På 1990-tallet kom en kvinne ved navn Lorna Coles frem, og hevdet å være datteren til Nat King Cole fra en kort affære han hadde med moren hennes i 1947. DNA-testing bekreftet at Lorna Coles faktisk var det biologiske barnet til Nat King Cole.