De tidligste bevisene på karnatisk musikk kan finnes i de musikalske tradisjonene til det gamle tamilske folket. De gamle tamilene utviklet et musikksystem kalt Tamizh Isai, som var basert på syvtonesskalaen (Saptha Swaras) og brukte forskjellige musikkinstrumenter, inkludert yazh (et strengeinstrument) og kudam (et slaginstrument). Tamizh Isai ble brukt til religiøse seremonier og kulturelle forestillinger.
Karnatisk musikk utviklet seg senere under påvirkning av den hinduistiske religionen og beskyttelse av de regjerende dynastiene i Sør-India. På 1300-tallet dukket Vijayanagara-imperiet opp som et mektig rike i Sør-India og ble et viktig senter for utviklingen av karnatisk musikk. Vijayanagara-herskerne var store beskyttere av musikk og dans, og de oppmuntret til veksten av musikalske skoler og institusjoner. De bestilte også komposisjonen av mange nye musikalske verk, inkludert kritis, swaras og jathis.
I løpet av 1600- og 1700-tallet blomstret karnatisk musikk under styret av Maratha-imperiet og Mysore-riket. Maratha-herskerne var store kjennere av musikk og dans, og de oppmuntret til veksten av karnatisk musikk i deres domstoler. Mysore-herskeren Krishnaraja Wodeyar III var en stor beskytter av musikk og dans, og han bestilte komposisjonen av mange nye musikalske verk.
På 1800-tallet kom karnatisk musikk i kontakt med vestlig musikk på grunn av den britiske koloniseringen av India. Noen karnatiske musikere begynte å innlemme vestlige elementer i musikken deres, for eksempel bruken av piano og fiolin. Imidlertid beholdt karnatisk musikk sin tradisjonelle karakter og fortsatte å være basert på syvtonesskalaen og bruken av ragaer og talaer.
I dag er karnatisk musikk en blomstrende kunstform og fremføres av musikere over hele verden. Det regnes som et av de mest sofistikerte og komplekse musikalske systemene i verden, og det er beundret for sin skjønnhet, sin følelsesmessige dybde og sin åndelige betydning.