Begrepet «klassisk musikk» vekker tanker på symfonier, operer og pianokonserter. Denne musikken har lite felles med de enkle sanger den oppsto fra for nesten 1 500 år siden.
Pave Gregorius I (590–604) befalte at all musikk som brukes i religiøse feiringer skulle katalogiseres. Dette spurte frem tidlig musikknotasjon og la grunnlaget for klassisk musikk.
Fra 11. århundret ble én eller to melodilinjer, kalt organum, ofte lagt til den tradisjonelle, enkelte gregorianske koralmeldien. Organum ble stadig mer sofistikert de neste tre århundrene.
14. århundrets Ars Nova-periode ga en eksplosjon av musikkuttrykk. En ny notasjonsmetode brakte rytmisk frihet til andaktskomposisjoner, og den polyfone sofistikasjonen i kirkemusikk ga liv til ikke-religiøse komposisjoner.
Alvorlig instrumentalkomposisjon begynte under renessansen, liksom overgangen fra modale harmonier til store og små tonerterskjeller – lyden vi i dag assosierer med klassisk musikk.
Orkesteret, operen, og mange nye musikkformer og instrumenter dukket første gang opp i barokkperioden (1600–1750). Klassisk periode (1750–1820) er kjent for standardisering av sonateform, de første symfoniene, og oppfinnelsen av pianoforte.