I det fjerde århundre introduserte St. Ambrosius, biskop av Milano, antifonal sang, der koret synger vekslende vers av en salme eller salme. På det femte århundre standardiserte St. Gregor den store, pave av Roma, liturgien og etablerte et system med åtte musikalske moduser. Dette systemet, kjent som gregoriansk sang, ble den primære musikkformen i den katolske kirken i århundrer.
I løpet av middelalderen begynte ulike andre former for kirkemusikk, som liturgiske dramaer, polyfoni og orgelmusikk, å utvikle seg. Polyfoni, hvor to eller flere musikalske linjer synges samtidig, ble viktig på 1100-tallet.
På 1500-tallet startet Martin Luther den protestantiske reformasjonen. Dette førte til utviklingen av forskjellige stiler innen kirkemusikk, som lutherske koraler og anglikansk sang. Disse sjangrene er fortsatt viktige deler av kristen tilbedelse i dag.
På 1800- og 1900-tallet så en fornyet interesse for studier og fremføring av tidlig kirkemusikk, som gregoriansk sang og verkene til Palestrina. Det har også vært en strøm av ny sakral musikk komponert i en rekke stiler.