En liten gruppe babylonske jøder ble igjen i Babylon etter den persiske erobringen, og de spilte senere en viktig rolle i utviklingen av jødisk kultur og religion under den andre tempelperioden. Den babylonske Talmud, en av de viktigste tekstene i jødisk lov, ble samlet i Babylon i løpet av denne tiden.
På 700-tallet e.Kr. ble Babylon erobret av de arabiske muslimene, og det ble en del av den islamske verden. Byen fortsatte å synke, og på 1000-tallet ble den stort sett forlatt. I dag ligger ruinene av Babylon nær byen Hillah i dagens Irak.