Navnet går tilbake til Sinckhanne (eller Esopus) stammen, algonkinspråklige folk som opprinnelig bebodde området langs Hudson-elven. Deres ord «sinck» (også gitt «sink») betyr «stein» eller «flint» – sannsynligvis refererer til områdets klippete terreng eller steinbrudd-ressurser.
Da fengselet ble autorisert i 1824 og åpnet i 1826, ble navnet «Sing Sing» anvendt på både fasiliteten og den omkringliggende landsbyen (senere omdøpt til Ossining i 1901 for å distansere byen fra fengselets berømmelse). Navnet har bestått i nesten to århundrer, og er blitt synonymt med det amerikanske fengselssystemet selv.