Refrenget gjentar linjen "Smoke on the water" for å skape et levende bilde av røyken som stiger over innsjøen, som er Genfersjøen. Sangen nevner også gamblingrommet til Montreux Casino og hvordan det "brente som en hund." Andre bemerkelsesverdige linjer inkluderer "Vi kom alle ut til Montreux ved Genfersjøens kystlinje," "Funky Claude løp inn og ut og trakk barna ut av bakken," med henvisning til stedets eier Claude Nobs som hjalp til med redningen, og "Når han var i stillhet, vi husker alt, fra en tid for lenge siden vi pleide å kalle hjem," reflekterer over kjølvannet og minnene fra den natten.
Sangen ble en av Deep Purples mest suksessrike og kjente hits og har blitt dekket av en rekke andre artister gjennom årene.