Sangen begynner med at fortelleren beskriver den gamle mannens utseende:"Gamle mann, se på livet mitt, jeg er mye som du var." Fortelleren forteller videre om hvordan han har vært gjennom mye i livet, og han har lært mye av sine erfaringer. Han erkjenner at han ikke er perfekt, men han prøver å gjøre så godt han kan.
Fortelleren spør så den gamle mannen om råd om hvordan han skal leve livet sitt. Den gamle mannen ber ham «være snill» og «ta det med ro». Han ber ham også "gå sakte" og "nyte turen." Den gamle mannens råd er enkelt, men dyptgående, og det gjenspeiler hans egen visdom og erfaring.
Sangen avsluttes med at fortelleren takker den gamle mannen for hans råd. Han forteller ham at han alltid vil huske ordene sine, og han vil prøve å leve sitt liv i henhold til den gamle mannens lære.
"Old Man" er en vakker og gripende sang om aldring og dødelighet. Det er en påminnelse om at vi alle er på reise, og at vi kan lære mye av de som har kommet før oss. Sangen er også en feiring av livet, og den oppmuntrer oss til å nyte tiden vår på jorden mens vi kan.