Teksten til sangen fremhever den følelsesmessige uroen og den indre konflikten som mannen opplever. Han innrømmer at han fortsatt tenker på eksen sin «hver natt og dag» og at han «ikke kan la være å lure på» om hun tenker på ham også. Han erkjenner at han burde gå videre, men finner seg ikke i stand til å gjøre det, siden hjertet hans fortsatt er knyttet til henne.
Refrenget understreker mannens manglende evne til å gi tilbake kjærligheten som noen andre tilbyr ham. Han synger, "Jeg kan ikke elske deg tilbake, selv om du prøver hardt" og "Jeg holder fortsatt på spøkelsen av det vi hadde." Dette tyder på at han ikke er følelsesmessig tilgjengelig for et nytt forhold og fortsatt er oppslukt av følelsene for sin ekspartner.
Gjennom hele sangen uttrykker mannen sin lengsel etter fortiden og sitt ønske om å være sammen med eksen sin igjen. Han synger, "Jeg skulle ønske jeg kunne gå tilbake og angre alle tingene vi gjorde" og "Jeg skulle ønske jeg kunne holde deg i armene mine igjen." Dette tyder på at han angrer på samlivsbruddet og sliter med å akseptere realiteten av separasjonen deres.
Totalt sett er "I Can't Love You Back" en gripende sang om hjertesorg, tap og utfordringene ved å gå videre fra et tidligere forhold. Den fanger den følelsesmessige uroen og sårbarheten til noen som fortsatt sliter med kjølvannet av et samlivsbrudd og ikke klarer å finne kjærligheten igjen.