I sangen synger Taylor om hvordan hun ville være oppe til sent med ham, og tenke at hun ville være sammen med ham for alltid. Hun synger også om hvordan hun trodde hun kunne forandre ham og hvordan hun pleide å tro at han var perfekt. Taylor innså imidlertid etter hvert at hun ikke kunne forandre ham og at han ikke var perfekt. Hun skjønte også at hun hadde det bedre uten ham.
The Way I Loved You er en sang om å akseptere at et forhold er over og om å lære av det. Sangen handler også om å innse at du ikke kan forandre noen og at du har det bedre uten dem.