Gjennom hele sangen stiller Skylar Gray en rekke spørsmål, og lurer på om spesifikke ting ville ha gjort en forskjell i utfallet av forholdet. Disse spørsmålene spenner fra å spørre om det å si «jeg elsker deg» oftere eller å være mer oppmerksom på den andre personens behov kunne ha reddet forholdet, til om forholdet var skjebnebestemt til å mislykkes uansett.
Refrenget understreker lengselen etter å vite om noen innsats eller endring kunne ha forhindret forholdets fall:"Ville det bety noe? Ville det forandre en ting?" Den repeterende karakteren til disse spørsmålene gjenspeiler følelsen av å sitte fast i en syklus av tvil og usikkerhet.
Sangens tekster antyder også en følelse av nostalgi, med omtale av «gamle dager» og «blekne bilder». Dette forsterker ideen om å mimre om fortiden og lure på hva som kunne vært annerledes.
Til syvende og sist fanger «Would It Matter» den følelsesmessige kvalen og introspeksjonen som følger etter et romantisk brudd. Den formidler lengselen etter svar og ønsket om klarhet midt i forvirringen og uroen av et forholds slutt. Sangen snakker til den menneskelige opplevelsen av å søke avslutning og forståelse etter et betydelig tap.