Terrell ble født i Philadelphia, Pennsylvania, og begynte sin karriere som tenåring, og sang i forskjellige lokale grupper. I 1961 signerte hun med Motown Records og ga ut sin debutsolo singel, "I Can't Believe You Love Me". Sangen var en mindre hit, men den hjalp Terrell å få anerkjennelse i Motown-organisasjonen.
I 1964 spilte Terrell inn duetten "Ain't No Mountain High Enough" med Marvin Gaye. Sangen ble en stor hit, og nådde nummer én på Billboard Hot 100-listen og vant to Grammy Awards. Terrell og Gaye fortsatte å samarbeide, og de ga ut flere vellykkede duetter, inkludert "Your Precious Love", "You're All I Need to Get By" og "If I Could Build My Whole World Around You".
I 1967 ble Terrell diagnostisert med hjernekreft. Hun ble operert og behandlet, men kreften kom tilbake i 1969. Terrell døde i Philadelphia 16. mars 1970, 24 år gammel.