Teksten til sangen maler et levende bilde av mannens liv. Han beskrives som en "skygge av en mann" og et "spøkelse av en mann", og han søker stadig etter mat og ly. Han er også hjemsøkt av minnene fra fortiden sin, og han klarer ikke å unnslippe følelsen av ensomhet og isolasjon som følger med å være hjemløs.
Sangens tittel, "Brown Arms in Houston," er betydelig ved at den understreker mannens hudfarge. I en by med en stor latinamerikansk befolkning, tjener mannens brune armer som en påminnelse om hans outsiderstatus og diskrimineringen han møter.
Til syvende og sist er sangen "Brown Arms in Houston" en kraftig og rørende skildring av kampene som hjemløse står overfor i USA. Sangen kaster lys over en ofte oversett problemstilling, og den oppfordrer lytterne til å vurdere menneskeheten og verdigheten til de som er mindre heldige.