– Sangens tittel, «Sweet Jane», kan være en referanse til marihuana, ettersom «Jane» er et slangbegrep for stoffet.
– Tekstene nevner «det grønne lyset», som kan representere fargen assosiert med marihuana.
– Tekstene beskriver også hovedpersonens «hodespinning», som kan være en hentydning til effekten av marihuana.
Videre var Reed kjent for sin åpne utforskning av narkotikabruk og andre kontroversielle emner i musikken hans, som støtter tolkningen av "Sweet Jane" som om marihuana.
Det er imidlertid viktig å merke seg at Reeds tekster ofte er åpne for flere tolkninger, og det er til syvende og sist opp til den enkelte lytteren å bestemme hva sangen betyr for dem.