Filmen åpner med at Edie (Miller) ankommer New York City fra hennes velstående Boston-hjem. Hun møter Andy Warhol (Pearce) og blir en del av hans Factory-scene, en gruppe artister, musikere og artister som bodde og jobbet sammen i Warhols studio. Edie blir raskt Warhols muse og dukker opp i mange av hans kortfilmer og kunstverk.
Etter hvert som Edies stjerne stiger, blir hun stadig mer involvert i narkotikascenen og forholdet hennes til Warhol begynner å bli dårligere. Hun begynner også å date Billy Quinn (Christensen), en karismatisk musiker, men forholdet deres er turbulent og tar til slutt slutt. Edies tilbakegang fortsetter og hun dør til slutt av en overdose av narkotika i 1971 i en alder av 28.
Factory Girl er en tragisk historie om oppgangen og fallet til en ung kvinne som var både vakker og talentfull, men til slutt ødelagt av demonene sine. Filmen gir et innblikk i Andy Warhols og fabrikkens verden og fanger ånden fra 1960-tallet.
Filmen fikk blandede anmeldelser fra kritikere, som berømmet Millers opptreden, men var kritiske til filmens skildring av Warhol and the Factory. Imidlertid var filmen en kommersiell suksess og samlet inn over 12 millioner dollar over hele verden.