Det er ingen tvil om at Dickens var forelsket i Ternan. Han skrev lidenskapelige brev til henne som inneholdt eksplisitte seksuelle referanser. I ett brev skrev han at han lengtet etter å «smake den modne røde munnen... sluke [hennes] saftige kropp».
Omfanget av deres fysiske forhold er imidlertid ukjent. Noen biografer mener at de faktisk aldri har hatt sex, mens andre mener at de hadde det.
Det som er klart er at forholdet til slutt ble en belastning for Dickens. Han følte seg skyldig for å være utro mot sin kone, og han var bekymret for offentlig skandale.
I 1858 avsluttet Dickens affæren og sendte Ternan til utlandet til Frankrike. Hun kom tilbake til England noen år senere, men så aldri Dickens igjen.
Ternan selv snakket aldri offentlig om forholdet sitt til Dickens. Ifølge en av hennes slektninger «tok hun den til graven».
Selv om de spesifikke detaljene i forholdet deres kanskje aldri blir kjent, er det ingen tvil om at romantikken mellom Charles Dickens og Ellen Ternan var betydelig og til slutt tragisk.