Dickens møtte Ellen Ternan i 1857, da hun bare var 18 år gammel og han 45. Ternan var sceneskuespiller, og Dickens ble umiddelbart betatt av henne. De innledet en hemmelig affære, som varte i flere år.
Dickens og Ternan var veldig forelsket, og de planla å gifte seg etter at Dickens skilte seg fra sin kone, Catherine. Dickens kone nektet imidlertid å gi ham skilsmisse, og derfor klarte han og Ternan aldri å være åpent sammen.
I 1865 fikk Dickens og Ternan et barn sammen, en sønn ved navn Charles. Dickens var overlykkelig over å bli far igjen, og han elsket sønnen sin. Kona hans fikk imidlertid vite om barnet, og hun ble rasende. Hun truet med å avsløre affæren for offentligheten, og Dickens ble tvunget til å bryte opp med Ternan.
Dickens og Ternan så hverandre aldri igjen etter 1865. Dickens døde i 1870, og Ternan levde til 1914. Hun giftet seg aldri, og hun fikk aldri andre barn.