Joel Chandler Harris' kone var Estelle La Rose Harris. De giftet seg i 1871 og fikk ett barn, Julian Harris.