Mens familien hans hadde vært i Amerika i generasjoner, var de til slutt av engelsk avstamning. Faren hans, Joseph Allen, ble født i Connecticut, men bestefaren hans hadde kommet til Amerika fra England.
Mens Allens familie og liv var dypt knyttet til de amerikanske koloniene, forblir hans aner solid forankret i England.