Her er en beskrivelse av huset fra historien:
"UNDER hele en kjedelig, mørk og lydløs dag på høsten, da skyene hang trykkende lavt på himmelen, hadde jeg gått alene, på hesteryggen, gjennom en enestående trist trakt av landet; og til slutt Jeg fant meg selv, mens kveldens nyanser gikk på, innenfor synet av det melankolske House of Usher, jeg vet ikke hvordan det var – men med det første glimt av bygningen, en følelse av uutholdelig dysterhet gjennomsyret min ånd, jeg sier uutholdelig; scene foran meg - på bare huset, og de enkle landskapstrekkene til domenet - på de dystre veggene - på det ledige øye-lignende vinduer – på noen få ranker – og på noen få hvite stammer av råtne trær – med en fullstendig depresjon av sjelen som jeg kan sammenligne med ingen jordisk følelse mer riktig enn med etterdrømmen til den som fester på opium – det bitre forfallet til hverdagen – det grufulle fall av sløret. Det var en ishet, en synking, en kvalmende hjerte - en uforløst kjedsomhet av tanker som ingen pirring av fantasien kunne torturere til noe av det sublime."
Poes beskrivelse av House of Usher skaper en atmosfære av redsel, forfall og undertrykkelse, og setter scenen for hendelsene i historien.