Усадьба Расторгуевых-Харитоновых в центре Екатеринбурга – единственный дворцовый ансамбль на территории Урала. Строить его начали в 1794 году как имение губернского секретаря Исакова. Однако уже через четыре года земельный участок приобрёл купец Лев Расторгуев. Он развернул обширное строительство, которое продолжилось после 1823 года уже под руководством его зятя П.Я. Харитонова. В 1824 году в недостроенной резиденции останавливался император Александр I.
Усадьба Расторгуевых-Харитоновых имела недобрую славу. По преданиям, под её зданиями находились подземелья, в которых томились провинившиеся рабочие заводов Харитонова. В другой части «подземного царства» купца якобы были устроены тайные молельни для староверов, одним из которых являлся сам хозяин. Раскопки ХХ века отчасти подтвердили эти слухи. При земляных работах в окрестностях усадьбы то тут, то там появлялись следы подземных ходов. Жестокость же Харитонова является исторически задокументированным фактом: в 1837 году за зверское обращение с людьми Харитонов был сослан в крепость Кексгольм. Вплоть до революции 1917 года в усадьбе размещались квартиры и конторы. К усадьбе примыкает большой парк с прудом. Согласно городской легенде, одна из дочерей Харитонова утопилась в нём от неразделенной любви. Но документально это нигде не подтверждается.