Место для музея «Вологодская ссылка» было выбрано неслучайно: в этом двухэтажном доме на протяжении нескольких месяцев в 1911-1912 году жил в ссылке Иосиф Джугашвили – будущий лидер страны Иосиф Сталин. Впрочем, он был далеко не первым ссыльным в Вологде. Традицию «заложил» ещё в XV веке Василий II Тёмный, сосланный из Москвы соперниками в борьбе за престол. В Вологде вообще часто оказывались те, кто угрожал спокойствию царей Ивана III, Ивана IV Грозного и Романовых, а также приведший к расколу в Русской Православной церкви в XVII веке патриарх Никон.
В 1937 году в доме устроили музей «Вологодская ссылка». Тут сохранился интерьер комнаты на втором этаже, в которой жил Иосиф Сталин. Здесь же хранятся вещи и документы ссыльных XIX – XX веков, среди которых были писатель Короленко, большевик Луначарский, будущий министр иностранных дел СССР Молотов, философ Бердяев, сестра Ленина Мария Ульянова. Всего в Вологду было сослано около десяти тысяч человек.