Позже их владельцем был заводчик Никита Демидов. Несколько лет назад дом был расселен и долгое время оставался необитаемым. В 2017 году после передачи здания в областную собственность начались реставрационные работы, которыми занималось Российское военно-историческое общество.
Это здание связано с судьбами многих знаменитых людей калужского края, наиболее известный из них — автор исследований по истории Калужской губернии Дмитрий Иванович Малинин, издавший в 1912 году путеводитель по Калуге и «главнейшим центрам губернии». Краевед провёл в этом доме последние 20 лет своей жизни, поэтому палаты Торубаевых чаще называют домом Малинина.
Сейчас здесь располагаются военно-исторический центр Калужского объединенного музея-заповедника и региональное отделение Российского военно-исторического общества. О суровых испытаниях, постигших калужскую землю за ее многовековую историю, рассказывают воссозданные в деталях интерьеры различных эпох:
Экспозиция, посвященная истории дома, рассказывает о хозяевах и жильцах дома в разные годы и века, об изменениях архитектурных форм в зависимости от времени постройки различных частей дома, в мемориальной комнате воссоздан рабочий кабинет Д.И. Малинина.