В 1787 году на одном из участков на берегу Фонтанки был построен дом. Владельцем его был граф А.И.Воронцов. В конце века дом сначала принадлежал семье Потемкиных, а потом Скарятиных. В следующем веке дом так же часто менял хозяев. В число самых известных можно записать Мусиных-Пушкиных, Белосельских-Белозерских, Паниных.
После революции дом был передан государству. Вплоть до 90-х годов прошлого века в нем располагался один из центров ДОСААФ. Сегодня, это, как и много лет назад, жилое здание.