В начале 18 века несколько участков земли на берегу Фонтанки были переданы высшему сословию для освоения. Владельцем одного из таких участков стал князь Шаховский. Позже, уже во времена Екатерины II земля принадлежала сенаторам Мятлеву, а затем Нарышкину. В самом конце 18 века Нарышкин продал участок княгине Белосельской-Белоозерской, которая по проекту Демерцова построила здесь небольшой дом, выходящий фасадом на Невский проспект.
В 1840 году было принято решение о строительстве нового здания на месте дома, который уже и порядком обветшал и становился мал для разросшейся семьи и прислуги. В 1846 году архитектор Штакеншнейдер закончил проект. В новом дворце семья Белосельских-Белоозерских часто давала балы, здесь выступали известные люди того времени.
После революции во дворце расположился райком партии. Во время войны здание было почти полностью разрушено, но спустя несколько лет начались работы по его восстановлению. Сейчас на верхних этажах здания разместился музей, а внизу – многочисленные кафе и магазины.