На месте, где сегодня располагается Юсуповский дворец в 18 веке находилась усадьба Прасковьи Иоанновны – племянницы Петра I. В 1742 Году это владение перешло графу Шувалову, который к концу 1740х годов построил дворец. После смерти графа, дворец был продан, и архитектор Валлен-Деламот построил новый дворец, чуть выше по реке. Строительство закончилось только в 1781 году, а через восемь лет наследники продали и это здание.
В 1795 году дворец отошел казне и Екатерина II подарила его графине Браницкой.
В начале тридцатых годов девятнадцатого века дворец был куплен племянником Браницкой Борисом Юсуповым, который реконструировал здание. За восемь лет было пристроено новое трехэтажное здание, в котором располагался большой банкетный зал, появились флигели, в которых расположились картинная галерея и оранжерея.
В 1890х годах здание снова подверглось реконструкции. Было проведено электричество, водопровод и отопление. Появились домашний театр, большой зал, гостиная.
В 1919 году здание перешло государству, и в нем открылась картинная галерея, а во время Великой Отечественной Войны здесь располагался госпиталь.