Императрица Анна Ивановна в 1739 году распорядилась построить дворец для своего приближенного графа Левенвольде. Проект осуществлял сам Растрелли. Деревянное здание было закончено в 1740 году, а через три года, когда на трон взошла Елизавета Петровна, сам хозяин дворца был отправлен в ссылку, а здание перешло в собственность государства. В 1762 году здание принадлежало графу Разумовскому, который пожелал на этом месте построить каменное здание. Проект был завершен в 1766 году. С этого времени во дворце стали проводиться многочисленные балы и праздники. В конце века дворец вновь перешел в собственность государства. Здесь решили разместить детский приют. Для этого помещения были перепланированы, построена домовая церковь, и два дополнительных флигеля. С 1837 года здесь открылся женский институт, позже после революции переименованный в Первый Педагогический. С 1991 года здесь расположен учебный корпус Педагогического Университета.