В 1757 году было принято основать так называемую академию трех художеств. Для размещения академии было выбраны здания Морского ведомства, а так же дома Лобковича и Головкина. Через некоторое время было принято решение о перестройке комплекса, и, спустя 31 год, под руководством архитектора Валлен-Деламота новое здание было построено. Курировала проект сама Екатерина II. Именно по ее указу крыша здания представляет собой огромный, более пятидесяти метров в диаметре купол, сходный с куполом Римского собора Святого Петра. За весь свой период существования академия выпустила таких известных людей как Брюллов, Репин, Серов, Тон, Бенуа.
В период Великой Отечественной Войны здание было сильно разрушено, на его восстановление понадобилось почти десять лет.