В 1768 году на месте современной дворцовой набережной Екатерина II решила построить дворец, который впоследствии передала графу Орлову за его помощь в борьбе за трон. Дворец выполнялся из гранита и кирпича, а сверху планировался облицовываться несколькими десятками сортов мрамора. Поэтому построенный дворец был назван мраморным. Архитектором здания стал Ринальди, а непосредственно руководил работами Мордвинов. Мрамор везли из Ладожского, Онежского озер, с Алтая и Урала и даже из Италии. Это первое здание в городе, облицованное мрамором. Кроме того, более десяти внутренних помещений дворца были отделаны этим природным камнем.
Строительство мраморного дворца велось очень долго. Граф Орлов не дожил до окончания строительства, и здание отошло государству. В период 1796 – 1917 годы в ним жили великий князь Константин Павлович, Тадеуш Костюшко, Станислав Август Понятовский, Константин Николаевич, Константин Константинович. За это время здание два раза реконструировали, помещения украшали полотнами известных художников, появилась электростанция, телефон и лифт.
После революции вся коллекция картин была перевезена в Эрмитаж, а в здании разместились комитет труда и академия истории материальной культуры. В 1937 году здесь открылся музей Ленина, а в 1992 году в мраморном дворце расположился Русский музей, здесь же проводятся выставки современного искусства.