Особняк Румянцева — уникальный памятник огромной историко-культурной ценности. Первый каменный дом на этом участке набережной Невы появился в 1740-х годах и принадлежал князьям Голицыным.

В 1802 году особняк приобрел граф Н. П. Румянцев (1754–1826), канцлер Российской империи, просветитель и меценат. Его дом стал "центром наук" и "храмом муз".

Находясь за границей на дипломатической службе, Румянцев начал собирать памятники русской культуры и истории, проявляя особый интерес к инкунабулам, древним рукописям, церковным книгам, государственным актам. Ему удалось создать коллекции, уникальные по качеству и составу.

В 1814 году Румянцев вышел в отставку и занялся изучением отечественной истории. Он объединил вокруг себя ученых, исследовательская деятельность которых увенчалась изданием нескольких десятков книг и созданием музея древностей.

В 1824 году Румянцев поручил перестройку дома архитектору В. А. Глинке, который оформил здание мощным 12-тиколонным портиком. В тимпане фронтона помещен горельеф "Аполлон-Мусагет на Парнасе в окружении девяти муз и матери их Мнемозины" (скульптор И. П. Мартос).

В 1826 году граф Н. П. Румянцев скончался, поручив младшему брату С. П. Румянцеву (1755–1838) предоставить дом со всеми коллекциями под музей. На фронтоне появились слова Николая Петровича: "На благое просвещение".

28 мая 1831 году открылся первый в России частный публичный музей. Его мог посетить бесплатно каждый желающий. Все расходы по содержанию музея взял на себя С. П. Румянцев. После его смерти в 1838 году здание и музейные коллекции стали приходить в упадок.

В 1861 году Румянцевский музей был переведен в Москву, в дом Пашкова на Неглинке. На основе его коллекций был создан Московский Публичный и Румянцевский музеи. Книжное собрание петербургской коллекции, насчитывавшее 28 000 томов, легло в основу Российской государственной библиотеки, которая до 1924 года называлась "Румянцевской".

С 1863 по 1882 год особняк сменил нескольких хозяев. В 1882 году владелицей дома стала супруга Е. М. Романовского, 5-го герцога Лейхтенбергского, З. Д. Богарне (1856–1899). Работы по перестройке особняка велись под руководством архитектора А. А. Степанова. В интерьерах сохранился отпечаток личности заказчицы, которая сумела превратить дом в модный особняк. Лейхтенбергские, а затем их потомки владели домом до 1916 года.

После Октябрьской революции 1917 года дом заняли различные организации и жилые квартиры.

В 1938 году в особняке разместился Музей истории и развития Ленинграда. После Великой Отечественной войны в 1946 году здесь была открыта выставка "Строительство и городское хозяйство Петрограда–Ленинграда", посвященная истории города со дня основания и до середины XX века.

В 2003 году, к 300-летнему юбилею Санкт-Петербурга, в парадных залах особняка были завершены реставрационные работы. Интерьеры залов, выходящих окнами на Неву, воссозданы по состоянию на 1880-е годы. Украшением одного из них является уникальное зеркало площадью 18 кв. метров, выполненное цельным стеклом.