Здание знаменитой Гостиницы Пожарских — памятник культуры общероссийского масштаба. Она видела в своих стенах П. А. Вяземского, С. Т. Аксакова, Н. В. Гоголя, Р. Шумана, императора Николая I и многих других знаменитых постояльцев. Здесь не раз останавливался А. С. Пушкин, обессмертивший кулинарные творения ее хозяйки — Дарьи Пожарской — своим стихом:
«На досуге отобедай
У Пожарского в Торжке,
Жареных котлет отведай (именно котлет)
И отправься налегке».
По словам академика Д. С. Лихачева «через гостиницу Пожарских прошла вся русская культура XIX века».
Концепция приспособления здания гостиницы под музейные нужды основывается на понимании многоаспектности работы современного музея, который должен не только сохранять, изучать и пропагандировать историко-культурное наследие, но и формировать социальную и туристическую инфраструктуру города и региона, а также их научно-познавательную среду. Исходя из этого ВИЭМ ведет создание в Гостинице Пожарских и на прилегающей территории музейно-гостиничного комплекса, в котором помимо музейной экспозиции будут размещены действующие гостиные номера, воспроизводящие обстановку XIX в., концертный зал, сувенирный магазин и кафе.