Здание, в котором размещается гарнизонный Дом офицеров, построено по проекту архитектора И. Ф. Львова.
В течение некоторого времени, когда город входил в прифронтовую полосу, в здании Дома офицеров размещался штаб 31-й армии Калининского фронта.
13 февраля 1942 на сцене Дома офицеров был показан первый спектакль драматического театра, возвратившегося из эвакуации.