Двухэтажное здание Дворянского собрания построено Дмитровским городским обществом между 1877 и 1888 годами для размещения расквартированных в городе воинских частей. Первый этаж дома был каменным, второй — деревянным. В 1897 здание стали сдавать под клуб дворянского собрания, а после революции 1917 года в здании стали размещаться партийные и общественные организации. В 2001 г. начата реконструкция здания Дворянского собрания с целью размещения в нем экспозиции художественных коллекций (архитектор — Андрей Иванович Яганов). В 2003 г. восстановленное здание было принято на баланс музея-заповедника «Дмитровский кремль».
Сегодня два этажа здания размещают экспозиции музея, а в цокольном этаже разместилось музейное хранилище фондов. Здесь размещена экспозиция художественных коллекций, в которой собраны произведения изобразительного и декоративно-прикладного искусства.