Особняк военного министра — уникальная усадьба в центре города, расположенная в непосредственной близости от Михайловского замка, на территории бывшего третьего Летнего сада, вырубленного и превращённого в плац после преобразования Михайловского замка в Инженерный. Одной частью фасада он выходит на Садовую улицу, а другой — на Кленовую аллею. Особняк был создан по идее великого реформатора русской армии эпохи императора Александра II, Д. А. Милютина. Двухэтажный, на цокольном этаже и с антресолями, особняк (1872–1874) хорошо сохранился до нашего времени. Изящно оформленные парадные и личные комнаты изысканных форм смотрят в сады Инженерного замка и Марсова поля.
Решение о строительстве специального особняка было принято в 1872 году. Заказчиком строительства был военный министр генерал-фельдмаршал Д.А.Милютин, назначенный на этот пост в 1861 году. Проектировал здание известный архитектор, профессор Рудольф Богданович Бернгард. В строительстве принял участие также военный инженер Д.В. Покотилов, а в создании внутренней отделки — архитектор О. Г. Гиппиус.
Первый этаж дома предназначался для небольшой канцелярии министра. Здесь также располагались жилые комнаты семьи Д.А. Милютина. На втором этаже размещались 16 парадных помещений, в том числе и личные апартаменты Военного министра. В мансарде, которая выходила во двор, находились комнаты камердинера и дворецкого.