Таганрогский историко-краеведческий музей создан по постановлению Городской Думы 22 июня 1898 г. Расположен в бывшем доме одного из крупнейших домовладельцев Таганрога Н. Д. Алфераки (объекте культурного наследия регионального значения). Здание построено в 1848 году по проекту известного петербургского архитектора А. И. Штакеншнейдера в стиле эклектики.
В 1927 году здание было передано музею. В течение XX века экспозиция музея, да и само здание претерпели изменения. В 1989-1996 гг. были проведены реставрационные работы, позволившие во многом восстановить первозданный облик дворца. В 1995-1996 гг. открыта ныне действующая экспозиция.