Храм Святых Апостолов Петра и Павла построен в псевдоготическом стиле из красного кирпича. Авторы проекта — губернский архитектор Эварист Скавронский. Над центральным входом — высокий шпиль с двумя боковыми башнями. Ранее, при входе в храм, по правую и левую сторону были установлены статуи Апостолов Петра и Павла, утраченные в советское время. В нише шпиля ранее размещалась небольшая статуя Девы Марии, также ныне утерянная. Фотографий изначального интерьера храма не сохранилось, и во время реконструкции здания в 2006–2007 годах внутренний вид храма был выполнен в современном стиле, отличным от стилистики псевдоготики.
