В середине 18 века на месте современной церкви Троицы Живоначальной князь Вяземский, построил храм. По замыслу архитектора Львова, храм был построен по образу Римского храма Весты. Строительство длилось три года и завершилось в 1787 году. Спустя еще три года церковь была освящена. За необычную форму церковь в простонародье была названа «Кулич и пасха». В Конце 18 века сюда была перевезена икона «Всех Скорбящих Радость».
Во время революции церковь осталась в стороне от основных событии, и была закрыта только в 1938 году. С этого времени в храме расположилась городская библиотека. Спустя восемь лет церковь вновь открыли. Такой она и осталась до настоящего времени.