Благовещенский храм был построен вместе с деревянной боровской крепостью, на городище, напротив настоящего места расположения храма. В 1634 году во время большого пожара деревянная Благовещенская церковь сгорела, и приход переносится в каменный Никольский храм, который был построен еще в конце XVI века. Для этого здание перстраивается, а главный придел освящается в честь Благовещения, так что в 1799 году, когда образовалась Калужская епархия, храм получает статус кафедрального собора.
В октябре 1812 года собор был разграблен армией Наполеона, на восстановление ушло 3 года. А к 1819 году к четверику пристраивается трапезная и колокольня. Тогда церковь и приобрела современный вид.
В советское время, несмотря на внешнее обнищание, Благовещенский собор не закрывался – единственный в Боровском уезде.
Восстановление храма начинается только в 1997 году. Колокольня зазвучала новым голосом только в 2009 году.
В Благовещенском соборе хранится икона преподобного Пафнутия и Его посох, ранее находившиеся в Пафнутьев-Боровском монастыре. Эти святыни были спасены и сохранены прихожанами в богоборческое время.
При храме организован небольшой музей в помещениях колокольни.