Основатель монастыря преподобный Пафнутий Боровский родился в 1395 году. В 1444 Пафнутий и его ученики в почти непроходимых боровских лесах построили и освятили первый храм - 1444 год принято.
Одна из летописей XVII века повествует, что когда Лжедмитрий II осадил монастырь, он встретил сильное сопротивление и только благодаря измене воеводы смог ворваться на территорию монастыря. Но защитники под предводительством князя Волконского не прекращали сопротивления и все были убиты внутри собора. В память об этом подвиге в 1777 году город Боровск получил свой герб: сердце с крестом (символом верности) в лавровом венке, и была устроена поминальная часовня князей Воротынских.