XVI и в первой половине XVII веков Свято-Пафнутьев монастырь был одним из основных и сильно укрепленных пунктов на юго-западном рубеже Московского государства. Маленький монастырь, став оплотом Московского государства в его борьбе за объединение русских земель, довольно быстро рос и богател. В конце XVI века, опасаясь войны с Польшей, Московское правительство укрепляет монастырь и возводит мощные крепостные стены. В польском «Дневнике событий Смутного времени» в записи, относящейся к 1610 году, указано, что «монастырь был каменный и довольно сильно укрепленный, кругом была глубокая вода и окопы».
Одна из летописей XVII века повествует, что когда Лжедмитрий Второй осадил монастырь, он встретил сильное сопротивление и только благодаря измене двух воевод смог ворваться на территорию монастыря. Но защитники под предводительством князя Волконского не прекращали сопротивления и все были убиты под стенами собора. В память об этом подвиге в 1777 году город Боровск получил свой герб: сердце с крестом (символом верности) в лавровом венке.
Во второй половине XVII века в монастыре находился в заточении протопоп Аввакум.
В настоящее время протяженность крепостных стен составляет 673 метра. Основу боевой устойчивости монастыря, как средневекового фортификационного сооружения, составляют шесть башен: Тайницкая, Входная, Сторожевая, Оружейная, Георгиевская, Круглая.
Древнейшее из сохранившихся до наших дней зданий – трапезная 1511 года – является первым, которое видит посетитель, войдя в монастырский двор. Это средневековая палата для совместных трапез братии начала XVI века.
Необычайно параден северный торец здания с довольно широкой лестницей, ведущей через лоджию, перекрытую крестовыми сводами, к главному входу в палату. К восточной стороне трапезной палаты примыкает небольшая бесстолпная церковь Рождества Христова, отличающаяся красивыми очертаниями свода на распалубках. Пятиярусная колокольня, возведенная в конце XVII века, пристроена к трапезной с севера. Искусной обработкой фасадов, колонками с перехватами, поставленными на углах, ширинками парапетов и междуярусных поясов, разнообразными наличниками окон, обрамлениями арок звонов и горизонтальными рядами многоцветных изразцов она контрастирует с величаво простым обликом трапезной.
Собор Рождества Богородицы выстроен в конце XVI века на месте разобранного белокаменного, освященного самим Пафнутием. Точная дата строительства кирпичного пятиглавого четырехстолпного храма с двумя приделами не установлена. Реставрационные работы в 70-х годах нашего века вернули древнему собору его величавый вид.
Миниатюрная одноглавая бесстолпная Ильинская церковь 1670 года в северной части монастырского двора составляет единый комплекс с одновременно возведенной больничной палатой.
К трехэтажному корпусу летних настоятельских келий XVII века, почти вплотную примыкающему к северной крепостной стене, в 1760–1763 году пристроили бесстолпную одноглавую церковь Митрофания.
В 1923 году монастырь был закрыт. Сначала