Литовский Александр дал городу неполное Магдебургское право. В 1506 году князь Александр умер, и Браслав перешел к его жене Елене, дочери Ивана III, Великого князя Московского. Княгиня Елена основала на Замковой горе православный женский монастырь.
По переписи 1554 года в Браславе – около 100 домов, казармы гарнизона, церковь, костел, католический монастырь. Браслав принадлежал магнатам Сапегам, которые продали замок князьям Масальским. В городе был большой рынок, больница, около полусотни шинков.
Браслав несколько раз был разрушен в период войн XVII – начала XVIII веков. В середине XVII века в Браславе было около 160 домов, в конце XVIII – около 70. За почти 200 лет XVI–XVII веков было 10 крупных войн Великого княжества Литовского и Московского царства. В общей сложности воевали более 60 лет.
В 1512 году началась борьба Москвы и Литвы за Смоленск. В 1515 году по приказу московского царя Василия III на Браслав пошли отряды воевод Кутузова, Бутурлина, Воронцова. Посад был разрушен, но деревянный замок на валах устоял.
Следующий поход на Великое княжество Литовское состоялся в 1535 году, когда московские войска князя Б. Горбатого разорили неукрепленные местечки и посады от Витебска и Браслава до Вильно.
Во время Ливонской войны Браслав не пострадал. В сентябре 1579 года в городе останавливался Стефан Баторий.
Во время русско-польской войны 1654–1667 годов в начале военных действий был взят Полоцк. Браславские земли заняли войска В. Шереметева – летом 1654 года. Браславский замок был разрушен.
В сентябре 1655 года по договору шведского короля и Великого гетмана Я. Радзивила на земли Великого княжества Литовского вошли шведские войска. Они были, в частности, размещены и в Браславе. Весной 1656 года Московское царство и объявило войну Швеции. Московское войско пошло на Ригу. В июне царь Алексей Михайлович несколько дней простоял недалеко от Браслава, у Друи, где принял несколько делегаций шляхты. Браславской шляхте царь пообещал «домов и имущества браславских не уничтожать, всякое не жечь, людей не забирать и не губить, фуражами не отягощать, хлеба не отбирать».
Война окончилась в 1667 году. Документы сейма говорят, что Браславщина была разорена полностью.
В мае 1794 года в Браславе шел кровопролитный бой между повстанцами Т. Костюшко и русскими войсками. Повстанцев перебили или разогнали, а Браслав полностью сгорел.
В 1795 года Браслав вошел в состав Российской империи как местечко и уездный центр. С 1808 года Браслав – волостной центр Новоалександровского уезда Ковенской губернии.
В период Отечественной войны 1812 года в Браславе 10 дней простоял штаб корпуса наполеоновского маршала М. Нея.
В середине XIX века в Браславе – 220 жителей и 60 домов, сельское училище и пивоваренный завод. Перед Первой мировой войной в городе проживало полторы тысячи жителей.
В ноябре 1917 года в Браславе была установлена Советская власть, с февраля по декабрь 1918 года в городе – германские оккупанты. С августа 1919 года до октября 1920 года в Браславе стояли польские войска.
В 1921–1939