Под прикрытием крепости жили трактирщики, ремесленники, садоводы, рыбаки… С 1408 года в посёлке существовала школа. К 1425 году были построены три мельницы.
Но… капризная фортуна повернулась к Бранденбургу задом. Комтур фон Зальцбах попал в плен в сражении под Грюнвальдом – и был казнён. Великий магистр Генрих Ройс фон Плауэн (спасший Мариенбург-Мальборк) провёл в Бранденбурге семь лет под стражей, как в тюрьме (после грюнвальдского поражения его отстранили от должности).
Во время Тринадцатилетней войны (1454–1466) Бранденбург был занят восставшими жителями Кнайпхофа (части средневекового Кёнигсберга), которыми руководили «светские» рыцари. Ещё один фон Плауэн (тоже Генрих Ройс – это было родовое имя; семья фон Плауэн традиционно направляла в Орден одного из младших сыновей) отбил Бранденбург в результате удачного манёвра, зайдя через Хайлигенбайль (ныне Мамоново) по старой военной дороге.
Кнайпхофцы капитулировали без боя.
«Война всадников»
А на следующую ночь в бранденбургский порт – по пути в Кёнигсберг – зашло данцигское судно, ещё не зная, что замок вновь в руках Ордена. Фон Плауэн «конфисковал» судно (экипажу, состоявшему из «вольных данцигских горожан», мало не показалось), посадил на него отряд наёмников и отправил в Фишхаузен (ныне Приморск, Балтийский городской округ) и Лохштедт (четыре километра по прямой юго-восточнее Фишхаузена, вплотную к заливу, Балтийский городской округ), где они заняли замки.
Сам фон Плауэн во главе отряда подошёл с юга к Кнайпхофу и осадил его…
Но отдельные удачи уже ничего не решали. Через год к Бранденбургу подошли корабли из Данцига (ныне Гданьск, Польша) и буквально расстреляли его из артиллерийских орудий, после чего высадили десант и разграбили орденское имение Воллита (ныне пос. Приморское, Багратионовского района).
Потом были ещё штурмы и ещё осады. Тринадцатилетняя война закончилась тотальным разорением комтурства Бранденбург. А «война всадников», начатая Великим магистром Альбрехтом Бранденбургским, только усугубила его бедственное положение: польские войска в июле 1520 года сожгли замок со всеми прилегающими зданиями.
Чуть позже его восстановили. В XVII веке, во время эпидемии чумы в Кёнигсберге, сюда перевёл свой двор курфюрст Георг Вильгельм. Затем какое-то время в Бранденбурге жила супруга Великого курфюрста Фридриха Вильгельма.
Король Фридрих Вильгельм I
Но замок ветшал. Вкус к историческим памятникам у немцев ещё не прорезался – и в 1776 году Бранденбург начали разбирать на кирпич. Строительные материалы (в частности, гранитные блоки) были вывезены в Мариенбург.
По сути, к XIX веку замковая гора превратилась в пустынный холм, а от былой мощи и роскоши остался лишь частично сохранившийся форбург. Его сдавали в аренду обыкновенной семье, которая аккуратненько оштукатурила все средневековые постройки и уцелевшие оборонительные стены. В жилом помещении