Мстиславский и Адашев донесли царю о взятии замка Феллин и назначении в эту крепость воеводы Очина Плещеева. В ответ Иван IV приказал сменить воевод и послать в Феллин братьев окольничих Алексея и Данилу Адашевых.
Замок был как бы на острие русского копья, направленного в глубь Ливонии. И на этот раз правитель был послан в самую опасную точку. Но главным было не это.
Адашев был смещен с поста помощника главнокомандующего, что явилось знаком прямой царской немилости.
Иван IV был последователен в своих действиях. Сразу после назначения Адашева в Феллин он велел отобрать у временщика все его земли в Костромском уезде – село Борисоглебское со слободой и сельцом, с 55 деревнями. К 9 октября 1560 г. Поместный приказ выписал грамоту на эти земли боярину Ивану Меньшому Шереметеву, ближайшей родне Романовых-Захарьиных.
Грозный не желал уничтожить преданного советника. Он наделил опального обширным поместьем в Новгороде. По площади новгородские владения в три раза превосходили утраченные костромские. Но северные земли с их болотами и мхами уступали костромским. К тому же новые владения были государственными и могли быть в любой момент отобраны в казну. На некоторое время Адашев стал самым крупным из новгородских помещиков.
В 1550 г. в тысячу лучших слуг вошли дворяне как Московской, так и Новгородской земель. Однако в Дворовой тетради 1552 г. с полным списком московского Государева двора новгородцы отсутствовали. Разделение было связано с тем, что из-за бездорожья поездки новгородцев ко двору в Москву были непосильны для новгородских детей боярских. Удовлетворив требование новгородцев, власти отказались от посьшки новгородских отрядов на восточные окраины и возложили на них обязанность вести военные действия в Прибалтике.
Пожалование Адашеву новгородского поместья свидетельствовало, что отныне он должен был сосредоточить всю свою деятельность на том, чтобы довести до победного конца войну за Ливонию.
Адашев недаром стремился ограничить местнические порядки. Они в конечном счете и погубили его карьеру. В Феллин Алексей прибыл не один, а вместе со вторым воеводой Осипом Полевым, своим земляком. В дворовом списке по Костроме Полевы были записаны выше Адашевых. Воспользовавшись этим обстоятельством, Осип затеял местнический спор с Адашевыми и выиграл его.
Вслед за тем Адашева перевели в Юрьев Ливонский под начальство боярина князя Дмитрия Хилкова. Судя по летописи, Хилков якобы отказался исполнить приказ государя о назначении Алексея «нарятчиком» (что именно должен был «наряжать» окольничий, неясно). Адашев просил о служебном назначении многажды, а боярин каждый раз отказывал ему, может быть, в ожидании инструкций из Москвы.
Сильвестр, остававшийся в Москве после отъезда Адашева в Ливонию, предпринимал отчаянные попытки предотвратить его отставку. Но успеха не добился. Тогда он объявил царю, что намерен уйти на покой в монастырь. Иван не стал удерживать своего старого наставника и, благословив, отпустил в Кириллов