Оставив монастырь преподобного Сергия, Аврамий пошел в монастырь Тихвинский, где архиепископом Новгородским Пименом, в то время полагавшим начало той обители и распределявшим братию по службам, был поставлен ключехранителем церковным, чтобы всегда быть первым и последним при чудотворной иконе Царицы Небесной за проявленную на нем неизреченную милость Ее. Это произошло в 1560 году, в царствование царя Иоанна Васильевича Грозного.
Преподобный Мартирий, ожидая возвращения Аврамия и раздумывая о нем и о святом месте его пребывания, увидел однажды во сне, будто бы над Тихвином высится огненный столп, а на самой вершине его блистает явленная икона, к которой он устремлялся, чтобы приложиться. Видение это возбудило в душе Мартирия пламенное желание посетить самому обитель Тихвинскую и перед иконой Царицы Небесной молить, чтобы Владычица указала, не шумен ли, не мятежен ли путь его настоящей жизни в избранном монастыре и куда укрыться ему для совершенного безмолвия.
Он начал готовиться к исполнению этого намерения и тайно склонил одного боголюбца разделить с ним подвиг будущего жития в пустыне. Его останавливала лишь мысль, не противно ли будет воле Божией исполнение такого желания. С горячими молитвенными слезами просил он указания свыше, и вот явился ему в келлии блаженный Михаил, объявляя, что он должен идти в пустыню один. Веруя, что повеление это давалось ему от Бога, преподобный тайно вышел из монастыря и за 60 верст от него, углубясь в едва проникаемую дебрь, ископал себе малую пещерку близ скудного источника воды и в новом месте посвятил себя молитве. Сам преподобный так пишет о своем отшествии в пустыню в своих записках: «Пришел мне помысл отойти в пустынножительство, и я собещался с их поваром бельцом идти в пустыню, куда наставит Бог. Неожиданно пришел в мою келлию юродивый именем Михаил и сказал мне: “Мартирий, иди один”. Потом пошел к повару и ему сказал то же: “Иди один”. Я же снова собещался с тем поваром идти в пустыню в праздник Архистратига Михаила. В монастыре шло освящение храма во имя Архистратига Божия. Только начался чин освящения, мы тайно вышли из монастыря и отошли на 60 верст от Великих Лук. В ту ночь выпало снега по колено. Мы нашли глубокую пустыню, решили поставить в ней хижину, но не могли этого сделать, потому что мох был засыпан снегом и мшить хижину было нечем. Подле одного потока в глиняной почве берега выкопали мы хижину, покрыли ее еловыми прутьями и в ней поселились. За необходимым орудием я послал своего сподвижника в соседнее село, но он ушел и не вернулся. Однако, уходя, сказал одному крестьянину, что в таком-то месте живет один старец. Этот крестьянин приходил время от времени и навещал меня. Я жил в пустыне и питался рукоделием: плел лапти из лыка и с тем крестьянином отсылал по селам к крестьянам. Они присылали за лапти все потребное. Я, грешный, принимал все приносимое с благодарением, моля за них Бога».
Дикая безлюдная пустыня полна была всяких страхований, и преподобный Мартирий картинно описывает