это ходатайство почему-либо не может быть удовлетворено, то нельзя ли разрешить оставшийся срок отбывать в одном из русских городов или селений где-либо около Вологды, Рыбинска или Костромы, как ближайших к месту моей родины (гор. Устюжна, в 200 верстах от Вологды), где, вблизи родных, я мог бы получать некоторую помощь, в которой чрезвычайно нуждаюсь»[79].
Пешкова смогла помочь митрополиту лишь частично, его не освободили и оставили в Казахстане, но разрешили вернуться в Чимкент (некоторое время митр. Иосиф работал бухгалтером на медном комбинате). В доме, где проживал Владыка, был устроен небольшой алтарь, и он ежедневно служил литургию. Митрополит постоянно поддерживал отношения с другими ссыльными противниками Заместителя Патриаршего Местоблюстителя и принимал посланцев из разных областей страны.
9 апреля 1935 г. митр. Иосиф был освобожден из ссылки, но оставлен на проживание в Казахстане (г. Мирзоян-Джамбул, ныне г. Тараз, ул. Рувимская, 43) без права выезда. Владыка совершал тайные службы в некоторых нелегальных общинах иосифлян, существовавших в различных населенных пунктах Казахстана. По свидетельству очевидцев, одна из таких подпольных церквей действовала в 1936–1937 гг. в Алма-Ате: «Архим. Арсений был рукоположен митрополитом и имел счастье содержать его материально… У него была глубоко под землей церковь, и он и митрополит Иосиф служили в ней. Митрополит и освятил ее секретно, изредка приезжая в Алма-Ату… Архим. Арсений устроил ему комнату для спокойной жизни, заботился о его еде, не только в сытости, но и соблюдением диеты. Достал ему сперва цитру, затем и фисгармонию, что для митрополита, большого музыканта, было радостью. Он перекладывал псалмы на музыку и пел. 23 сентября 1937 г. было арестовано везде, в окрестностях Алма-Аты, по Казахстану, все духовенство потаенных иосифлянских церквей, отбывавших вольную ссылку за непризнание “советской церкви”… Подземная церковь о. Арсения была открыта. По неосторожности он однажды открыл ее тайну одному с виду почтенному и пожилому человеку, который оказался чекистом…» Митрополит Иосиф осенью 1935 г. рукоположил во иеромонаха и позднее посвятил в сан архимандрита и подарил свою митру приезжавшего к нему в Мирзоян монаха Арсения (Корди). Пещерную церковь в Алма-Ате под домом на Транспортной ул., 44 Владыка освятил осенью 1936 г. и несколько раз тайно служил в ней[80].
Участница описываемых событий М.П. Бузина вспоминала: «Митрополит Иосиф был очень высокого роста, все же два раза при мне приезжал сюда и проникал в эту церковь, создавалось особое молитвенное настроение, но не скрою, что страх быть обнаруженным во время богослужения, особенно в ночное время, трудно было побороть. Когда большая цепная собака поднимала лай во дворе, хотя и глухо, но все же было слышно и под землей, то все ожидали окрика и стука НКВД. Молились мы в пещере с осени 1936 г.» Близкий духовный сын Владыки Иосифа тайный архимандрит Арсений (в миру Борис Григорьевич Корди), работавший художником-оформителем в Республиканском историческом музее,