Ваганьковский холм носил на себе опричный двор Ивана Грозного (1530–1584).
Когда очередной пожар охватил Москву в 1547 году, семнадцатилетний царь укрылся именно здесь, но если бы только пожарище страшило молодого государя – небывалое по своему размаху Московское восстание, вызванное неурожаем хлеба, произошло в Москве в том году. Вся ненависть простого люда выплеснулась против ближайших родственников Грозного – князей Глинских, будто бы они подожгли столицу. Князя Юрия Васильевича Глинского – дядьку царя – убили, а сам Иван IV из Ваганькова поспешил переехать еще дальше от Кремля, в село Воробьево.
В январе 1567 года царь Иван Грозный поселился в новом опричном дворце – на углу Моховой улицы и Воздвиженки (к началу ХХ века на Моховой оставались две белокаменные палаты со столпами посередине и со сводами из кирпича, предположительно это и были остатки опричного дворца).
Свои впечатления об опричном дворце Ивана Грозного оставил нам в воспоминаниях Генрих фон Штаден – достаточно известная историческая личность. Почти двадцать лет служил он царю Ивану, сначала толмачом, затем опричником. Последнее ему наиболее запомнилось. Генрих фон Штаден лично участвовал в боярских погромах, благодаря чему вошел в историю. Сергей Эйзенштейн увековечил его личность в своем фильме «Иван Грозный» – не каждый опричник удостаивался такой чести. Вот что пишет царский опричник в своих воспоминаниях «Страна и правление московитов в описании Генриха Штадена»: «Но, когда была учреждена опричнина, все, кто жил по западному берегу речки Неглинной, без всякого снисхождения должны были покинуть свои дворы и бежать в окрестные слободы, еще не взятые в опричнину. Это относилось одинаково и к духовным, и к мирянам. А кто жил в городе или слободах и был взят в опричнину, тот мог легко перейти из земщины в опричнину, а свои дворы в земщине или продать, или, разобрав, увезти в опричнину.
Великий князь приказал разломать дворы многих князей, бояр и торговых людей на запад от Кремля, на высоком месте в расстоянии оружейного выстрела; очистить четырехугольную площадь и обвести эту площадь стеной на одну сажень от земли (выложить ее из тесаного камня, а еще на две сажени вверх из обожженных кирпичей). Наверху стены были сведены остроконечно, без крыши и бойниц; протянулись они приблизительно на 130 саженей в длину и на столько же в ширину; с тремя воротами; одни выходили на восток, другие – на юг, третьи – на север.
Северные ворота находились против Кремля и были окованы железными полосами, покрыты оловом. Изнутри, там, где ворота открывались и закрывались, были вбиты в землю два огромных толстых бревна и в них проделаны большие отверстия, чтобы через них мог пройти засов; засов этот (когда ворота были открыты) уходил в стену, а когда ворота закрывались, его протаскивали через отверстия бревен до противоположной стенки. Ворота были обиты железом. На них было два резных разрисованных льва, вместо глаз у них были пристроены зеркала, и еще резной, из дерева, черный двуглавый орел с распростертыми крыльями.