К нему наведывались в разное время Боратынский, Лермонтов, Щепкин, Гоголь, профессора Московского университета, самые известные фигуры обеих столиц. У Свербеевых читались и обсуждались «Философические письма» Чаадаева, «Игроки» Гоголя, статьи славянофилов, пьеса Погодина…
Не признавая за собой права на известность, более того, «нисколько ее не желая», Свербеев прослыл персоной известной задолго до того, как проявил себя в 57 лет замечательным литератором. Яркие воспоминания о друге Чаадаеве написал по настоянию все того же Петра Бартенева.
В 70 лет, живя на покое вдали от Москвы в Швейцарии, он начал главное дело жизни, сам того не ведая. По его признанию, «без всяких притязаний на авторство и без нужды на успех», побуждаемый дочерью, стал диктовать воспоминания. По словам Свербеева, она «понукала меня ежедневно к этому труду». Свои записки предназначал для семьи, детей (их родилось десять), многочисленных внуков. Заинтересовали мемуары читающую Россию. Перед собой Свербеев поставил цель – сохранить в памяти образ старой Москвы, описать быт, нравы, привычки общества разных социальных слоев. Поражает, как ему удалось в старости не забыть так много умерших лиц и мельчайших деталей былой жизни. «Как теперь гляжу я на эту милую старушку, скромную, но всегда опрятно одетую, низенькую ростом, худенькую, в белом как снег, накрахмаленном чепчике, из-под которого виднелись слегка напудренные волосы, сидящую за своим столом с книжкою или за гран-пасьянсом». Так вспоминал Свербеев спустя полвека после смерти Марию Перекусихину, постоянную спутницу, любимую прислугу Екатерины II, на руках которой императрица умерла.
«Ясно и отчетливо» написал Свербеев о бывшем начальнике статс-секретаре Комиссии прошений Петре Кикине, подавшем императору мысль о сооружении храма Христа Спасителя в Москве: «Русскую юриспруденцию, все наше судопроизводство, всю переписку к нему относящуюся, или так называемое делопроизводство, все это он почитал какими-то элевзинскими таинствами, профанам недоступными. В древней Греции в городе Элевзине вблизи Афин устраивались ежегодно в строгой тайне религиозные обряды. Чем туманнее и недоступнее бывала какая-нибудь бумага, тем казалась она ему дельнее».
Дмитрий Свербеев запечатлел в «Записках» выдающихся современников и «чудаков», «оригиналов», людей удивительных судеб. Ему хотелось показать «русского человека», «во всех его видах и со всеми качествами», «противоречиями». Что вполне ему удалось, о чем сам он не узнал. В двух томах «Записки. 1799–1826» вышли в Москве спустя четверть века после смерти автора, к столетию со дня его рождения в 1899 году. Если эти «Записки» переиздать, они нашли бы снова читателей-покупателей.
Ударив «одним концом по барину, другим по мужику», реформы Александра II вынудили князей и графов, владевших строениями и землей на Никитском бульваре, продавать их удачливым предпринимателям, купцам, мануфактуристам. Особняком владел с 1872 года купец Александр Никифорович Прибылов, сказочно разбогатевший на производстве полушерстяных и бумажных тканей. В том же году приобрел он колоссальный надел