именоваться впредь графомъ Кушелевымъ-Безбородко, дабы знаменитая заслугами фамилія сія съ кончиною послҍдняго в родҍ не угасла, но паки обновясь, пребыла навсегда въ незабвенной памяти россійскаго дворянства…»
Наб. Кутузова, 24
Желая превратить своё жилище в «храм искусств», новый владелец пригласил архитектора Василия Алексеевича Глинку, который, помимо традиционного набора парадных залов, гостиных и прочих комнат, предусмотрел устройство «… публичной галереи, открытой постоянно для художников и публики, допускаемых без стеснения в форме одежды». Превосходная коллекция картин, начало которой положил канцлер Безбородко, а потом значительно пополнили Александр Григорьевич Кушелев-Безбородко и его сын, Николай Александрович, была, впоследствии, завещана Академии художеств и в настоящее время хранится в Эрмитаже.
После смерти Александра Григорьевича особняк перешёл к старшему сыну, Григорию Александровичу. Архитектор Роман Романович фон Генрихсен в 1859-1860 годах полностью перестроил особняк, придав ему нынешний неоренессансный облик.
О том, как выглядели после перестроения внутренние помещения, можно судить по воспоминаниям поэта Афанасия Фета: «Беломраморная лестница, ведущая в бельэтаж, была уставлена прекрасными итальянскими статуями. В анфиладе комнат стены были покрыты дорогими картинами голландской школы. Не буду говорить о блестящий зале, диванной, затянутой персидскими коврами, и множестве драгоценных безделок…».
С Григорием Александровичем связаны местность Кушелевка на Выборгской стороне и Безбородкинский проспект (с 1918 года – Кондратьевский). Он также известен и как издатель. Вместе с Яковом Петровичем Полонским они издавали журнал «Русское слово», при котором, в качестве приложения, выходил «Шахматный листок» – первое русское шахматное издание (шахматы тогда только входили в моду).
В 1858 году по приглашению Григория Александровича в Петербург приезжал Александр Дюма – автор «Графа Монте-Кристо» и «Трёх мушкетёров». Знаменитого писателя граф поселил в Полюстрово на своей даче, известной по сей день, как дача Кушелева-Безбородко.
В 1892 году владельцем особняка стал тайный советник, купец 1-й гильдии Александр Григорьевич Елисеев, для которого архитектор Александр Карлович Гаммерштедт устроил в бельэтаже «барские покои» из 23 комнат и нескольких подсобных помещений. Из сохранившейся описи, сделанной в 1918 году, следует, что в хозяйской квартире было четыре спальни, кабинет хозяина, кабинет хозяйки, столовая, биллиардная, несколько гостиных, «галерея с 18-ю картинами маслом» и так далее.
Другие квартиры в доме сдавались внаем.
В 1883 году Елисеев решил полностью выйти из семейного дела – Торгового дома «Братья Елисеевы», так как состоял на государственной службе. В том же году он получил чин действительного тайного советника. Заслуги Александра Григорьевича на ниве благотворительности невозможно переоценить – перечень опекаемых им школ, училищ,