Вездесущая столичная газета «Санкт-Петербургские ведомости» не преминула на своих страницах сообщить об этом читателям: «Оба музыканта со слугою Дефлером живут у Синего мосту в доме его сиятельства графа Ивана Григорьевича Чернышева».
В 1767 г. по распоряжению императрицы Екатерины II граф направляется в Великобританию в качестве чрезвычайного и полномочного российского посла. Чернышеву удается убедить англичан беспрепятственно пропустить в Средиземное море участвующую в Русско-турецкой войне эскадру под командованием адмирала Григория Андреевича Спиридова, сумевшего тогда освободить целый ряд греческих городов, занятых турками.
По возвращению из Англии в 1769 г. И.Г. Чернышев императорским указом назначается вице-президентом Адмиралтейств-коллегии. Ему поручается работа по восстановлению боеспособности Российского военно-морского флота. С этой трудной задачей граф Чернышев с честью справился. Военно-морские силы Российской империи пополнились новыми боевыми кораблями и были перевооружены. Его труды по достоинству высоко отметила Екатерина II, издав указ о награждении графа И.Г. Чернышева двумя высшими российскими военными орденами – Св. Александра Невского и Св. Андрея Первозванного: «За многие труды в приведении флота в доброе состояние».
В годы правления императора Павла I граф Чернышев назначается президентом Адмиралтейств-коллегии и производится в генерал-фельдмаршалы по флоту «с тем, однако, чтобы не был генерал-адмиралом».
В 1798 г., находясь в Риме, граф Иван Григорьевич Чернышев скончался. Его тело перевезли в Санкт-Петербург и похоронили в Благовещенской церкви Александро-Невской лавры. (Кстати, напомню, Благовещенская церковь лавры являлась усыпальницей сподвижников царя Петра и знаменитых государственных деятелей России: здесь погребены: граф П.И. Ягужинский, фельдмаршал В.В. Долгорукий, А.Г. Разумовский, А.М. Голицын, П.И. Панин, А.И. Ушаков, граф Я.В. Брюс, И.И. Бецкой, князь Безбородко, граф И.И. Шувалов и многие другие. За левым клиросом находится могила полководца А.В. Суворова с лаконичной записью на могильной плите: «Здесь лежит Суворов». Из царственных особ в Благовещенской церкви покоятся: царица Прасковья – супруга Иоанна Алексеевича, Наталья Алексеевна – сестра Петра Великого, сын Петра I Петр Петрович, правительница Анна Леопольдовна, Петр III и его дочь Анна, первая супруга Павла I Наталья Алексеевна и их дочь Ольга. Здесь же похоронены дочери Александра I Мария и Александра).
После смерти графа И.Г. Чернышева дворец перешел по наследству к старшему сыну от второго брака с Анной Александровной Исленьевой – Григорию Ивановичу. Тот вел довольно праздную жизнь и быстро промотал батюшкино наследство. Графский дворец с его великолепным содержимым и редкими коллекциями картин и скульптур вскоре был заложен, а затем в счет погашения долга отошел в казну. Часть дворца графа И.Г. Чернышева даже сдавалась в аренду разного рода предпринимателям. Здесь открыли магазины по продаже картин, табака, сигар и даже знаменитых немецких