Н. Н. Муравьев-Амурский прибыл 11 февраля 1861 г. и в тот же день имел продолжительную беседу с царем. После этого он подал прошение об увольнении с должности генерал-губернатора Восточной Сибири с последующим длительным заграничным отпуском для лечения.
В 1881 г. Н. Н. Муравьева-Амурского не стало. В метрической книге Свято-Троицкой Александро-Невской церкви, состоящей при Российско-Императорском посольстве в Париже, читаем: «1881 г., ноября 18-го дня скончался от гангрены член Государственного Совета, генерал-адъютант, генерал от инфантерии, граф Николай Николаевич Муравьев-Амурский, 72-х лет от роду. Перед смертью был исповедован и приобщен Святых Таин протоиереем Василием Прилежаевым. Тело предано земле на Монтмартовском кладбище в Париже».
На 25-летнем юбилее «амурских обедов» было принято решение увековечить память о Н. Н. Муравьеве-Амурском. К этому времени уже было собрано по подписке 54 тысячи рублей на памятник бывшему генерал-губернатору, который сначала хотели установить во Владивостоке как «конечном морском пути», но большинством голосов решено было поставить прочный крест с надписью на месте слияния Шилки и Аргуни, откуда ушла в путь первая экспедиция Н. Н. Муравьева. В первый состав комитета вошли адмирал П. В. Казакевич, тайные советники М. С. Волконский и М. Н. Галкин-Враский и отставной статский советник Ф. А. Анненков. Они-то и окончательно решили в пользу Хабаровки. 14 февраля 1888 г. царь утвердил модель памятника. Решено было постамент изготовить из местного камня, который нашли в окрестностях станицы Михайло-Семеновская, но оттуда далеко и было найдено месторождение светло-серого сиенита в 1889 г.
В феврале 1900 г. состоялся 37-й «Амурский обед», на котором предложили перенести прах Муравьева-Амурского из Парижа. Генерал-губернатору Приамурского края сразу же ушла телеграмма: «На Амурском обеде выражено общее желание просить Вас поднять вопрос переноса праха графа Муравьева-Амурского из Парижа в Хабаровск под памятник. Не откажите исполнением сообщить. Генерал Александров, граф Игнатьев, Духовской, князь Волконский».
За согласием перенести прах амурцы обратились к военному агенту во Франции полковнику Валериану Валериановичу Муравьеву-Амурскому, который ответил 2 мая 1900 г. так: «…по вопросу о перевезении на берега Амура тела дяди моего, графа Н. Н. Муравьева-Амурского, имею сообщить, что со стороны родных, из коих ближайший я, не только не будет препятствия к выполнению сего предположения, но полное и совершенное сочувствие и согласие». Что касается места нового погребения тела покойного покорителя Амурской и Уссурийской страны […]. Думали перевезти во Владивосток, но начавшаяся вскоре первая мировая война, а затем и революция отодвинули выполнение намеченного на долгие годы. В советское время крест на Шилке и памятник в Хабаровске были отправлены на переплавку. Только недавно хабаровчане вновь отлили памятник графу и установили на прежнем месте. Не остались в долгу и владивостокцы: в 1991 г. прах Н. Н. Муравьева-Амурского