Гурьева выступал новый министр финансов Е. Ф. Канкрин. Он писал: «Казначейство приближается к банкротству… доходы совсем не поступают, как предместник мой полагал». По словам графа А. И. Рибопьера, «не у многих государственных людей было столько врагов, как у Гурьева. Немало интриг ведено против него. Император Александр, однако, верил в его честность и познания и постоянно защищал его против врагов». Отставка Гурьева пришлась на Пасху 22 апреля 1823 года. Она произвела большой шум в Петербурге. «Христос воскрес, Гурьев исчез!» – поздравляли друг друга жители. После отставки и до смерти в 1825 году Дмитрий Александрович сохранил должность министра уделов и управляющего императорским кабинетом.
Гурьев – один из немногих министров финансов, которому посвящена специальная монография, автором её является Л. П. Марней. По её мнению, деятельность Гурьева была недооценена в историографии, так как он был одним из предшественников денежной реформы Е. Ф. Канкрина, подготовившим базу для её реализации.
В отношении личности Гурьева его современники писали, что он «никогда не был ни хорош, ни умён… вместе с тем чрезвычайно искателен и угодителен». В отношении финансовых вопросов «держался строгой тайны». Отмечали, что он «…обладал умом неповоротливым и ему трудно было удержать равновесие суждений». Гурьев «был недоступен для подчинённых… покровительствовал родственникам». Писатель и журналист Н. И. Греч называл Гурьева не иначе как ничтожество. М. А. Корф отмечал, что «Гурьев был человек без большого делового ума и ещё менее учёного образования; но имел много доброй воли и ещё более придворной тонкости». По словам мемуариста Ф. Ф. Вигеля, Гурьев «подведомственных ему чиновников… подавлял тяжестью ума своего; в свете же имел все задатки величайшего аристократа, хотя отец его едва ли не из податного состояния». Семейство Гурьева было «в обществе нестерпимо и нагло со всеми, кого не признавали своими, то есть (чин, титул и древность рода! в сторону) со всеми, коих богатство и кредит при дворе были незначительны». Ф. Ф. Вигель считал, что «Гурьевы какими-то финансовыми оборотами более чем щедротами монарха стяжали себе великое состояние и сделались вельможами, тон общества стал заметно грубеть; понятия о чести стали заметно изменяться и уступать место всемогуществу золота». Ф. Ф. Вигель также писал об алчности Гурьева, о том, что он был одним из первых, кто стал «у нас основателем явного поклонения золотому тельцу». После того как Дмитрий Александрович стал министром, его называли «горделивый граф», «почитавший себя первым министром» и имевший «дурацкую напыщенность». В воспоминаниях государственного деятеля того времени, писателя и публициста Ф. В. Ростопчина о Гурьеве говорится, что он был «человек умный, весьма любезный в тесном кружке, не имеющий другого образования, кроме уменья свободно объясняться по-французски, интриган и честолюбец в высшей степени, относит всё к самому себе; обременён делами, которыми занимается в полудремоте; столь же