вступив, в частности, в публичные дебаты с генерал-майором Эндрю Джексоном (будущим президентом США), который фактически отказался выполнять президентские распоряжения, разорял племена, которые ранее участвовали в войне на стороне Великобритании, и отнюдь не только их. На протяжении одного 1815 г. на территории по течению реки Огайо (в той ее части, где позже будет создан штат под этим названием) создали свои хозяйства около 400 тыс. переселенцев, что привело к полному вытеснению индейцев с этой территории. Будучи трезвым политиком и не желая терять поддержку белых граждан под конец своего правления, Мэдисон смирился с лишением индейцев прав и собственных земель. Более по этому вопросу он не высказывался.
Джеймс Мэдисон покинул Белый дом в марте 1817 г. в возрасте 66 лет, передав президентство своему последователю и другу Джеймсу Монро, избранием которого он был глубоко удовлетворен. Мэдисон с женой направился на пароходе вверх по Потомаку к своему имению Монпелье. По словам одного из сопровождавших его знакомых, он «был счастлив, как школьник, отправляющийся на каникулы».
Правда, жизнь после отставки оказалась нелегкой. Джеймс покидал Белый дом, имея значительно меньшие средства, чем когда стал президентом. К тому же его табачная плантация стала к этому времени убыточной как в результате падения цен на табак, так и из-за недостатков в ведении хозяйства, которое было поручено приемному сыну, оказавшемуся полностью некомпетентным. Лишь постепенно стареющему бывшему президенту удалось привести свое хозяйство в сравнительно стабильное состояние.
Это позволило ему заняться общественными делами. Он писал политические статьи и письма, появлявшиеся в различных газетах и журналах, которые платили ему высокие гонорары. Вместе с Джефферсоном он участвовал в создании Вирджинского университета и сменил Джефферсона на посту ректора, каковым был десять лет, с 1826 по 1836 г., вплоть до своей кончины.
В 1829 г., когда Мэдисону стукнуло уже 78 лет, он был избран в состав Конституционного конвента Вирджинии, созванного для внесения изменений в Конституцию. Решался вопрос о представительстве в Законодательном собрании штата. Согласно Конституции, в него избиралось равное число депутатов от каждого графства. Но в последние десятилетия значительно увеличилось население западных графств, и их местные власти настаивали на изменении порядка выборов. Мэдисон поддержал предложение о введении представительства на основе численности населения графств. Однако депутаты от восточной части Вирджинии, главным образом плантаторы-рабовладельцы, формально согласившись с этим, фактически сорвали реформу, добившись включения в число жителей (то есть лиц, определяющих представительство) своих рабов, не имевших права голоса. Мэдисон был разочарован тем, что его предложения были сорваны.
Последние годы жизни Джеймс Мэдисон фактически не участвовал в общественной жизни. Он жил в своем имении, часто болел. Он скончался в Монпелье