Как офицер Генерального штаба он участвует в Венгерском походе и за боевые отличия досрочно получает капитанский чин, в Восточную войну сражается на Дунае и при обороне Севастополя (где получает золотую саблю с надписью «За храбрость»). Кстати, в Севастополе Аркадий Столыпин становится другом тогда никому не известного молодого офицера-артиллериста Льва Толстого, и их закалённая в пороховом дыму дружба сохранится навсегда.
После Восточной войны начинается блестящая административная карьера Аркадия Дмитриевича. Сначала талантливого офицера-артиллериста император Александр II (вообще ценивший людей незаурядных) делает своим флигель-адъютантом, а в 1857 году назначает наказным атаманом Уральского казачьего войска. А. Столыпин много сделал для освоения этого тогда ещё во многом дикого края и за отличие по службе в 1859 году награждается званием генерал-майора с оставлением в царской свите. В 1868 году наказной атаман становится генерал-лейтенантом с оставлением по конной артиллерии, а в следующем – оставляет военную службу и назначается шталмейстером двора (это было одно из самых высоких придворных званий). В это же время Столыпин продает подмосковное имение Середниково и переезжает в имение Колноберже под Ковно (сейчас Каунас, Литва). О том, как Аркадием Дмитриевичем было получено имение, дочь Петра Аркадьевича Мария фон Бок позже рассказывала следующее: «Его родственник Кушелев, проиграв ему в яхт-клубе значительную сумму денег, сказал: денег у меня столько свободных нет, а есть у меня небольшое имение в Литве, где-то около Кедайн (теперь Кедайняй), сам там никогда не был. Хочешь, возьми его себе за долг. Так и стало принадлежать нашей семье милое Калнабярже, унаследованное потом моим отцом».
Через несколько лет, во время русско-турецкой войны 1877–1878 годов, генерал вновь возвращается в строй. Как рассказывали очевидцы, когда император проезжал через Вильну и увидел на вокзале встречавшего его Столыпина в расшитом золотом шталмейстерском мундире, между ними произошел следующий диалог:
– Как грустно мне видеть тебя не в военной форме.
– Буду счастлив её надеть, Ваше Величество.
– Тогда назначаю командовать корпусом действующей армии.
И вскоре Аркадий Дмитриевич отправляется на театр военных действий, где он особенно отметился во время взятия крепости Никополь, первым комендантом которой он и стал. Следует особо отметить, что на войне генерала сопровождала его супруга Наталья Михайловна Горчакова, самоотверженно исполнявшая в госпиталях обязанности сестры милосердия. После победы над турками Столыпин назначается генерал-губернатором Восточной Румелии и Адриано-польского санджака, позже командует несколькими армейскими корпусами, а потом, до самой смерти, он был заведующим Дворцовой частью в Москве (то есть фактически комендантом Московского Кремля).
В общем, Пётру Аркадьевичу было кем гордиться из своих предков и было с кого брать пример в служении Отчизне.