Толстого «невыносимы и оскорбительны» для помещиков и в будущем сулят для них «огромные потери». Следующая жалоба была подана 12 декабря 1861 года на дворянском съезде в Туле, на этот раз уже от имени «всего дворянства Крапивенского уезда». В.П. Минин обращается к губернатору с просьбой «или предложить графу Толстому отказаться от должности мирового посредника, или об увольнении его представить куда следует». Дворянство обвиняет Льва Николаевича в том, что тот, используя служебное положение, приглашает на должности волостных писателей и учителей «студентов Московского университета после бывших в оном беспорядков», а также опасаются относительно «спокойствия крестьян в Крапивненском уезде». Вдобавок ко всему Льву Николаевичу порой приходится покрывать убытки, возникающие по нерадивости или прямому обману им же облагодетельствованных крестьян. Мелкопоместная помещица Надежда Васильевна Заслонина из соседнего села Кривцова жалуется графу на своего бывшего крепостного Е. Васильева, которому Л.Н. Толстой выдал паспорт. Воспользовавшись документом, крестьянин отказался платить положенный оброк и «ушёл неизвестно куда». Н.В. Заслонина обжаловала действия мирового посредника в Крапивенский мировой съезд, и Толстому пришлось компенсировать ей все финансовые потери.
30 апреля 1862 года граф «по болезни» передаёт дела своему заместителю С.Н. Толстому, а затем по собственному желанию покидает эту должность.
Так что недолго музыка играла… Губернские администрации в борьбе за собственное влияние (обычное явление и для сегодняшнего дня) пос тепенно обюрокрачивали деятельность и низовых судов, и мировых посредников, всячески ограничивая их полномочия, при этом существенно влияли на кадровый состав судов… как правило, не в лучшую сторону. Такое «усвоение» новых правовых норм и порядков представителями привилегированного сословия, вчерашними полновластными властителями «живых» и «мёртвых» душ, шло чрезвычайно болезненно. Несмотря на тектонические изменения, вызванные Великой реформой, русский помещик по-прежнему мыслит исключительно сословными категориями, живёт в мире собственных иллюзий, почвой для которых является несовпадение его субъективных представлений с объективно-историческим значением проводимых буржуазных реформ. М.Е. Салтыков (Щедрин) в «Губернских очерках» описывает секретаря судебной палаты, который единственный, кто знает законы, и его задача – подобрать к уже принятому судом решению, как это сейчас говорится, правовое обоснование, типа: «Есть статья 1197 в XV томе, которая говорит, что при двух противоречащих свидетельствах следует отдавать предпочтение знатному перед незнатным…». В комедии А.Н. Островского «Горячее сердце» местный градоначальник Серапион Градобоев предлагает пришедшим к нему за правдой просителям выбрать: суд по закону или «как бог на сердце положит». Горожане выбирают альтернативное правосудие: «Суди по душе, будь отец, Серапион Мардарьич».
В мае 1870 года Льва Николаевича ждёт