В 20 лет, окончив с золотой медалью Императорское училище правоведения, начал службу при прокуроре С.-Петербургского окружного суда в чине титулярного советника. Трудоспособный, усидчивый, умный, хорошо знающий законодательство, особенно уголовное, Иван Григорьевич обратил на себя внимание начальства.
Его первая самостоятельная должность – товарищ прокурора Нижегородского окружного суда. Весной 1887 года возвратился в столицу, где занял должность товарища прокурора С.-Петербургского окружного суда. Одно из самых первых поручений, данных ему в столице, присутствие при казни «первомартовцев» – Александра Ильича Ульянова и его товарищей, покушавшихся на жизнь императора Александра III и приговоренных за это к повешению. Позднее Щегловитов рассказывал, что воспринял это поручение, как «чрезвычайно тяжелое». Он говорил, что ночевать ему пришлось в Шлиссельбургской крепости, и всю ночь он не сомкнул глаз. Утром, надеясь получить телеграмму о Высочайшем помиловании, принимал все меры к тому, чтобы оттянуть казнь. И только после настойчивых требований коменданта крепости и жандармского офицера казнь состоялась.
Постепенно Щегловитов приобретает опыт и повышается в чинах. Все отмечают его старательность, даже основательность во всем, за что бы он ни брался, а также блестящие способности и великолепную теоретическую подготовку. Он сумел проявить себя не только хорошим организатором работы, но и блестящим судебным оратором. Запоминающуюся обвинительную речь он произнес по крупному уголовному процессу о подлоге духовного завещания миллионера Грибанова.
Современники отмечали, что в те годы Щегловитов «чтил Судебные уставы и возражал против нажима на суд». Именно по его инициативе министр юстиции издал даже циркуляр о праве присяжных заседателей ходатайствовать об облегчении участи осужденных.
В молодости Щегловитов «не чужд был и свободолюбивых речей». Ему приходилось давать заключения по самым разнообразным делам, причем их содержательная часть всегда отличалась высоким профессионализмом, основательностью и глубиной, что отмечал даже такой требовательный юрист, каковым был А. Ф. Кони. Последнему, например, очень понравилось заключение Щегловитова по делу Семёнова, в котором обер-прокурор убедительно разъяснил, что в уголовном процессе слова «виновен» и «совершил» – не синонимы.
Будучи обер-прокурором Правительствующего сената, Щегловитов выполнил ряд ответственных поручений первостепенной важности, чем обратил на себя внимание Высочайшего двора. Ему было доверено выполнение прокурорских обязанностей в Особом присутствии Правительствующего сената по так называемому «Делу о злодеянии, жертвой коего пал великий князь Сергей Александрович».
Обвинительный акт был составлен Щегловитовым 23 марта 1905 года. «Злоумышленником» оказался И. П. Каляев, член боевой организации партии социалистов-революционеров. Каляева осудили и приговорили к смертной казни через повешение. Выслушав приговор, он заявил: «Я счастлив вашим