НКО Смерш были созданы и в армиях в количестве 57 человек. Они состояли из пяти отделений.
1-е – работа по штабу, отделам, управлениям.
2-е – работа по управлению тыла и его объектам.
3-е – руководство подчиненными органами (корпусами, дивизиями, бригадами).
4-е – борьба с агентурой противника, фильтрация, зафронтовая работа.
5-е – следственное отделение.
Для комплектования органов Смерш помимо бывших сотрудников особых отделов НКВД в Смерш массово призвали армейских офицеров, а также «профильных» специалистов с гражданки, в частности юристов.
Первым приказом по личному составу ГУКР Смерш, 29 апреля 1943 года, (приказ № 1/сш) нарком обороны СССР И.В. Сталин установил новый порядок присвоения званий офицерскому составу нового Главка, имевшему преимущественно «чекистские» спецзвания. В соответствии с этим приказом лицам, имевшим воинские звание с приставкой «государственной безопасности», было приказано именоваться только по основному званию, без данной приставки. Так, офицер, ранее имевший звание лейтенант государственной безопасности, впредь должен был именоваться просто «лейтенант», и т. д. вплоть до полковника. Остальным лицам начальствующего состава, имевшим звание комиссар государственной безопасности и выше, воинские звания присваивались в персональном порядке. Вместе с тем имеется достаточно примеров, когда военные контрразведчики-«смершевцы» (особенно это касается старших офицеров) и далее носили персональные звания госбезопасности. Так, начальник ГУКР НКО СССР Смерш В.С. Абакумов – единственный «армейский смершевец», несмотря на назначение его по совместительству заместителем Наркома обороны (занимал этот пост чуть более месяца – с 19.04 по 25.05.1943 года), сохранял за собой вплоть до июля 1945 года «чекистское» спецзвание комиссар государственной безопасности 2-го ранга. Начальник ОКР НКВД СССР Смерш С.П. Юхимович до июля 1945 года оставался комиссаром государственной безопасности 3-го ранга. Но при этом для всех сотрудников контрразведки были сохранены оклады содержания, выслуга лет, снабжение и нормы продовольственных и промышленных пайков, установленные ранее для органов НКВД. Сотрудникам всех трех ведомств Смерш надлежало носить форму одежды и знаки различия воинских частей и соединений, ими обслуживаемых.
Для пополнения органов Смерш кадрами были созданы 1-я и 2-я Московские школы, соответственно, на 600 и 200 человек, Ташкентская школа (300 человек), Хабаровская (250 человек) и курсы в Новосибирске и Свердловске на 250 человек. Срок обучения предусматривался в течение от шести до девяти месяцев. В начале 1943 года новосибирские и свердловские курсы были реорганизованы в школы. В этих военно-учебных заведениях, кроме чисто военных дисциплин, преподавались специальные дисциплины по оперативно-разыскной работе.
В феврале 1944 года для обучения работников контрразведки публикуется «Сборник материалов об организации германской разведки, действующей на советском фронте». В апреле того же года в органы Смерш был разослан аналогичный сборник об органах финской военной разведки.
Постановлением СНК от 6 января 1945 года при