На заседании политбюро ЦК ВКП 20 февраля 1934 года после доклада И. В. Сталина было принято решение об организации союзного наркомата внутренних дел с включением в него реорганизованного ОГПУ. Принципиальные изменения заключались в том, что в проекте постановления предусматривалось упразднение так называемой судебной коллегии ОГПУ. В проекте отмечалось, что народный комиссариат внутренних дел СССР не имеет судебных органов, что должно было стать свидетельством резкого смягчения карательной политики, проводимой советским государством.
Однако некоторые положения проекта вызвали критические замечания со стороны прокурора СССР И. А. Акулова и наркома юстиции РСФСР Н. В. Крыленко. В служебной записке Сталину от 22 февраля 1934 года прокурор поднял вопрос о более широком ограничении внесудебных полномочий ОГПУ. Он напомнил о существовании помимо судебной коллегии ОГПУ при полномочных представительствах ОГПУ "троек", имеющих право рассматривать по существу дела о преступлениях как контрреволюционных, так и общеуголовного порядка и право выносить приговоры с наказаниями вплоть до расстрела. В связи с реорганизацией ОГПУ он высказался о нецелесообразности сохранения "троек" при Полномочных представительствах ОГПУ.
Попытки сохранения "троек" неоднократно предпринимались руководством НКВД СССР в период разработки положения об НКВД СССР и Особом совещании. Например, в одном из тезисов, не вошедших ни в Положение об НКВД, ни в Положение об Особом совещании, предусматривалось, что для особо отдаленных районов (Дальневосточный край, Восточная Сибирь, Средняя Азия и Казахстан) организуются специальные комиссии в составе начальников управлений НКВД этих краев, начальников соответствующих отделов Управления государственной безопасности.
Этим комиссиям должно было предоставляться право предварительного рассмотрения оперативных материалов и дел о лицах, признаваемых общественно-опасными или деклассированными, с определением мер наказания в пределах прав Особого совещания при НКВД СССР и с направлением своих решений на утверждение Особого совещания при НКВД СССР. Однако вплоть до мая 1935 года, когда были созданы "тройки" при Главных управлениях рабоче-крестьянской милиции, в республиках, краях и областях подобного рода внесудебные органы не создавались. Но в мае 1935 года в соответствии с оперативным приказом НКВД СССР Э 00195 милицейским "тройкам" предоставлялись права особого совещания в отношении деклассированных и уголовных элементов. Их появление в 1935 году можно объяснить следствием убийства С. Кирова в декабре 1934 года и ужесточением карательной политики советского государства.
Прокурор СССР также отметил необходимость усиления прокурорского надзора за административными действиями органов госбезопасности. "В настоящее время, - писал Акулов, - по инструкции от 8 мая ОГПУ имеет право производить аресты без предварительного согласования с прокурорским надзором по ряду дел (теракты, взрывы, поджоги, шпионаж, перебежчики, политбандитизм и КР антипартийные группировки". Не возражая против сохранения такого порядка и впредь, Акулов потребовал, чтобы все аресты по этим делам по истечении срока в 10 - 14 дней санкционировались прокуратурой.
На момент образования НКВД СССР действовала практика во взаимоотношениях между Прокуратурой СССР и ОГПУ, которая являлась отступлением от "Инструкции губернским, военным и военно-транспортным прокурорам по наблюдению за органами ГПУ", утвержденной наркомом юстиции РСФСР Д. И. Курским и зампредом ГПУ И. С. Уншлихтом 1 ноября 1922 года. В инструкции, принятой в развитие постановления ВЦИК от 16 октября 1922 года о предоставлении ГПУ права на внесудебную расправу в отношении бандитов, взятых с поличным на месте преступления, предусматривалось извещение органов прокуратуры об арестах, произведенных органами ГПУ, по делам политическим и шпионаже не позднее 14 суток. Таким образом, Прокурор СССР предложил не только существенно ограничить внесудебные полномочия НКВД СССР, но и повысить роль прокурорского надзора.