В феврале 1925 г. окружком ЛКСМУ направил П. А. Судоплатова на работу в Мелитопольский окротдел ГПУ, где он был зачислен сводчиком информационного отделения. С января 1927 г. — помощник уполномоченного УСО, а затем младший оперработник. Отвечал за работу агентуры, действовавшей в греческом, болгарском и немецком поселениях.
С августа 1928 г. — уполномоченный СПО Харьковского губотдела, затем — уполномоченный ИНФО ГПУ УССР в Харькове. Одновременно в 1928—1930 гг. заочно учился на рабфаке ГПУ. В 1928 г. вступил в ВКП(б).
В июле 1930 г. П. А. Судоплатов был зачислен в резерв назначения и откомандирован комиссаром Культурно-воспитательной части Прилукской трудкоммуны ГПУ для малолетних правонарушителей. С декабря 1931 г. он инспектор Организационно-инструкторского отдела ГПУ УССР в Харькове.
В феврале 1932 г. переведен на работу в центральный аппарат ОГПУ — инспектором, а с января 1933 г. — старшим инспектором 1-го отделения отдела кадров ОГПУ, курировал кадры ИНО.
Вскоре и сам П. А. Судоплатов был зачислен в аппарат ИНО ОГПУ: с апреля 1933 г. он оперуполномоченный 5-го, затем 8-го отделения. С октября 1933 г. — в резерве отдела кадров ОГПУ в связи со спецкомандировкой за рубеж. 1 июня 1934 г., по возвращении в СССР, зачислен оперуполномоченным в ИНО ОГПУ. С ноября 1934 г. — оперуполномоченный 7-го отделения ИНО ГУГБ НКВД.
В 1935 г. под прикрытием представителя украинского антисоветского подполья П. А. Судоплатов (псевдоним Андрей) был внедрен в руководство ОУН в Берлине. Ему удалось попасть на учебу в специальную партийную школу НСДАП в Лейпциге. Завоевав расположение лидера ОУН полковника Евгения Коновальца, разведчик вошел в его ближайшее окружение и сопровождал Коновальца в инспекционных поездках в Париж и Вену. В 1937—1938 гг. Андрей выезжал в Западную Европу в качестве нелегального курьера под прикрытием радиста грузового судна.
По возвращении в СССР — оперуполномоченный ИНО, затем помощник начальника отделения 7-го отдела ГУГБ НКВД СССР.
23 августа 1938 г. в Роттердаме, по личному поручению И. В. Сталина П. А. Судоплатов осуществил ликвидацию лидера ОУН Е. Коновальца.
С сентября 1938г. — и.о. помощника начальника 4-го (испанского) отделения 5-го отдела ГУГБ НКВД. После ареста руководителей разведки 3. И. Пассова и С. М. Шпигельглаза в ноябре — декабре 1938 г. исполнял обязанности начальника 5-го отдела ГУГБ НКВД.
В конце декабря 1938 г. П. А. Судоплатов был отстранен от дел и исключен из ВКП(б) первичной парторганизацией отдела за «связь с врагами народа». Однако благодаря вмешательству руководства НКВД это решение не было утверждено парткомом Наркомата, а П. А. Судоплатов 16 января 1939 г. получил должность заместителя начальника 4-го отделения.
С 10 мая 1939 г. он заместитель начальника 5-го отдела ГУГБ НКВД СССР. Руководил подготовкой операции «Утка» (ликвидация Л. Д. Троцкого), успешно осуществленной 20 августа 1940 г. в Мексике Н, И. Эйтингоном и Р. Меркадером.
С 25 февраля 1941г. П. А. Судоплатов заместитель начальника 1-го (разведывательного) управления НКГБ СССР.
После начала Великой Отечественной войны П. А. Судоплатов с 5 июля 1941г. начальник Особой группы при наркоме внутренних дел СССР, с 3 октября 1941г.— 2-го отдела НКВД СССР. Одновременно с 30 ноября 1941 г. по 1 июня 1942 г. он заместитель начальника 1-го управления НКВД СССР.
С 18 января 1942 г. — начальник 4-го управления НКВД СССР, которое было создано на базе 2-го отдела. Руководил партизанскими и разведывательно-диверсионными операциями в ближних и дальних тылах противника, координировал работу агентурной сети на территории Германии и ее союзников. С 21 ноября 1942 г. по совместительству — заместитель начальника 1-го управления НКВД СССР. С 11 мая 1943 г. — начальник 4-го управления НКГБ СССР.
С февраля 1944 г. П. А. Судоплатов начальник группы «С» при наркоме внутренних дел СССР, руководил переводом и обобщением материалов по атомной проблематике, полученных агентурным путем. С мая по август 1945 ґ. по совместительству — начальник отдела «Ф» НКВД СССР. Этот отдел был создан для работы на территории стран, освобожденных Красной Армией от противника, а также для сбора информации от граждан СССР, побывавших в плену или интернированных в странах Европы.
