Работа против иностранного шпионажа велась на основе советского законодательства. Еще в октябре 1921 г. СНК РСФСР издал декрет о проверке личного состава иностранных торговых судов, о пропусках для иностранных моряков в портовых городах. Задачи эти возлагались на органы ВЧК.

Приняв предложение «Американской администрации помощи» о завозе и распределений продовольствия в районах, охваченных голодом, Политбюро ЦК РКП(б) потребовало от чекистов не допустить развертывания работы американской разведки под прикрытием этой организации. Используя агентуру, наружную разведку и перлюстрацию корреспонденции, контрразведчики разоблачили нескольких американских разведчиков и завербованных ими агентов в Среднем Поволжье.

Контрразведывательная работа проводилась также в пограничных военных округах, на Украине, в Средней Азии. В 1921-1924 гг. были арестованы сотни агентов французской, английской, польской, турецкой и других иностранных разведок, в том числе пытавшихся нелегально или по каналам репатриации проникнуть в СССР. Через легендированную «военную организацию» бывших офицеров, служивших в штабе Ленинградского военного округа, ОГПУ предприняло попытку установить связи с «Российским общевоинским союзом», однако операция («Д-7»), продолжавшаяся более трех лет, окончилась в 1928 г. неудачей, поскольку агент ОГПУ, выступавший в роли руководителя «военной организации», перешел на сторону РОВС.

В 1924 - 1930 гг. была проведена операция «Синдикат-4» (агентурное проникновение в английскую разведку под прикрытием легендированной организации «ВРНО». «Синдикат-4» в отличие от «Треста» был ориентирован не против «николаевцев» - сторонников великого князя Николая Николаевича, а приверженцев другого претендента на престол, великого князя Кирилла Владимировича - «кирилловцев». В ходе операции по легенде, разработанной ОГПУ, в СССР якобы действовала мощная, разветвленная антисоветская организация - Внутренняя национальная российская организация. На территории страны чекистами было создано 46 «явок» для связи с зарубежьем - в Москве, Одессе, Ташкенте, Хабаровске, Харькове, Баку, Краснодаре, Киеве, Нахичевани, Ростове-на-Дону, Ленинграде, Пскове и др., что позволило ОГПУ держать под контролем основные каналы проникновения эмиссаров эмигрантских центров. В ходе операции «Трест», после побега Э.Опперпута, РОВС были засланы в СССР несколько боевиков-террористов, которым удалось совершить террористические акты в Москве и Ленинграде. При задержании сотрудниками ОГПУ некоторые из контрреволюционеров были убиты (Опперпут, Захарченко и Вознесенский в июне 1927 г. в Смоленской губернии, А.А.Шарин и С.В.Соловьев на финской границе в августе того же года). Остальных террористов (А.А.Сольский, АБ.Болмасов, Н.П.Строевой, В.А.Самойлов и фон Адеркасс) Верховцый суд СССР приговорил к высшей мере наказания в сентябре 1927 г.

Сотрудниками КРО были также выявлены и арестованы нелегально проникшие в СССР один из лидеров кадетской партии князь П.Д.Долгоруков, деятели РОВС штаб-ротмистр Г.Е. Эльвенгрен, полковник И.М.Сусалин, бывший офицер армии Юденича В.И.Анненков («Махров», «Арсеньев»), расстрелянные по приговору Коллегии ОГПУ в июне 1927 г. (в качестве заложников после теракта 7 июня в Ленинграде).

Контрразведчикам приходилось также вести борьбу с бандитизмом, антисоветскими мятежами (например, в Якутии в 1927 г., при подавлении которого отличились помощник начальника КРО С.В.Пузицкий и известный по операции «Синдикат-2» Г.С.Сыроежкин).

С марта 1926 г. в ведение КРО из Восточного отдела ОГПУ были переданы вопросы борьбы с турецким, персидским и афганским шпионажем.

Резидентуры КРО действовали при дипломатических представительствах СССР за границей. Контрразведчики под видом дипломатов обеспечивали безопасность полпредств и консульств. В 1926 г. эти функции были переданы ИНО ОГПУ

Сотрудники КРО работали за границей и нелегально. В 1924-1926 гг. под видом купца В.И.Шилова находился на работе по линии КРО в Харбине контрразведчик В.И.Пудин, установивший обширные связи среди белогвардейцев, завербовавший ценную агентуру. Через агентов и лично путем негласных выемок Пудин добыл сотни секретных документов, в том числе около 20 японских и китайских шифров.

В период с 1933 по 1937 гг. Особым отделом ОГПУ (в том числе вместе с ИНО) были проведены операции «Заморское» (полномочным представительством ОГПУ по СевероКавказскому краю против РОВС и румынской разведки), «М-8» - против РОВС в Париже, «Маки-Мираж» против японской разведки на Сахалине, в ходе которой было арестовано 19 японских агентов, «Консул» против английской и румынской разведок и резидентуры РОВС в Румынии и др. Как правило, использовался метод создания легендированных организаций.

В те же годы ОГПУ с помощью перевербованных агентов польской разведки разоблачило польских и чехословацких агентов в Киеве, Москве и Ленинграде. В Туркмении в 1932 г. сотрудники ОО раскрыли две резидентуры английской разведки. Применяемое в этих и других операциях легендирование антисоветских организаций на территории СССР со временем стало терять эффективность, поэтому руководство ОГПУ приняло решение о сужении масштабов оперативных игр и ограничило право местных органов на их проведение.