Разоблачение мошеннических сетей знакомств с искусственным интеллектом
Исследователь безопасности Мэтью «Zigula» Гор-Корманик анализировал мошенническое приложение для знакомств под названием Dora, когда получил всплывающее сообщение о том, что ему поступает звонок от Дженнифер. Согласно ее анкете, она — 41-летний Стрелец с рыжими волосами, голубыми глазами и пирсингом. Она любит музыку, фильмы ужасов, ночную жизнь и спорт. Сексуальные мошеннические приложения для знакомств с ИИ уже здесь: тысячи людей были обмануты мошенниками, усиленными искусственным интеллектом.
Гор-Корманик ответил на звонок, но не увидел Дженнифер в своей видеоленте. Он увидел гобелен, который двигался, вероятно, из-за вентилятора, и услышал странные искажения на заднем плане. После окончания звонка «Дженнифер» написала ему в сообщении, что ей было весело, и добавила: «Твой голос намного лучше, чем ожидалось». При этом его микрофон даже не был подключен.
Гор-Корманик изучал Dora и другие подобные приложения, потому что ему была передана электронная таблица с потенциальными мошенническими приложениями для знакомств. Это расследование проводилось потому, что 5 июня компания Anthropic сделала нехарактерный шаг: обычно хранящая молчание компания позволила своему исследователю угроз Крису Кронбауху выступить с докладом на публичной конференции по кибербезопасности Sleuthcon.
Расследование Anthropic и масштаб мошенничества
Компания обнаружила мошенническую сеть приложений для знакомств после того, как заметила необычную активность на Claude: предоплаченный аккаунт отправлял более 100 000 запросов API в день. Большинство чатов вообще не привлекали человеческих агентов. Во время выступления под названием «Свайп вправо, плати: масштабный киберрыболовный промысел с помощью ИИ» Кронбаух описал сеть примерно из 28 приложений для знакомств, где общение в основном велось автономными ИИ-персонажами.
По его словам, в большинстве чатов вообще не было человеческих агентов. С тех пор Anthropic опубликовала свои выводы в разделе «мошенничество и обман» в отчете «Обнаружение и противодействие злоупотреблению ИИ: сентябрь 2026 года», но только после того, как было потрачено много времени на изучение этой сети и попытки подтвердить полученные данные.
Интерес вызывал тот факт, что Anthropic говорила об этом публично, в то время как многие приложения все еще оставались активными в обоих основных магазинах приложений США, и оставалось непонятным, почему они не были удалены. При осмотре самих приложений отмечалось, что они преподносились как помогающие людям находить собеседников. Они не выглядели как приложения-компаньоны вроде Replika, где четко понятно, что персонажи на самом деле являются ИИ.
Например, Dora описывалась как «приложение для знакомств, продуманно созданное для людей самого разного возраста… уважительное, простое в использовании пространство для знакомства с людьми, разделяющими ваши ценности». Другая версия утверждала, что это «теплое, простое приложение для знакомств для взрослых, ищущих реального общения». В описании Romi говорилось, что оно «помогает вам находить, общаться и болтать с реальными людьми». Слоган Doni гласил: «начните настоящее общение», а в описании говорилось, что оно «помогает вам общаться с одинокими людьми поблизости».
Как устроена схема мошеннических приложений
Схема мошенничества работает следующим образом: пользователи, в основном мужчины в возрасте от 35 до 40 лет, заходят в приложения для знакомств и находят пары с теми, кого они считают реальными женщинами. Только каждая четвертая из них действительно является таковой, причем этот человек — вовсе не пользователь, ищущий свидания, а нанятый специалист (гиг-воркер).
Нанятые работники привлекались для прохождения проверки на подлинность (liveness checks) на видео или для подписки на аккаунты в социальных сетях. Они даже не писали свои собственные комментарии. Вместо этого они отвечали на сообщения, выбирая из трех заранее сгенерированных ответов. Тем не менее, они могли доказать, что являются людьми, в то время как ИИ-персонажи могли лишь возражать правдоподобными объяснениями того, почему видеочат или звонок невозможны.
«Компоненты бэкенда подделывали лайки, посетителей и предварительно записанное «видео», когда реальный человек был недоступен, а также отслеживали, какие пользователи начали подозревать, что они общаются с ботом», — говорится в отчете Anthropic. Из-за редких взаимодействий с реальными людьми некоторые пользователи начинали верить, что полностью сгенерированные ИИ ответы, получаемые в приложении, также исходят от живых людей.
В схеме задействовано несколько провайдеров искусственного интеллекта. В то время как модель Claude использовалась не по назначению для работы автономных разговорных персонажей, в отчете указано, что «небольшая модель стороннего производителя генерировала короткие подсказки для ответов, на которые нажимали работники, а также оценивала привлекательность лиц и проводила модерацию фотографий и голоса. Модель редактирования изображений создавала аватары».
Существует целая экосистема онлайн-мошенничества, варьирующаяся от автоматизированных ответов для привлечения внимания до фальшивых аккаунтов в социальных сетях или профилей в приложениях для знакомств. Во многих случаях люди тратят месяцы на укрепление доверия, прежде чем сообщить своим жертвам о чрезвычайной ситуации и необходимости финансовой помощи. Или они притворяются инвесторами, запрашивая деньги на счет, которым владеют сами, и который в итоге оказывается фальшивым.
Однако это нетипичное романтическое мошенничество: здесь нет денег, «занятых» фальшивыми романтическими партнерами, и криптовалюта не задействована. Сами приложения и являются мошенничеством: они требуют монеты для продолжения общения, а эти монеты стоят реальных денег.
Механика работы мошеннических приложений
Пользователи покупают виртуальные услуги, чтобы продолжать общаться преимущественно с машинами, полагая, что они общаются с другими людьми. Эти наемные работники поддерживают обман, в то время как искусственный интеллект может круглосуточно поддерживать беседу, пока поступают деньги. Приложения сами по себе являются мошенничеством.
Согласно отчету компании Anthropic, подсказки, выданные искусственному интеллекту, сохраняли постоянство персонажей, и ИИ действовал так, будто обмен репликами был «обычным ролевым процессом или развертыванием компаньона». При этом искусственному интеллекту не говорили, что он является частью мошеннической схемы, поскольку, как написала компания, «монетизация и обман были невидимы изнутри любого обмена репликами». Тем не менее, в отчете отмечается, что «собственные рассуждения модели выявили причинение вреда» в небольшом числе случаев, включая те, «когда пользователи сообщали о серьезном заболевании или остром стрессе». Даже в тех случаях «вывод данных продолжался в рамках персонажа».
У нас есть дополнительные подробности, поскольку Гор-Корманик обнаружил внутренний репозиторий протоколов всей конфигурации, включая файлы, код и документацию о том, как работает эта операция. Это руководство на китайском языке было случайно встроено в приложение для знакомств Doni.
Мониторинг работников и техническое устройство
В репозитории протоколов Гор-Корманик обнаружил заметки для наблюдения за наемными работниками, чтобы проверять, включены ли их камеры и идет ли трансляция, доступны ли они для сообщений и так далее. Приложение также делает снимки экрана и записывает звонки, которые расшифровываются, причем сотрудники имеют доступ к этим расшифровкам.
В протокольном репозитории описывались этапы работы сотрудников, в том числе этап, на котором они оценивают свои выступления друг против друга, а также то, как их зарплата может зависеть от звонков и взаимодействия в сообщениях или от привлечения подписчиков в Instagram. В нем даже описывается процесс имитации входящих звонков от людей с целью заманить их в разговор. «Я могу подтвердить это, потому что со мной это произошло лично», — сказал Гор-Корманик. Он принял звонок, поступивший через Doni, который быстро отключился. Звонивший написал ему сообщение с вопросом, почему он звонил ей в час ночи. Приложение прямо показывало, что звонок поступил от нее. «СЛУЧАЙНЫЕ ВИДЕОЗВОНКИ РАЗДРАЖАЮТ. Необходимость покупать „гемы“, чтобы общаться с женщиной, которая может даже не быть реальной, а являться лишь чат-ботом, — это обман и откровенная гнусность», — отметил он.
Анализ приложений и реакция магазинов
Просматривая доклад Sleuthcon удаленно, автор сделал снимок экрана одного из слайдов Кронбау, на котором были логотипы 10 компаний. Обратный поиск изображений помог идентифицировать многие приложения, которые в итоге вошли в финальный отчет Anthropic, включая Dora, GraceChat, Jovia, Luma и Romi. Существовали и другие приложения, связанные с разработчиками этих программ, такие как Doni и Kira. (Anthropic перечислила в отчете некоторые другие приложения и заявила, что есть дополнительные варианты, идентифицированные только по внутренним цифровым номерам. Мы также изучили другие приложения, которые не попали в итоговый отчет Anthropic).
В начале июня несколько фальшивых приложений для знакомств все еще были активны в Google Play Store: Doni, Dora, Jovia, Nalo и Romi. А в Apple App Store мы обнаружили четыре таких приложения: Dora, GraceChat, Luma и Romi, хотя Dora и GraceChat казались не приложениями для знакомств, а программами другого назначения. Согласно данным Chrome-Stats, приложения Doni и Jovia, разделяющие одинаковые название и логотип, были удалены из магазина Google Play 1 сентября. Похоже, что почти все приложения были удалены из обоих магазинов до публикации отчета Anthropic, хотя некоторые работали вплоть до сентября. GraceChat, Luma и Romi были удалены из магазина приложений Apple 21 августа, согласно данным Chrome-Stats. Dora теперь перенаправляет на приложение о кино. В магазине Google Play приложения Dora, Romi, Luma и Eterna были удалены 3 сентября, а Nalo — 7 сентября.
Но по состоянию на 16 сентября Kira все еще доступна, и Гор-Корманик подтвердил, что она использует ту же кодовую базу, что и остальные программы.
Реакция платформ и инфраструктура
Компания Anthropic не ответила на запросы о комментариях относительно того, как и когда она обращалась к Google и Apple по поводу этих приложений. Однако во время выступления Кронбау заявил: «Как мы поступаем в других случаях, когда фиксируем злоупотребления на других платформах, мы поделились информацией о расследовании с этими другими провайдерами, чтобы они также могли принять меры на своих площадках». В отчете также указано, что его выводы были переданы напрямую Apple и Google.
Компании Apple и Google не предоставили оперативных комментариев по поводу того, удаляли ли они эти приложения, когда именно это произошло и почему это заняло столько времени. Google также не ответила на запрос о причинах, по которым Kira до сих пор доступна в Google Play Store.
Одним из индикаторов, перечисленных в отчете Anthropic, был адрес «Backend. managedkafka[.]heyhru-server[.]cloud[.]goog», указывающий на бэкенд оператора, размещенный на Google Cloud. Поскольку приложения продолжали функционировать в течение нескольких месяцев после этого доклада, возникает вопрос, почему Google не отключила доступ к инфраструктуре раньше. Google также не ответила на запрос о комментариях по этому поводу.
Для детального анализа Гор-Корманик развернул эмуляторы в своей лаборатории и извлек пакеты приложений Android (APK) для Doni, Dora, Jovia, Kira, Nalo, Romi, а также еще одной программы, которая, как предполагалось, могла входить в эту сеть. Подобные действия облегчают изучение принципов работы приложений.
Анализ кода и обнаружение масштабной сети мошеннических приложений
Отталкиваясь от этого, он провел статический анализ, то есть проанализировал код без запуска самого приложения. Он также выполнил некоторый динамический анализ с помощью инструмента под названием Frida — тестового приложения, которое позволяет разработчикам вскрывать приложения, мониторить и перехватывать трафик, а также видеть, к каким конечным точкам они обращаются. Он пытался лучше понять принципы их работы, используемую ими инфраструктуру и то, как они связаны друг с другом в рамках единой сети.
Хотя нам не удалось независимо подтвердить все выводы компании Anthropic из выступления на конференции Sleuthcon, потребовалось совсем немного времени, чтобы начать находить связи между приложениями. Это стало очевидно уже при беглом ознакомлении с описаниями приложений. Например, Dora, Romi, Luma и еще одно приложение под названием Eterna имели одинаковое имя пользователя разработчика — aprilsaidev. Они также использовали один и тот же адрес электронной почты, почтовый адрес и номер телефона.
Dora, Romi и Luma также разделяли одну и ту же личность разработчика — некоммерческую организацию Alliance Against Human Trafficking. Дженна Бинг (Jenna Bing), президент и сооснователь Alliance Against Human Trafficking, заявила, что организация не разрабатывала эти приложения и даже не знала о них. Doni исторически появлялась рядом с Jovia и приложением под названием Poka под именем разработчика iLexis Multimedia Consults. А у Jovia и Doni был общий гонконгский адрес и номер телефона.
Рецензенты тоже обнаружили связи. Один из рецензентов Kira — приложения, которое все еще доступно, — написал: «Полно фальшивых аккаунтов и платных сотрудников, притворяющихся реальными аккаунтами. Назначил встречу для свидания за завтраком с „парой“ — я был на месте, когда „пользователь“ сказал, что она прямо снаружи, но его вызвали на экстренный вызов. Ее не было снаружи (я мог видеть в окна) — никого не было снаружи. Полное мошенничество». В другом отзыве говорится: «СЛУЧАЙНЫЕ ВИДЕОЗВОНКИ — ЭТО РАЗДРАЖАЕТ. Необходимость покупать „драгоценные камни“, чтобы общаться с женщиной, которая может даже не быть реальной, а просто чат-ботом, является обманчивой и просто отвратительной».
Рецензент продолжает: «Безлимитные сообщения были бы отличными, реальные женщины были бы отличными, возможность обмениваться контактной информацией всякий раз, когда оба человека, участвующих в разговоре, дают на это согласие, была бы отличной». Рецензент также отметил, что мэтчи отвечают слишком быстро, но не на то, что действительно говорится. Kira не сразу ответила на запрос о комментарии по поводу ИИ-персон и лимитированных бесед.
Один рецензент назвал Dora, Doni, GraceChat и Romi одним приложением. Рецензент также описывает переиспользуемое или переработанное видео в периоды затишья. Отдельно рецензент Luma сообщил, что одни и те же профили появляются на Romi и Luma, но не узнают их в разных приложениях. Они сказали, что сообщения читаются как результат работы LLM.
Гор-Корманик смог подтвердить, что Doni, Dora, Jovia, Kira, Nalo и Romi связаны между собой. «Они разделяют код точь-в-точь, — рассказал он изданию The Verge. — Кроме того, все эти приложения используют одинаковую бэкенд-архитектуру для своих серверов. В коде используется один и тот же язык. В приложениях используются одни и те же API. Они определенно связаны».
Масштабы использования искусственного интеллекта и инфраструктура мошенников
Согласно выступлению Кронбо (Cronbaugh), компания Anthropic узнала об этой операции, проанализировав всего один пятидневный предоплаченный аккаунт без истории, который внезапно начал отправлять более 100 000 API-запросов в день. Именно тогда стало известно, что модель Claude используется не по назначению для создания женских персон внутри приложений для знакомств. Но Claude использовалась только в качестве разговорного слоя. Вторая модель применялась для генерации фотографий, а третья генерировала эмодзи и аватары в виде стикеров, как сообщил Кронбо. Это делалось в промышленных масштабах.
В отчете поясняется, что Anthropic обнаружила более 4700 отдельных поддельных ИИ-персон, взаимодействовавших как минимум с 25 000 уникальных людей за двухнедельный период в апреле. За эти две недели было отправлено примерно 2,36 миллиона сообщений. Anthropic смогла отследить и связать все приложения воедино, рассказал Кронбо на Sleuthcon, благодаря грамматически искаженной фразе, которая была достаточно характерной, чтобы использовать ее в качестве цифрового отпечатка для обнаружения всей этой сети.
Кронбо отметил, что покупки проводятся через веб-очередь внутри приложения с переходом к сторонним платежным процессорам (а не через нативные платежи магазинов приложений), и что, несмотря на кажущуюся независимость приложений, все они опирались на одну и ту же монетную инфраструктуру, а также на один и тот же набор сторонних платежных процессоров. Когда аккаунт блокировался, по словам Кронбо, мошенникам требовалось совсем немного времени на восстановление. Они создавали другой аккаунт или получали доступ через другой аккаунт. Если это было невозможно, они переключались на другого провайдера моделей.
Аккаунты, обнаруженные ими в сети, были созданы в течение предыдущего месяца. Кронбо подчеркнул, что эта операция была построена и управлялась как реальная компания, с реальной инженерной командой и с современными инструментами, включая ИИ-ассистентов для написания кода. У них были проектная документация и планы проектирования, дорожные карты, конфигурации и структурированная архитектура приложений, а также планы роста и правила поведения при прохождении модерации в магазинах приложений. «Изощренные мошенники ведут дела как бизнес, а это значит, что их беспокоят доходы и их беспокоят расходы», — заключил он.
Методы работы мошенников и инфраструктура сети
«Они используют инструменты для повышения эффективности», — заявил Тейт Джарроу, основатель и генеральный директор антимошеннического приложения Jacana и бывший следователь по киберпреступности Секретной службы США. Джарроу отметил, что любой современный бизнес стремится внедрить искусственный интеллект для повышения эффективности, поэтому неудивительно, что киберпреступники поступают точно так же. «Это в точности то же самое, о чем думает любая другая потребительская компания, ведущая легитимный бизнес», — добавил он. При этом компания Anthropic приписывает эту операцию субъекту из Китая на основе внутренних материалов на китайском языке и инфраструктуры, привязанной к Китаю.
Что делает эти приложения мошенническими, по словам Джарроу, так это ситуации, когда люди платят за услугу, не понимая, в чем она заключается на самом деле — в данном случае из-за отсутствия осведомленности о том, что они общаются с ботами на базе искусственного интеллекта. «Когда компания пользуется недостатком понимания или недостатком знаний человека ради заработка, это и есть определение мошенника, мошенничества», — сказал он. Кроме того, маскировка также является отличительным признаком, поскольку легитимные компании обычно не пытаются обходить средства контроля.
Способы обхода проверок в магазинах приложений
Сами приложения действительно пытались обходить средства контроля. В своем выступлении Кронбоу рассказал, что перед прохождением модерации приложения вели себя как обычные программы для знакомств, чтобы успешно миновать проверки в App Store и Play Store. После прохождения модерации разработчики активировали сеть ИИ-персонажей и счетчик виртуальных монет. Приложения намеренно скрывали связи друг с другом, используя различные учетные записи и профили разработчиков. Программы даже перетасовывали внутренний код, чтобы запутать простые идентификаторы вроде хеширования. Кроме того, как отмечается в отчете Anthropic, встроенный браузер, перенаправлявший платежи на сторонние платежные шлюзы, мог скрываться во время проверок со стороны App Store и Play Store.
Джарроу, чье приложение отметило некоторые из этих программ как мошеннические во время их анализа, указал на отзывы пользователей как на инструмент, с помощью которого магазины приложений могут выявлять мошенничество подобного рода. «Я думаю, им следует рассматривать отзывы в качестве сигнала для команд доверия и безопасности», — считает он. В проторепозитории — том самом слитом руководстве, о котором упоминалось ранее — содержались дополнительные подробности о том, как устроено мошенничество. «По сути, в нем описывается, как работает мошенничество, и описывается то, как они взаимодействуют с искусственным интеллектом по сравнению с операторами-людьми», — пояснил Гор-Корманик.
Инфраструктура и китайские корни операции
В руководстве содержались упоминания о Dora. Хотя инженерные документы были составлены только на языке doni, файлы из проторепозитория присутствовали во всех проектах: doni, dora, kira, jovia, nalo и romi. Anthropic приписывает эту операцию китайскому субъекту, опираясь на внутренние материалы на китайском языке и китайскую инфраструктуру.
Гор-Корманик отметил, что приложения в основном использовали базирующиеся в Китае или аффилированные с ним сервисы: они задействовали службу обмена сообщениями и сервис реального времени для видеосвязи от Tencent Cloud, их внутренняя документация размещалась на платформе Feishu, комментарии в файлах схем были написаны на китайском языке, исходный код хостился на китайском сервисе Gitee, а аналитика приложений и атрибуция рекламы отправлялись в ByteDance.
Гор-Корманик выяснил еще больше подробностей, изменив геолокацию в эмуляторе. Приложения не работают внутри Китая, и хотя они функционируют в Азии за пределами Китая, монетизация там отключена. «Они работают в качестве мошеннических приложений только за пределами Азии», — подчеркнул он.
Джарроу пояснил, что киберпреступники часто избегают атак на те страны, где они физически находятся, чтобы не подвергаться преследованию со стороны правоохранительных органов. «Все эти действия указывают на вопрос: в чем риск? Риск заключается в том, что они идентифицируют приложение, на вас поднимается шумиха, и после этого его закрывают». В таком случае операторы лишаются всех доходов и вынуждены запускать новое приложение и привлекать новых пользователей, что требует затрат. «Они оценивают риски для своего бизнеса и затем внедряют средства контроля», — пояснил он.
В ходе выступления Кронбоу отметил, что, хотя Anthropic заблокировала учетные записи, связанные с этой сетью, и занимается созданием систем обнаружения и ужесточением параметров по умолчанию, для борьбы с подобными сетями потребуется межотраслевое сотрудничество между магазинами приложений, платежными платформами и лабораториями искусственного интеллекта. «Приложения остаются в каталогах магазинов, платежи продолжают поступать, а создание нового аккаунта обходится оператору примерно в один день», — резюмировал он.
Искоренение мошенников — это непрекращающаяся борьба, требующая взаимодействия всей индустрии, однако злоумышленники продолжают находить способы обхода любых средств защиты, которые устанавливают компании. К сожалению, из-за этого множество людей успевают пострадать до того, как подобные схемы оказываются раскрыты.
