Новые риски генеративного ИИ: как обычные детские фото превращают в запрещенный контент
Фотографии моих детей на пляже, сына, играющего в футбол, или всей семьи, улыбающейся перед нашим домом — все это примеры снимков, которые я публиковал в социальных сетях. Я знаю, что не одинок, учитывая, как часто вижу подобные кадры, отражающие повседневную жизнь. Однако развитие ИИ создало тревожную угрозу: теперь обычные фотографии реальных детей могут быть преобразованы в материалы сексуального характера без ведома самих детей или их родителей.
Это не теоретическая угроза. Новое расследование организации Tech Transparency Project (TTP) выявило сотни рекламных объявлений, содержащих созданные с помощью ИИ материалы сексуального характера с участием детей (CSAM), которые транслировались в Facebook и Instagram. Всего исследователи обнаружили 332 таких объявления.
Как обычные фотографии становятся материалами для эксплуатации
Генеративные ИИ-инструменты способны взять существующую фотографию и изменить ее части, сохранив при этом узнаваемые черты человека с оригинального снимка. Для создания убедительных фальшивок больше не требуется наличие исходного порнографического изображения — достаточно обычного кадра.
По данным издания WIRED, исследователи смогли отследить источники фотографий четырех несовершеннолетних, использованных в рекламе Meta. Среди них были два подростка-инфлюенсера с публичными аккаунтами в социальных сетях, претинейджер, чья фотография была размещена на сайте стоковых изображений, и юный член европейской королевской семьи. Ни одна из оригинальных фотографий изначально не содержала сексуального подтекста.
«Приложения с ИИ делают создание реалистичного преступного контента с сексуальной эксплуатацией детей слишком простым, создавая новый риск того, что обычные фотографии детей могут быть похищены и преобразованы в сексуальный контент», — заявила в интервью WIRED Эмма Харди, директор по коммуникациям Internet Watch Foundation.
Как только обычное изображение становится общедоступным, любой злоумышленник может скачать его и загрузить в ИИ-инструмент, предназначенный для изменения фотографий.
Недостаточность систем модерации Meta
Масштабы последнего расследования показывают, насколько сложно остановить распространение подобного контента. В августе исследователи TTP изначально обнаружили 53 объявления с детской порнографией на платформах Meta. Компания тогда заявила, что многие из них появились до внедрения новых ИИ-технологий, призванных улучшить обнаружение нарушающей правила рекламы. Однако исследователи продолжали находить новые материалы: в конечном итоге TTP выявила 332 объявления, сотни из которых появились уже после анонса улучшенных систем детекции.
Ситуация осложняется тем, что это были не просто посты в Facebook или Instagram, а оплаченная реклама. Согласно правилам, Meta проверяет рекламные объявления перед их запуском, при этом автоматизированные системы играют в этом процессе ключевую роль.
Представитель Meta Трейси Клейтон сообщила WIRED, что компания не терпит наличия приложений для создания «обнаженного» контента (nudify apps) или эксплуатации детей, независимо от того, вовлечены ли в это реальные дети или сгенерированные ИИ образы. В компании утверждают, что злоумышленники намеренно пытаются обойти системы обнаружения, а некоторые видео сложнее отследить, так как изображения детей демонстрируются лишь мельком или размыты. Meta заявила, что многие выявленные объявления уже удалены, большинство из них получило менее 200 показов, а компания заработала на них менее 5000 долларов.
Тем не менее, исследователи зафиксировали случаи, когда количество просмотров увеличивалось уже после подачи жалобы на рекламу. По данным TTP, одно из объявлений с участием реального подростка достигло четырех европейских аккаунтов на момент подачи жалобы в Meta. Спустя несколько дней, когда компания удалила его, охват объявления превысил 330 просмотров.
Распространенность инструментов
Расследование также показало, что подобные инструменты стали мейнстримом. Исследователи обнаружили рекламу, направляющую пользователей почти к 50 приложениям, доступным в магазинах Apple App Store и Google Play Store. По информации WIRED, около 300 из 350 проанализированных в ходе широкого исследования объявлений продвигали генераторы изображений или видео на базе ИИ.
Реакция Apple и Google на наличие вредоносного ПО
Представители Apple сообщили изданию WIRED, что некоторые разработчики изначально предоставляли на проверку версии приложений, соответствующие правилам платформы, но впоследствии внедряли в них функции для «обнажения» (nudification), которые находятся под запретом. В компании заявили, что удалили 17 из 20 приложений, выявленных исследователями, и приняли меры в отношении оставшихся трех, а также еще семи программ, которые были обнаружены специалистами WIRED.
В свою очередь, представители Google подтвердили удаление всех приложений, фигурировавших в отчете, и сообщили о блокировке сотен других программ за нарушение внутренней политики безопасности.
Системные риски ИИ-контента
Тем не менее, полученные данные свидетельствуют о том, что проблема выходит за рамки какой-либо одной платформы, поскольку технологии искусственного интеллекта могут использоваться для создания подобного контента. Приложение может распространять инструмент для генерации изображений, а рекламная платформа — продвигать его. Каждый уровень имеет собственные системы безопасности, однако злонамеренному материалу достаточно один раз проскользнуть через эти барьеры, чтобы добраться до пользователей.
Что делать, если вы обнаружили ИИ-изображение ребенка
Если вы обнаружили сексуализированный ИИ-контент с участием вашего ребенка, не стоит публиковать или широко распространять это изображение в попытках предупредить других. Вместо этого необходимо сохранить информацию, которая поможет идентифицировать источник появления материалов: имя учетной записи, адрес страницы и другие сопутствующие детали, после чего подать прямую жалобу администрации платформы.
В США о подозрениях на сексуальную эксплуатацию детей также можно сообщить в CyberTipline Национального центра по делам пропавших и эксплуатируемых детей (NCMEC). Родители могут воспользоваться сервисом NCMEC «Take It Down», предназначенным для остановки распространения в сети обнаженных, частично обнаженных или сексуально откровенных изображений и видео с участием лиц моложе 18 лет. Система создает цифровой отпечаток (хеш) на основе файла без необходимости загрузки самого изображения.
Поскольку ИИ-генерации создают все более сложные сценарии, родители, которые не уверены, подпадает ли обработанное изображение под категорию нарушений, должны сообщать о находке, не пытаясь оценивать ее самостоятельно.
Проблема «шерентинга»
Родителей уже много лет предупреждают о «шерентинге» (термин, объединяющий английские слова «sharing» — делиться и «parenting» — родительство) и цифровых следах детей. Этот термин обозначает практику публикации родителями фотографий, видео и личных данных о своих детях в социальных сетях. Хотя родители не могут полностью исключить риск злоупотребления ИИ в отношении опубликованных ими материалов, сокращение количества общедоступных фотографий детей и более избирательный подход к публикациям способны снизить объем контента, доступного лицам, которые могут его использовать не по назначению.
Масштаб угрозы и тактики обхода модерации
Важно подчеркнуть, что описанная ситуация не является гипотетическим сценарием. Исследование TTP наглядно демонстрирует, что 332 рекламных объявления с использованием ИИ для создания материалов сексуального характера с детьми (CSAM) успешно прошли через фильтры Meta. Особую тревогу вызывает тот факт, что сотни таких объявлений продолжали появляться в лентах пользователей уже после того, как компания официально анонсировала внедрение новых технологий для борьбы с подобными нарушениями.
В компании Meta объясняют этот провал тем, что злоумышленники активно совершенствуют методы обхода автоматизированных систем проверки. Так, модерацию удается преодолеть за счет того, что изображения детей в рекламных роликах демонстрируются крайне короткие промежутки времени или намеренно подвергаются размытию. Подобные манипуляции усложняют работу алгоритмов, которые должны распознавать контент еще на этапе загрузки рекламного макета.
Исследователи также обращают внимание на неэффективность реакции систем безопасности после подачи жалоб. В качестве примера приводится случай с рекламным объявлением, в котором использовалось изображение реального подростка. На момент первичной фиксации и подачи жалобы в Meta рекламу успели увидеть пользователи четырех европейских аккаунтов. Однако к тому моменту, когда компания спустя несколько дней окончательно удалила контент, охват объявления вырос до более чем 330 показов.
Проблема распространения через площадки приложений
Системный характер проблемы подтверждается и тем, как подобные инструменты попадают к конечным пользователям. Расследование выявило цепочку, в которой задействованы не только социальные сети, но и официальные магазины приложений. Анализ 350 рекламных объявлений показал, что подавляющее большинство из них — около 300 — прямо продвигали специализированные генераторы изображений или видео на базе ИИ.
Оказалось, что App Store и Google Play Store часто становятся площадками для распространения софта, используемого для вредоносных целей. Разработчики таких приложений нередко прибегают к хитрости: на предварительную проверку перед публикацией в магазине они отправляют легитимные версии продуктов, которые полностью соответствуют правилам безопасности. Однако сразу после прохождения модерации в приложение внедряются скрытые функции «нюдификации» (создания обнаженного контента). Именно таким образом платформы, призванные быть безопасными, становятся каналом доставки инструментов для создания запрещенных материалов.
Несмотря на то, что Apple удалила 17 из 20 выявленных исследователями приложений (и приняла меры в отношении еще десяти, включая семь дополнительных программ, найденных WIRED), а Google отчиталась об удалении всех указанных в отчете приложений и блокировке сотен других, сама структура проблемы остается крайне уязвимой. Пока существуют рекламные платформы для продвижения таких «генераторов» и магазины приложений для их дистрибуции, злоумышленникам достаточно один раз успешно преодолеть барьеры безопасности на любом из этих уровней, чтобы дотянуться до реальных фотографий детей.
