Компания OpenAI анонсировала начало внедрения невидимых водяных знаков в текстовый контент, создаваемый моделями ChatGPT и Codex. Данное изменение затронет только пользователей, находящихся на территории Европейского союза, и позволит компании соответствовать правилам прозрачности, прописанным в законе ЕС об искусственном интеллекте (EU AI Act), который вступил в силу 2 августа.
Механизм работы водяных знаков textGrain
Разработчики уточнили, что новая система, получившая название textGrain, не добавляет в текст видимые символы. Вместо этого технология работает за счет тонкой корректировки выбора слов моделью. Это создает специфический паттерн, который остается незаметным для обычного читателя, но распознается специализированным детектором. Поскольку информация о водяном знаке «вплетена» непосредственно в структуру текста, она сохраняется при копировании и вставке.
Согласно опубликованному техническому отчету, подготовленному совместно с исследователями из Пенсильванского и Йельского университетов, метод основан на использовании секретного ключа для сортировки прогнозов следующего слова. При накоплении множества таких микроскопических корректировок детектор получает возможность подтвердить происхождение контента. В OpenAI заявили, что внедрение функции не влияет на производительность моделей и не передает данные, позволяющие идентифицировать пользователя.
Ограничения технологии и доступность инструмента
В ближайшие недели водяные знаки станут доступны пользователям ChatGPT и Codex в ЕС на всех тарифных планах. Для разработчиков, использующих API OpenAI по всему миру, опция будет доступна уже сегодня, однако по умолчанию она будет отключена. OpenAI пояснила, что на данном этапе не планирует делать водяные знаки глобальным стандартом по умолчанию.
Компания также признала, что метод имеет определенные ограничения. Тесты показали, что замена 10% слов на синонимы снижает точность обнаружения ИИ-контента с 92% до 66%. Кроме того, системе сложнее идентифицировать короткие фрагменты текста, ответы на математические задачи и переводы. По этой причине компания ограничила доступ к детектору, предоставив его только одобренным исследователям и экспертным организациям.
Важность отсутствия водяного знака
В OpenAI подчеркнули, что отсутствие водяного знака в тексте не является доказательством того, что материал был написан человеком. Это может означать, что фрагмент слишком короткий, подвергся серьезному редактированию или был создан другой нейросетью. Таким образом, водяные знаки указывают лишь на то, что система OpenAI генерировала или обрабатывала часть текста, но не определяют степень участия человека, уровень его креативности или объем правок.
Данная инициатива является частью обязательств, которые OpenAI, наряду с Anthropic, Google, Meta и Microsoft, взяла на себя в рамках соблюдения кодекса практики ЕС по контенту, созданному нейросетями. Ранее, два месяца назад, компания Anthropic уже внедрила аналогичную маркировку для текста, созданного моделью Claude, причем этот подход был применен ею во всем мире, что вызвало критику со стороны ряда пользователей.
