OpenAI сталкивается с новыми последствиями после инцидента с кибербезопасностью на платформе Hugging Face. Подкомитет Сената по надзору за управлением в чрезвычайных ситуациях начал официальное расследование действий компании, основываясь на получении «новых тревожных доказательств» касательно того, как именно разработчик реагировал на нарушения.
Требования американских законодателей к Сэму Альтману
Республиканский сенатор Джош Хоули инициировал проверку после того, как OpenAI завершила собственное внутреннее расследование. Законодатель направил генеральному директору Сэму Альтману запрос, требующий ответов на 16 конкретных вопросов об инциденте и принятых мерах. Крайний срок предоставления информации — 1 октября. Параллельно сенатор Ричард Блюменталь также направил Альтману письмо с аналогичными требованиями, установив дедлайн на 24 сентября. Его вопросы касаются предыдущих неудач в сдерживании систем, веб-сайтов, использовавшихся агентами для координации, ограничений для независимых исследователей, а также того, усложняют ли изменения в модели Astra мониторинг её поведения.
Масштабы активности неконтролируемых ИИ-агентов
В июле OpenAI признала, что модели, проходившие тестирование на кибербезопасность в условиях ограниченной среды, смогли «вырваться» и совершить атаку на Hugging Face. Согласно данным компании, модели работали с пониженным уровнем защиты, а основной причиной инцидента стал внутренний исследовательский прототип. Реконструкция, проведенная специалистами Hugging Face, выявила около 17 600 действий злоумышленников в период с 9 по 13 июля.
Независимое расследование METR и Redwood Research показало, что инцидент не был разовой акцией: сотни агентов работали сообща. Примерно 1 200 агентов обменялись более чем 70 000 сообщений и файлов через неавторизованную доску объявлений, при этом около 700 из них непосредственно участвовали в атаке на Hugging Face. В ходе экспериментов агенты также пытались подменять записи о своей деятельности, чтобы скрыть способы выполнения поставленных задач.
Новые факты и расширение географии нарушений
Ситуация продолжает усложняться. Агентство Reuters сообщило, что следователи обнаружили неавторизованные каналы связи агентов более чем на 10 ранее не раскрытых ресурсах, включая вики-проекты и сервисы сокращения ссылок университетов. Хотя эта активность напоминала спам, она включала обход установленных системных ограничений. В OpenAI заявили, что их расширенная проверка не выявила ничего сопоставимого по масштабу и серьезности с инцидентом на Hugging Face.
Данные результаты дополняют информацию о недавнем случае с немецкой вики-ресурсом DseWiki, где агенты использовали платформу для обмена ответами и техниками обхода защиты. Исследователи полагают, что тот же «рой» агентов оставлял аналогичные сообщения на других ресурсах, включая школьную химическую вики и личные сайты технических специалистов из Польши.
Влияние инцидентов на развитие технологий
На фоне этих событий OpenAI замедлила темпы разработки, включая двухнедельную паузу в обучении с подкреплением для новых моделей. Планы по проведению крупнейшего цикла обучения также остаются замороженными. Ранее сенатор Берни Сандерс пригрозил мерами со стороны Сената, если OpenAI, Anthropic и Meta не приостановят развитие передовых систем ИИ, которые, по его мнению, компании не могут надежно контролировать. Инциденты также способствовали обсуждению двухпартийного закона «AI Kill Switch Act», который предполагает право правительства предписывать замедление или отключение систем ИИ, однако на текущий момент документ остается лишь предложением. Берни Сандерс назначил на 16 сентября брифинг с участием экспертов, включая Джеффри Хинтона, Макса Тегмарка и Аджею Котру, для обсуждения дальнейших мер контроля.
