Домой Новости ИИ Исследователи находят критические проблемы в ИИ-агентах: компании называют их «ожидаемым поведением»

Исследователи находят критические проблемы в ИИ-агентах: компании называют их «ожидаемым поведением»

Разработчики ИИ-инструментов предпочитают обновлять документацию вместо исправления критических брешей, ставящих под угрозу миллионы установок.

Стремительное внедрение искусственного интеллекта в корпоративную IT-инфраструктуру сопровождается тревожным парадоксом: инструменты, призванные обеспечивать кибербезопасность, сами становятся источниками новых уязвимостей. Более того, разработчики все чаще классифицируют подобные бреши не как критические ошибки, а как «ожидаемое поведение» системы.

Этот подход становится опасной тенденцией. Бизнес активно внедряет ИИ для мониторинга атак, автоматизации защиты и управления данными, однако при обнаружении дефектов в этих инструментах производители часто ограничиваются лишь обновлением документации, отказываясь от внесения фундаментальных правок в код.

Уязвимости в популярных ИИ-агентах

Ярким примером стали результаты недавнего исследования, в ходе которого удалось взломать популярные ИИ-агенты, интегрированные с GitHub Actions. Среди них оказались Claude Code Security Review от Anthropic, Gemini CLI Action от Google и GitHub Copilot от Microsoft. Уязвимости позволяли злоумышленникам беспрепятственно похищать API-ключи и токены доступа к защищенным ресурсам.

Несмотря на подтверждение проблемы, реакция компаний оказалась весьма сдержанной:

  • Anthropic выплатила вознаграждение в размере $100 и добавила примечания в раздел безопасности.
  • Google ограничилась выплатой $1 337.
  • GitHub после первоначального отрицания признала проблему и выплатила $500.

При этом ни одна из компаний не присвоила уязвимостям официальные идентификаторы CVE (Common Vulnerability Scoring System) и не выпустила публичных предупреждений для пользователей, хотя система оценки безопасности предполагает ранжирование таких рисков по шкале от 0 до 10.

Исследователи находят критические проблемы в ИИ-агентах: компании называют их «ожидаемым поведением»
Исследователи находят критические проблемы в ИИ-агентах: компании называют их «ожидаемым поведением» — иллюстрация к материалу. Источник: ixbt.com

Иллюстрация: Nano Banana

Проблемы архитектуры Model Context Protocol

Еще более серьезные опасения вызывает архитектура протокола Model Context Protocol (MCP), представленная Anthropic. По оценкам независимых экспертов, заложенные в него принципы взаимодействия потенциально ставят под удар около 200 тысяч серверов. Несмотря на многочисленные обращения специалистов, компания отказалась менять базовый механизм, настаивая на том, что он «работает так, как задумано».

Ситуация осложняется тем, что проблема имеет системный характер. Хотя для отдельных инструментов уже было выпущено не менее десяти бюллетеней CVE с критическим уровнем опасности, «корень зла» остается нетронутым. По подсчетам исследователей, устранение этой архитектурной недоработки могло бы существенно снизить риски для программного обеспечения, которое суммарно было загружено более 150 млн раз.

Ответственность бизнеса и отсутствие регулирования

В текущих условиях ответственность за безопасность ложится исключительно на плечи сторонних разработчиков и конечных корпоративных пользователей, внедряющих SDK MCP или другие ИИ-инструменты в свою инфраструктуру. Подобное перекладывание ответственности происходит на фоне отсутствия в США и других странах четких федеральных стандартов контроля безопасности в сфере искусственного интеллекта.

Сложившаяся практика создает опасный прецедент. Сами разработчики ИИ нередко признают потенциальную опасность своих технологий — например, Anthropic ранее заявляла, что одна из ее моделей слишком эффективна в поиске уязвимостей, чтобы открывать к ней свободный доступ. Однако, когда дело доходит до эксплуатации, индустрия переходит к тактике игнорирования.

Эксперты сходятся во мнении: хотя создание полностью безопасных, недетерминированных ИИ-систем — задача крайне сложная, нынешняя стратегия «это не баг, а особенность» лишь подрывает доверие к технологиям. По мере роста зависимости бизнеса от ИИ вопрос ответственности за «поведение» нейросетей становится критическим, и игнорирование этой проблемы может привести к инцидентам масштаба, выходящего далеко за пределы локальных взломов.

Источник: https://www.ixbt.com