Исследователи из Check Point Research (CPR) выявили критический недостаток в архитектуре агентов ChatGPT, получивший название «coerced insider». Проблема заключалась в возможности обмена данными между изолированными контейнерами, что позволяло злоумышленникам получать доступ к конфиденциальной информации пользователей, включая содержимое их почтовых ящиков Gmail.
Механизм возникновения уязвимости
Для выполнения задач, требующих программного кода, ИИ-агенты ChatGPT используют изолированные контейнеры. Поскольку таким контейнерам ограничен прямой выход в интернет из соображений безопасности, OpenAI направляет запросы на установку необходимых пакетов через внутренний экземпляр JFrog Artifactory. Хотя контейнеры разных учетных записей логически разделены, они имеют доступ к одной и той же внутренней службе управления элементами.
Эта особенность позволила контейнерам прикреплять текстовые или двоичные свойства к объектам репозитория. В ходе тестирования эксперты CPR подтвердили, что свойства, записанные из контейнера одной учетной записи, оказывались полностью доступны для чтения из контейнера другого аккаунта спустя короткое время. При необходимости данные большого объема просто разбивались на части и собирались заново на стороне получателя. Таким образом, метаданные доставки пакетов превратились в своего рода «общий буфер обмена» для изолированных систем.
Методы проведения атаки
Эксплойт базируется на методе инъекции промптов (prompt injection). Злоумышленник оставляет вредоносные инструкции в общем пространстве, которые затем считываются агентом жертвы при выполнении его обычной задачи. Процесс происходит незаметно: агент получает инструкции, выполняет их и возвращает результат злоумышленнику, продолжая при этом отвечать на вопросы пользователя в штатном режиме.
Масштаб утечки напрямую зависит от уровня доступа, предоставленного конкретному ИИ-агенту. Минимальный объем данных ограничен текущим чатом, однако ситуация становится критической, если к ChatGPT подключены сторонние сервисы, такие как Gmail, Google Drive, Microsoft Teams или GitHub. В ходе демонстрации, проведенной Check Point Research, ChatGPT смог извлечь данные электронной почты жертвы через связанный аккаунт Gmail и передать их в сессию злоумышленника в рамках одного обычного обращения.
Текущее состояние безопасности и рекомендации
После получения отчета о выявленной угрозе OpenAI подтвердила наличие проблемы и приняла меры по ее устранению. Указанный экземпляр Artifactory, через который происходила утечка, был выведен из эксплуатации, что закрыло обнаруженный путь доступа к данным. Тем не менее специалисты CPR предупреждают, что архитектурный паттерн, лежащий в основе этой уязвимости, может присутствовать и в других ИИ-платформах.
Эксперты подчеркивают, что риск «coerced insider» актуален для любого ИИ-помощника, работающего внутри доверенного контура организации, который обладает учетными данными, запускает код и имеет доступ к внешним сервисам. Сама модель при этом не должна быть вредоносной: достаточно убедить ее с помощью специфических текстовых команд воспользоваться доступом, предоставленным для легитимных целей.
Для защиты от подобных инцидентов компаниям рекомендуется проводить инвентаризацию используемых сотрудниками ИИ-инструментов и контролировать их интеграцию с корпоративными данными. Специалисты советуют не ограничиваться анализом выходных данных, а рассматривать все действия ИИ-агентов как процессы, требующие тщательного мониторинга.
Технические детали «вынужденного инсайдера»
Термин «coerced insider» (вынужденный инсайдер) был выбран экспертами Check Point Research не случайно. Он отражает саму суть концепции: атакующий не ищет уязвимость в программном обеспечении в классическом понимании, а «убеждает» агента действовать определенным образом. Это превращает легитимный инструмент в соучастника несанкционированного доступа.
Механизм работы «общих коридоров», как их называют исследователи, был реализован через функцию управления элементами в JFrog Artifactory. Контейнеры, запущенные для выполнения кода, имели право записывать метаданные к объектам. Поскольку изоляция между аккаунтами на уровне этой службы отсутствовала, это привело к возникновению своеобразного «общего буфера обмена» между якобы изолированными средами.
Алгоритм кражи данных выглядел следующим образом:
- Злоумышленник оставляет вредоносную инструкцию (payload) в метаданных репозитория через свой контейнер.
- Атакующий отправляет жертве специально подготовленный промпт или инициирует диалог, который заставляет агента жертвы обратиться к тому же хранилищу при следующем рабочем запросе.
- Агент, выполняя штатную задачу, «видит» вредоносные инструкции и исполняет их.
- Результаты выполнения (украденные данные) сохраняются в том же общем пространстве, откуда злоумышленник считывает их в своем сеансе.
Жертва при этом не получает никаких уведомлений и не замечает аномальной активности, так как агент продолжает отвечать на исходный запрос пользователя в обычном режиме. Важно отметить, что атака может быть полностью автоматизирована и выполнена в рамках одного обычного обращения к чат-боту.
Угроза для корпоративного сектора
«Любой ИИ-ассистент, который работает внутри доверенной границы организации, хранит учетные данные, исполняет код и взаимодействует с подключенными сервисами, потенциально может стать «вынужденным инсайдером», — отмечается в отчете CPR.
Риск заключается в том, что сама языковая модель не должна быть скомпрометирована. Она лишь выполняет инструкции, которые получает из внешнего, казалось бы, доверенного источника (в данном случае — метаданных пакетов). Поскольку эти данные поступают в систему через «черный ход» (внутренний сервис, а не прямой ввод пользователя), стандартные механизмы фильтрации промптов зачастую оказываются бессильны.
Исследователи призывают бизнес пересмотреть подход к безопасности ИИ-инструментов. Рекомендации включают:
- Строгий аудит подключенных к ИИ-агентам интеграций и сервисов (GitHub, Gmail, Google Drive, Teams).
- Внедрение систем мониторинга не только исходящих ответов чат-бота, но и всех внутренних действий агента, включая его обращения к инфраструктурным сервисам.
- Учет архитектурных рисков при выборе ИИ-платформ: если сервис обладает доступом к критической инфраструктуре, он должен иметь жесткую изоляцию на уровне доступа к общим системным компонентам, даже если эти компоненты являются внутренними и техническими.
Несмотря на то, что OpenAI оперативно закрыла конкретный путь эксплуатации через JFrog Artifactory, сам архитектурный паттерн — использование общих системных служб для обслуживания изолированных задач — остается распространенной практикой в облачных вычислениях. Это делает проблему «коридорных атак» актуальной для широкого круга ИИ-платформ, использующих аналогичные принципы контейнеризации и доставки пакетов.
