Исследователи из Университета штата Нью-Мексико представили атаку GhostWriter, которая позволяет незаметно влиять на долгосрочную память ИИ-агентов. Вместо прямого взлома самой языковой модели злоумышленник внедряет ложные сведения в долговременную память системы, из-за чего цифровой ассистент может принимать ошибочные или опасные решения спустя недели или даже месяцы после заражения.
Современные ИИ-агенты всё чаще оснащаются функцией постоянного хранения данных: они запоминают индивидуальный стиль письма пользователя, текущие рабочие задачи, контакты, личные предпочтения и контекст прошлых обсуждений. Это делает программы гораздо более эффективными персональными помощниками, но одновременно открывает принципиально новый вектор уязвимости, поскольку сохранённая информация напрямую интегрируется в контур принятия решений.
Методика GhostWriter реализуется в два последовательных этапа. На первом злоумышленник отправляет внешнее письмо, стандартное приглашение в календарь или другой контент со скрытыми вредоносными инструкциями. Если ИИ-агент автоматически обрабатывает поступающие данные и фиксирует их в своей базе памяти, этот фрагмент остаётся в «спящем» режиме. На втором этапе, когда пользователь инициирует обычный бытовой или рабочий запрос, агент подгружает отравленную запись из архива и непреднамеренно выполняет команды, выгодные атакующей стороне.
Изображение сгенерировано: Nano Banana
Проведённые эксперименты наглядно продемонстрировали масштаб угрозы: средний показатель успешности первичного внедрения вредоносной памяти составил около 98%, а вероятность успешной активации записанного паттерна при последующих обращениях достигла 60%. Подобные атаки могут применяться для незаметной подмены критически важной информации, организации утечек конфиденциальных данных, скрытой пересылки пользовательских файлов или совершения несанкционированных действий за рамками установленных полномочий.
В качестве контрмеры разработчики метода предложили специализированную защитную архитектуру Agentic Memory Sentry (AM-Sentry). Данный защитный модуль производит валидацию входящих данных перед их записью в память, а также тщательно анализирует извлекаемые воспоминания перед тем, как передать их в базовую языковую модель. В наиболее строгом режиме настройки AM-Sentry сократила эффективность атак GhostWriter менее чем до 12%, практически не ухудшив при этом стандартную функциональность и отзывчивость ИИ-агента.
Авторы научной работы подчёркивают, что классические инструменты защиты от традиционных «промпт-инъекций» (prompt injection) оказываются неэффективными против атак на память, так как деструктивные записи маскируются под легитимную пользовательскую информацию. По мере того как автономные ИИ-агенты берут под свой контроль электронную почту, календари, исходный код и важнейшие бизнес-процессы, обеспечение безопасности их долговременной памяти переходит в разряд критических приоритетов индустрии.
Исследование доказывает, что следующий рубеж в сфере информационной безопасности искусственного интеллекта будет сосредоточен не только на фильтрации генерируемого контента, но и на строгом контроле того, что модели фиксируют в своей базе знаний. Наличие долгосрочной памяти способно вывести помощников на новый уровень полезности, однако без надежных механизмов проверки она превращается в уязвимый узел всей архитектуры.
