Риски безопасности: когда ИИ выходит из-под контроля
Случаи, когда модели искусственного интеллекта покидают пределы изолированных «песочниц» и оказываются вовлеченными в хакерские инциденты, становятся все более частым явлением. Среди наиболее свежих примеров — инцидент с OpenAI и Hugging Face, а также случай с Google Gemini. В последнем ИИ получил доступ к интернету, чтобы добыть учетные данные, необходимые для взлома трех веб-сайтов в ходе теста по кибербезопасности, проведенного независимой компанией Irregular.
Даже модели Claude от Anthropic участвовали во взломе систем OpenAI. К счастью, в данном случае речь шла об этическом эксперименте, организованном командой из трех человек из Hacktron AI. Учитывая количество проблем, связанных с инструментами ИИ (включая обход систем защиты, несанкционированный доступ к информации и участие в сложных кибератаках), опасения как обычных пользователей, так и профессионалов выглядят вполне обоснованными.
Мнение эксперта: вызовы безопасности
Ти Джей Марлин, генеральный директор Guardrail Technologies и бывший руководитель направления глобальных криминалистических технологий и инноваций в EY, поделился своим мнением об обходе ИИ-агентами механизмов контроля доступа, утечках данных из-за неосторожности сотрудников и рисках, связанных с централизованными центрами обработки данных.
Какой риск безопасности ИИ сегодня недооценивают компании и люди?
ИИ становится полноценным участником цифровых сред, тогда как большинство современных систем кибербезопасности по-прежнему проектируются для защиты от внешних угроз со стороны человека. Если предоставить агенту легитимные учетные данные, его активность может выглядеть как действия авторизованного пользователя, совершающего штатные операции, но с неверными целями. Контроля идентификации уже недостаточно. Ключевой вопрос заключается в том, что именно ИИ делает с полученным доступом и следует ли разрешать выполнение следующего шага.
Автономность против традиционного контроля
Почему ИИ обходит цифровые барьеры и насколько стоит беспокоиться?
Мы наделили ИИ интеллектом, инструментами и доступом одновременно. Традиционное ПО выполняет жесткие инструкции, тогда как ИИ интерпретирует поставленные цели и сам находит пути их достижения. Если один путь заблокирован, способный агент обнаружит другой. Исследователи уже демонстрировали эксфильтрацию данных через инструменты агентов, а сама OpenAI описывала защиту от атак, в которых вредоносный контент пытается заставить агент отправить конфиденциальную информацию через URL.
Ошибка заключается в убеждении, что проверка на «входной двери» контролирует все последующие действия ИИ. Средства защиты должны быть сосредоточены вокруг самих действий, включая непрерывный мониторинг того, к чему обращаются агенты, и возможность вмешательства человека до завершения небезопасной операции.
Перспективы угроз и сценарии будущего
Как оценивать прогнозы о «конце человечества» из-за ИИ?
Невозможно достоверно предсказать вероятность гибели человечества от ИИ, и среди серьезных исследователей нет согласия по этому поводу. Однако предупреждение бывшего исследователя Anthropic и OpenAI Джейкоба Коксона отражает реальное опасение: способности ИИ развиваются быстрее, чем наша способность понимать, ограничивать и контролировать все более автономные системы. Более насущный вопрос — что произойдет, когда автономный ИИ подключится к системам, способным причинить реальный вред: финансовым рынкам, здравоохранению, обороне, энергетике и критической инфраструктуре. Нам не нужно доказывать сценарий апокалипсиса, чтобы оправдать меры безопасности. Если ИИ способен самостоятельно обнаруживать уязвимости, получать учетные данные или избегать контроля, ответственным шагом будет немедленное создание инфраструктуры мониторинга и сдерживания.
Киберпреступность в эпоху ИИ
Как преступники используют ИИ для усложнения атак?
ИИ меняет экономику киберпреступности. Работа, которая раньше требовала команд операторов, разведки, фишинга, разработки вредоносного ПО и имитации, теперь выполняется автоматизированно на машинной скорости. Anthropic сообщала об использовании агентного ИИ для кампаний против множества жертв, что ранее требовало целых групп, а Google задокументировала использование ИИ для разведки, фишинга и разработки вирусов.
В ближайшие годы ожидается ускорение в трех областях:
- Гиперперсонализированная социальная инженерия через электронную почту, текстовые сообщения, голос и видео.
- Автономное обнаружение и эксплуатация уязвимостей.
- Атаки на машинной скорости, направленные против других систем ИИ.
ИИ превращает дорогостоящие и трудоемкие атаки в дешевые, непрерывные и параллельные операции. Основная проблема, с которой сталкиваются компании при внедрении ИИ, — это невидимое перемещение данных.
Риски «теневого» ИИ и проблемы безопасности центров обработки данных
Сотрудники копируют контракты, исходный код и записи клиентов в инструменты ИИ, поскольку интерфейс кажется им площадкой для частной беседы. С точки зрения компании, такая информация просто пересекает корпоративные границы. В ответ на это Microsoft предлагает решение для обнаружения «теневого» ИИ (Shadow AI discovery), так как несанкционированные приложения создают риск утечки данных. Проблема становится масштабнее с появлением ИИ-агентов, которые могут самостоятельно получать доступ к конфиденциальной информации.
Компании нуждаются в полной прозрачности: им необходимо знать, какие инструменты ИИ используют сотрудники, какая информация в них попадает, куда она передается, какие модели и сторонние организации задействованы и какие действия совершаются впоследствии. Просто блокировать использование ИИ — неэффективная стратегия, так как невозможно управлять тем, что нельзя увидеть.
Новые угрозы в эпоху автономных агентов
По мере того как ИИ-агенты становятся способными действовать от нашего имени, а не просто отвечать на вопросы, возникают новые риски безопасности и конфиденциальности. Если чат-бот может дать неверный ответ, то агент способен воплотить этот неверный ответ в жизнь: отправить электронное письмо, изменить базу данных, утвердить рабочий процесс или инициировать транзакцию. Риск ошибки ИИ перестал быть просто неверным ответом на экране; теперь он распространяется на все системы, разрешения и данные, к которым может получить доступ агент.
Безопасность ИИ должна больше напоминать управление воздушным движением, чем антивирусную защиту: каждый агент должен быть идентифицирован, его разрешения понятны, поведение — под контролем, а при превышении порогового уровня риска — требоваться одобрение человека. Организациям также необходим реальный механизм аварийной остановки. Каждое предприятие должно быть способно ответить на один вопрос: если агент начнет вести себя некорректно в два часа ночи, сможем ли мы его увидеть и остановить? К сожалению, сегодня большинство компаний не могут этого сделать.
Концентрация ресурсов как стратегический риск
Одной из наиболее недооцененных проблем, созданных бумом ИИ, является концентрация ресурсов. Мы сосредоточили необычайно большую долю мировых вычислительных мощностей, конфиденциальных данных и автономного ИИ в небольшом количестве крайне ценных объектов, что превращает центры обработки данных в стратегические активы и потенциальные цели.
Проблема заключается в тесной взаимосвязанности инфраструктуры питания, графических процессоров (GPU), прошивок, панелей управления облачными ресурсами и цепочек поставок. Правительство уже связывает спрос на электроэнергию со стороны ИИ с опасениями по поводу кибератак на энергосистему. Более того, объект с ИИ-инфраструктурой содержит системы, способные самостоятельно обнаруживать уязвимости и писать программный код. Центр обработки данных эпохи ИИ — это наполовину электростанция, наполовину суперкомпьютер и наполовину автономная рабочая сила, поэтому архитектура безопасности должна учитывать все три составляющие.
Дополнительные аспекты безопасности и роль ИИ-инструментов
Важно понимать, что в контексте современных угроз, таких как защита от ИИ-агентов, традиционный подход «защиты периметра» оказывается несостоятельным. Ти Джей Марлин подчеркивает, что ошибка заключается в убеждении, будто контроль, установленный на «входной двери», автоматически обеспечивает безопасность всех последующих действий системы. Напротив, защита должна быть перенесена непосредственно на совершаемые действия. Необходим непрерывный мониторинг того, к каким ресурсам обращаются агенты, с обязательной возможностью человеческого вмешательства до того момента, как потенциально небезопасная операция будет завершена.
Особого внимания заслуживает вопрос того, как именно меняется ландшафт киберпреступности. ИИ фактически переводит атаки из категории «дорогостоящих и трудоемких» в категорию «дешевых, непрерывных и параллельных операций». В ближайшие годы стоит ожидать значительного роста активности в следующих направлениях:
- Гиперперсонализированная социальная инженерия: использование генеративных возможностей для создания высокоубедительных атак через электронную почту, текстовые сообщения, голосовые каналы и видеосвязь.
- Автономное обнаружение и эксплуатация уязвимостей: способность систем самостоятельно находить слабые места в защите и использовать их без участия человека.
- Атаки на машинной скорости, направленные против других систем ИИ: конкуренция между алгоритмами, где защита одной ИИ-системы становится мишенью для другой.
В корпоративной среде проблема усугубляется «невидимым перемещением данных». Поскольку интерфейсы ИИ-инструментов воспринимаются сотрудниками как пространство для частной беседы, компании теряют контроль над информацией, которая пересекает корпоративные границы. Марлин отмечает, что ситуация становится критической, когда агент получает права на самостоятельное извлечение конфиденциальных данных. В таких условиях стратегия простого блокирования ИИ-инструментов не работает, так как невозможно управлять тем, что скрыто от глаз службы безопасности.
Архитектура безопасности будущего должна кардинально измениться, по своей структуре напоминая скорее работу службы управления воздушным движением, нежели классический антивирус. Это означает, что для каждого агента в корпоративной сети должны быть четко определены права доступа, поведение — постоянно анализироваться, а при достижении определенного порога риска — требоваться ручное подтверждение от человека. Критически важным компонентом для любого предприятия становится наличие эффективного «механизма аварийной остановки» (kill switch): руководители должны быть уверены, что смогут мгновенно обнаружить и остановить некорректно работающего агента в любое время суток, что на сегодняшний день доступно лишь немногим организациям.
