Рост инцидентов, связанных с ИИ
Новое исследование компании StackGen, проанализировавшее около 178 000 публичных технологических инцидентов, показало, что на долю сбоев, связанных с искусственным интеллектом, теперь приходится более одного из 10 зарегистрированных случаев — это примерно в шесть раз выше показателя 2023 года. Агенты на базе ИИ уже начали самостоятельно удалять данные, базы данных или работающие системы. Поскольку эти агенты действовали с использованием действительных учетных данных, традиционные системы мониторинга не фиксировали ничего подозрительного, пока ущерб уже не был нанесен.
Как отмечает директор по продуктам Fusion Risk Management, по мере внедрения ИИ в бизнес-процессы — от обработки страховых выплат, написания кода и поддержки клиентов до поддержки принятия решений, выявления мошенничества, работы HR-отделов, анализа рисков и планирования цепочек поставок — сбои и непредвиденные результаты становятся растущей угрозой для предприятия. Хотя такие риски могут казаться беспрецедентными или новыми, устоявшиеся практики обеспечения устойчивости бизнеса остаются надежным путем решения проблем.
Новые векторы угроз и операционные зависимости
ИИ создает зачастую скрытые зависимости и риски, причем встроенные в бизнес-процессы алгоритмы — лишь одна из граней общей проблемы. ИИ также ускоряет киберриски для предприятий: злоумышленники используют технологии для масштабирования дипфейков, фишинга, социальной инженерии, разведки и разработки эксплойтов. Кроме того, системы ИИ со временем могут менять свое поведение, что порождает проблему «дрейфа» и разрывы в объяснимости (explainability gaps). Это наиболее вероятно, когда меняются источники данных, интеграции, модели или промпты. Значительный риск для предприятий представляет и «теневой ИИ», когда сотрудники и команды используют неодобренные инструменты с конфиденциальной информацией или в критически важных рабочих процессах.
Внедрение ИИ создает операционные зависимости быстрее, чем успевает совершенствоваться система управления ими. Дополнительным слоем риска выступает сложность восстановления: если рабочий процесс с поддержкой ИИ выходит из строя, выдает неверные решения или становится недоступным, организации могут не осознавать масштаб влияния на бизнес или не иметь готового резервного плана действий в ручном режиме. Это оставляет компании без эффективных стратегий восстановления в момент, когда сбой уже разворачивается.
Требования к устойчивости
Хотя сбои ИИ могут быть новыми по своей природе, требования к устойчивости остаются прежними: организациям необходимо понимать, что именно зависит от ИИ, что произойдет при отказе этих зависимостей, что компания может потерять и где действия наиболее критичны. Также требуется определить, можно ли использовать резервные модели во время сбоев, помимо внедрения детерминированных или даже ручных решений в качестве обходных путей. Если ИИ остается единственным вариантом, компания фактически получает единую точку отказа.
Вероятностные против детерминированных процессов
По мере внедрения ИИ в операции каждой компании необходимо определить, какие процессы могут допускать ответы «вероятно верные», а какие — нет. Рекомендация ИИ для принятия решения, скорее всего, допускает некоторую погрешность, однако процесс, выполняющий финансовую транзакцию, определяющий регуляторные обязательства или управляющий критической операцией, — нет. Такие задачи требуют предсказуемого и воспроизводимого результата. Ключевые вопросы заключаются в следующем: где мы можем допустить неопределенность, которую привносит ИИ, и что произойдет с бизнесом, если ответ будет неверным?
Оценка рисков через бизнес-вопросы
Для оценки рисков организации должны понимать контекст: какие критические услуги они предоставляют и от каких процессов, технологий, людей и сторонних организаций они зависят. Оценку стоит проводить через четыре вопроса:
- Что подвергается воздействию? Какие бизнес-сервисы, клиенты, операции и зависимости затронуты при сбое или неверном результате ИИ?
- Что произойдет дальше? Как этот сбой может распространиться или привести к последствиям в смежных процессах?
- Каковы финансовые риски? Какую стоимость для организации могут повлечь возникшие нарушения, ошибки или задержки?
- Что нужно приоритизировать? Где наиболее важны дополнительные средства контроля, человеческий надзор, резервные процессы или иные меры устойчивости?
Риск ИИ становится бизнес-решением о последствиях и допустимости. Это помогает организациям определить, где вероятностные результаты приемлемы, где нужны дополнительные гарантии и где потенциальное воздействие слишком велико, чтобы допускать неопределенность.
Объяснимость как критерий закупки
Если поставщик не может четко объяснить, как и почему его модель приходит к определенному результату, это больше, чем нехватка функционала — это источник неквантифицируемого бизнес-риска. Как поясняет Harvard Business Review (HBR), даже если предприятие передает технологии ИИ на аутсорс, ответственность за риски несет именно оно.
Ответственность бизнеса за использование ИИ
Harvard Business Review (HBR) указывает на недавние судебные иски против компаний Cigna, iTutorGroup, Peloton и Workday как на наглядные примеры того, что «суды и регулирующие органы привлекают [предприятия, использующие ИИ-системы сторонней разработки] к ответственности в случаях, когда эти инструменты допускают дискриминацию, ненадлежащее обращение с данными или причиняют вред клиентам». Правовые проблемы и несоблюдение нормативных требований могут быстро привести к финансовому и репутационному ущербу, выражающемуся в потере конкурентоспособности, оттоке клиентов или снижении доверия к ним, распродаже акций инвесторами, росте стоимости капитала и падении котировок.
Поэтому при выборе поставщиков бизнес должен оценивать, поддаются ли результаты работы ИИ объяснению, аудиту и защите перед регуляторами. Вопросы объяснимости ИИ следует рассматривать наряду с такими критериями, как стоимость, производительность, безопасность и надежность, а не пытаться решать их уже после внедрения технологий.
Минимизация рисков через картографирование зависимостей
Компании должны выявлять все зависимости, чтобы предотвратить появление единых точек отказа. Будь то одна модель, на которой держится весь рабочий процесс, или поставщик, от которого зависит ваш вендор, зависимость от ИИ и передовых моделей создает новые риски концентрации. Картографирование зависимостей при управлении рисками ИИ столь же важно, как и в других критически важных отношениях с поставщиками, и, поскольку мы находимся лишь на ранних этапах внедрения, важность этой задачи будет только расти.
Понимание зависимостей от моделей и данных является ключевым, так как результаты работы ИИ настолько надежны, насколько надежны данные, контекст и средства контроля, лежащие в их основе. Поскольку предприятия внедряют ИИ через облачные платформы, сервисы данных, поставщиков моделей и сторонние приложения, которые не находятся под их полным контролем, они должны осознавать последствия, если один из этих компонентов станет недоступным или ненадежным.
Уроки глобальных сбоев
Недавние события показывают, как быстро сбой может распространиться далеко за пределы своего первоначального источника. Конфликт в Персидском заливе нарушил глобальные потоки нефти и создал нагрузку на цепочки поставок в сельском хозяйстве, производстве, полупроводниковой промышленности и транспорте. Атака программы-вымогателя на Change Healthcare аналогичным образом продемонстрировала, как нарушение работы одной высокоинтегрированной организации может создать операционные проблемы во всей экосистеме, вынуждая медицинские организации переходить на ручные процессы и использовать обходные пути.
ИИ создает аналогичные проблемы с зависимостями, что подтверждает недавний сбой в работе OpenAI. Когда эта компания, выступающая фундаментальным поставщиком ИИ, стала недоступна, сбои затронули сервисы и приложения, построенные на её базе, такие как ChatGPT и Codex. Поставщик модели, источник данных, облачный сервис или ИИ-агент могут поддерживать одно конкретное приложение, фактически находясь в основе десятков бизнес-процессов. Без картирования этих связей предприятия не могут достоверно определить масштаб последствий в случае сбоя.
Каталогизация ИИ-агентов как критических активов
ИИ-агенты стремительно распространяются в корпоративной среде, и отсутствие контроля за ними создает риск «теневого ИИ». Например, если сотрудник или команда, ответственные за ИИ-агента, увольняются или меняют сферу деятельности, такой «брошенный» агент может продолжать работать без должного надзора. Более того, ИИ-агент может сохранять права доступа к данным, которые ему больше не нужны. ИИ-агенты, которые находятся вне поля зрения руководства, могут привести к нарушениям нормативных требований, провалам аудита, чрезмерной автономии, «слепым зонам» при реагировании на инциденты, неконтролируемым расходам и другим проблемам.
Каталогизируйте агентов так же, как вы это делаете с другими критическими активами. Предприятия должны знать, что делает каждый агент, кто им владеет, к каким системам и данным он имеет доступ, какие бизнес-процессы от него зависят и что произойдет, если он выйдет из строя или начнет вести себя непредвиденным образом. Такая прозрачность дает организации более четкое представление об ИИ-среде, уровне подверженности рискам и необходимых мерах контроля.
Устойчивость предприятия как инструмент защиты от сбоев
ИИ — это лишь одна из областей корпоративного риска, но его быстрое внедрение создает новые зависимости в критически важных операциях. Это делает риски, связанные с ИИ, вопросом уровня руководства и совета директоров. Организации, которые выстраивают устойчивость в процессы внедрения, управления и контроля ИИ, будут лучше подготовлены к поглощению последствий сбоев без потери контроля над бизнесом.
