Согласно данным исследования, проведенного компанией Harris Poll по заказу Dataiku, британский бизнес сталкивается с серьезными проблемами при внедрении технологий искусственного интеллекта. Результаты опроса показывают, что 53% ИТ-директоров (CIO) в Великобритании стали свидетелями случаев, когда ИИ-агенты нарушали корпоративные политики, что приводило к негативным последствиям для компании или её клиентов. Этот показатель значительно превышает среднемировой уровень, который составляет 31%.
Проблема неконтролируемого распространения ИИ-агентов
Исследование, охватившее 685 ИТ-директоров в Великобритании, Франции, Германии, США, ОАЭ, Японии, Южной Корее и Сингапуре, выявило системные сложности в управлении внедрением ИИ. Одной из главных причин сложившейся ситуации эксперты называют «разрастание ИИ-агентов» (AI-Agent sprawl). Данный термин описывает ситуацию, при которой кастомные инструменты на базе искусственного интеллекта развертываются в рабочей среде быстрее, чем компания успевает выстроить систему надлежащего контроля и управления ими. О наличии такой проблемы заявили 87% опрошенных британских руководителей.
Отсутствие должного управления создает риски не только для внутренних процессов организации, но и напрямую затрагивает интересы потребителей. При этом возможности компаний по реагированию на подобные инциденты остаются ограниченными. Лишь 49% респондентов из Великобритании подтвердили, что способны предоставить аудиторский след для объяснения действий ИИ-системы, а 68% признались, что на обнаружение вышедшего из-под контроля агента и ограничение его влияния потребуется более суток.
Необходимость пересмотра стратегии управления ИИ
Фэй Мюррей, директор по данным в Dataiku, подчеркивает, что ситуация в Великобритании должна стать сигналом для бизнеса: одного лишь мониторинга недостаточно. По её мнению, подотчетность действий ИИ должна закладываться в архитектуру системы еще до начала её развертывания, а не внедряться после инцидентов. Руководство организаций зачастую сталкивается с давлением, требующим быстрой отдачи от инвестиций в ИИ, что в ряде случаев грозит сокращением бюджетов или даже увольнениями при невыполнении поставленных целей.
Управление вместо простого наблюдения
Генеральный директор Dataiku Флориан Дуэтто отмечает, что отрасль допустила ошибку, сделав основной упор на автономию систем, но забыв о расходах на управление ими. По его словам, автономные системы требуют активного менеджмента, а не просто фонового контроля. «Мониторинг лишь сообщает вам, что агент работает. Управление определяет, заслужил ли он право продолжать работу. На текущий момент почти никто не способен оперативно отключить агента», — утверждает Дуэтто.
В тех случаях, когда ИИ-агент выходит из-под контроля, компаниям зачастую остается лишь один радикальный вариант решения проблемы — полное отключение системы с надеждой на исправление ситуации. Эксперты подчеркивают, что единственной долгосрочной альтернативой является внедрение более строгих процедур контроля и совершенствование законодательной базы, регулирующей использование ИИ в рабочих процессах.
Сложности управления и риски карьерного роста
Исследование проливает свет на специфическое давление, которое испытывают британские ИТ-директора: они вынуждены демонстрировать быструю окупаемость инвестиций в ИИ, находясь под угрозой урезания бюджетов или даже увольнения в случае невыполнения установленных KPI. Именно стремление оправдать вложения в кратчайшие сроки часто приводит к «разрастанию» инструментов, когда скорость развертывания технологий искусственного интеллекта критически опережает развитие нормативной базы и политик управления ими внутри компании.
Проблемы прозрачности и контроля
Ситуация усугубляется отсутствием инструментов для отслеживания логики принятия решений алгоритмами. Тот факт, что лишь 49% опрошенных способны восстановить аудиторский след действий ИИ, делает невозможным проведение качественного анализа после инцидентов. Фэй Мюррей, полевой директор по данным в Dataiku, настаивает на том, что подотчетность ИИ не может быть «приспособлена» (retrofitted) постфактум — она должна быть спроектирована непосредственно в процессе развертывания системы.
Критический взгляд на автономию
Флориан Дуэтто, CEO Dataiku, жестко оценивает текущее состояние рынка, утверждая, что индустрия «продала» CIO идею полной автономии, но проигнорировала реальные операционные расходы на управление такими системами. Основная проблема заключается в невозможности эффективного вмешательства: сегодня большинство организаций технически не готовы «уволить» (отключить) некорректно работающего агента. В отсутствие механизмов активного управления компаниям остается лишь радикальный подход — «выдернуть вилку из розетки» в надежде, что это поможет минимизировать ущерб от уже допущенного ИИ нарушения.
