В индустрии искусственного интеллекта бытует мнение, что 90% надежности системы — это достойный результат. Однако Андрей Карпати подчеркивает: показатель в 99% подходит только для прототипов и демонстрационных версий, но не для серьезных рабочих процессов. Причина кроется в так называемом «марше девяток». Каждая последующая девятка в процентах успешных операций требует колоссальных инженерных усилий, а совокупная надежность сложной цепочки быстро снижается из-за накопления ошибок на каждом этапе.
Типичный ИИ-процесс состоит из последовательности шагов: парсинга, планирования, вызова инструментов, валидации и логирования. Итоговая вероятность успеха всей операции — это произведение вероятностей каждого шага. Если десять этапов выполняются с вероятностью 90%, шансы на успех всей задачи составляют лишь около 35%. Даже при 99% надежности на каждом этапе общий результат достигает только 90%, что в условиях реальной эксплуатации приводит к регулярным сбоям.
Для достижения промышленного уровня надежности необходимо сочетать совершенствование моделей с жесткими инженерными практиками. Карпати выделяет девять ключевых стратегий:
- Ограничение автономии через использование явных графов рабочих процессов.
- Соблюдение строгих контрактов на всех границах системы.
- Многоуровневая валидация (синтаксиса, семантики и внутренних правил).
- Маршрутизация запросов в зависимости от уровня риска.
- Отношение к вызовам инструментов как к распределенным системам.
- Обеспечение предсказуемости и прозрачности при извлечении данных.
- Постоянная оценка производительности в продакшене.
- Внедрение развитой системы мониторинга и оперативного реагирования.
- Использование «ползунка автономии» с поддержкой ручного контроля и безопасных откатов.
Особую роль играет определение целевых показателей надежности (SLO) и тотальная проверка входящих и исходящих данных. Для каждого процесса устанавливаются свои KPI, а любые ошибки трансформируются в тесты, предотвращающие повторение инцидентов. Этот подход превращает ИИ-систему из «черного ящика» в прозрачный и управляемый инструмент.
Практическое внедрение включает лимиты попыток, использование тайм-аутов, строгую типизацию данных, версионирование схем и автоматические переключения на безопасные алгоритмы. Все это позволяет перевести ИИ из разряда экспериментальных решений в сектор надежных корпоративных технологий. По данным опроса McKinsey за 2025 год, более половины компаний столкнулись с негативными последствиями из-за недостаточной надежности ИИ, а треть пострадала от ошибок, вызванных неточностью моделей.
