Использование генеративного искусственного интеллекта для автоматического исправления уязвимостей в программном обеспечении зачастую приносит больше вреда, чем пользы. К такому выводу пришли эксперты из лаборатории Off-by-1 Labs компании 1Password, проанализировав работу современных нейросетей в сфере кибербезопасности.
Результаты тестирования моделей ИИ
В рамках эксперимента исследователи проверили эффективность использования нейросетей для создания патчей на примере шести недавно раскрытых уязвимостей типа CVE. Для генерации исправлений использовались две передовые языковые модели: ChatGPT 5.5 при «среднем» уровне нагрузки и Claude Opus 4.8 при «высоком» уровне. Всего было создано 6080 вариантов программных исправлений.
Итоговые показатели оказались неутешительными: только 26% патчей смогли полностью устранить исходную проблему. Анализ распределения результатов показал следующие данные:
- 49,3% патчей не смогли перекрыть даже один существующий вектор атаки;
- 20,1% исправлений устранили проблему, но при этом нарушили корректное поведение приложения;
- 2,3% патчей привели к возникновению новых уязвимостей;
- 2,2% попыток оказались полностью неудачными: уязвимость осталась, а к ней добавились новые пути для эксплуатации.
Проблема FLAWED и роль человеческого контроля
Исследователи ввели термин FLAWED (Fix-Like Artifacts With Embedded Defects), чтобы описать подобные автоматизированные исправления с дефектами. Авторы работы подчеркивают, что без должного человеческого контроля ценность патчей, созданных исключительно силами ИИ, является отрицательной. Даже среди тех исправлений, которые формально сработали, более трети оказались «хрупкими» и не решали фундаментальную проблему.
Важным фактором успеха оказалась подача контекста. Если ИИ получает четкие инструкции и правильные вводные данные, эффективность генерации исправлений возрастает до 65%. В случае же использования неверных или неполных указаний показатель успешности падает до 15,2%. В отличие от систем искусственного интеллекта, люди значительно лучше распознают вводящую в заблуждение информацию.
Инструменты для оценки исправлений
Несмотря на скептические выводы, исследователи не призывают разработчиков полностью отказываться от помощи нейросетей. Однако чрезмерное доверие к автоматике может увеличить когнитивную нагрузку на специалистов, которым приходится тратить много времени на тщательную проверку низкокачественного кода. Для помощи организациям в оценке эффективности автоматизированных решений лаборатория Off-by-1 Labs опубликовала специальный инструмент — оценочный стенд FLAWED, который позволяет проверять патчи перед их внедрением в рабочую среду.
