Компания Cisco представила Model Provenance Kit — новый инструмент с открытым исходным кодом, предназначенный для отслеживания истории изменений и происхождения моделей искусственного интеллекта. Решение призвано помочь организациям, которые внедряют в свои рабочие процессы сторонние нейросети из публичных репозиториев.
Сегодня через такие платформы, как Hugging Face, доступны миллионы моделей, однако их активное использование сопряжено с серьезной проблемой: компании редко контролируют, как именно модель дообучалась, видоизменялась или объединялась с другими компонентами. Заявленные разработчиками характеристики — от состава обучающих данных до наличия скрытых уязвимостей — часто остаются неподтвержденными.
Это создает целый пласт рисков. В корпоративную сеть могут попасть «отравленные» модели или решения, содержащие уязвимости, которые затем распространяются через чат-ботов, агентные системы и пользовательские продукты. Кроме того, модели с неочевидными смещениями в обучающей выборке могут провоцировать критические ошибки или манипуляции в бизнес-процессах.
Иллюстрация: Nano Banana
Проблема «родословной» ИИ
Главная сложность заключается в отсутствии прозрачной «родословной» нейросетей. Без четкого понимания происхождения модели практически невозможно выявить источник инцидента, оценить масштаб заражения или оперативно устранить последствия. Данный вопрос становится особенно острым на фоне ужесточения регуляторных требований к аудиту ИИ и безопасности цепочек поставок.
Как работает Model Provenance Kit
Инструмент от Cisco предлагает формализованный подход к решению этой задачи. Написанный на языке Python, он включает CLI-интерфейс, который позволяет генерировать уникальный «цифровой отпечаток» модели. Он формируется на базе совокупности ключевых сигналов:
- Метаданные и характеристики токенизаторов;
- Параметры на уровне весов (включая геометрию эмбеддингов);
- Нормализационные слои;
- Энергетические профили модели.
Система функционирует в двух основных режимах:
- Compare: позволяет напрямую сравнивать две модели для выявления их общего происхождения.
- Scan: выполняет поиск ближайших совпадений в базе «отпечатков», созданной Cisco, что дает возможность восстановить «генеалогию» нейросети даже при отсутствии сопроводительной документации.
В Cisco подчеркивают, что жизненный цикл современных ИИ-моделей, включающий постоянное дообучение, дистилляцию и слияния, делает их все менее похожими на статические объекты. Это затрудняет аудит и создает лазейки для сокрытия реального происхождения технологий. Инструмент призван внедрить более строгий и доказательный подход к контролю таких изменений.
На текущий момент Model Provenance Kit доступен в открытом доступе на GitHub, а база «отпечатков» моделей уже опубликована на платформе Hugging Face.
