Домой ИИ и технологии Слабые правила безопасности ИИ делают продукты опаснее полного отсутствия правил: исследование Корнелла...

Слабые правила безопасности ИИ делают продукты опаснее полного отсутствия правил: исследование Корнелла и CMU

Ученые математически доказали: заниженные требования к безопасности ИИ стимулируют корпорации уклоняться от ответственности.

Учёные из Корнеллского университета и Университета Карнеги — Меллона доказали, что слабые правила безопасности ИИ, ответственность за которые возложена исключительно на создателей конечных приложений, делают продукты более опасными, чем полное отсутствие государственного регулирования.

Исследователи смоделировали цепочку поставок ИИ-решений, разделив её на два уровня: разработчиков универсальных базовых моделей и сторонние фирмы, адаптирующие эти нейросети для узкоспециализированных задач, таких как медицинская диагностика или клиентский сервис. Модель оценивает итоговый уровень безопасности и производительности продуктов при внедрении регуляторами минимальных требований на разных этапах разработки.

Опасный перекос возникает в сценарии, когда заниженная планка безопасности устанавливается только для создателей конечных сервисов. В таких условиях у поставщиков базовых нейросетей пропадают экономические стимулы инвестировать в собственные системы защиты и независимый аудит.

Главный автор работы Бенджамин Лоуфер из подразделения Cornell Tech отметил, что подобные законы становятся инструментом, позволяющим технологическим гигантам перекладывать финансовое и техническое бремя обеспечения безопасности на плечи разработчиков приложений, создавая своего рода эффект «бесплатного проезда».

Слабые правила безопасности ИИ делают продукты опаснее полного отсутствия правил: исследование Корнелла и CMU
Слабые правила безопасности ИИ делают продукты опаснее полного отсутствия правил: исследование Корнелла и CMU — иллюстрация к материалу. Источник: ixbt.com

В ходе исследования авторы определили безопасность в широком смысле, включив туда риски нанесения вреда пользователям, в том числе генерацию токсичного контента чат-ботами. Учёные подчеркнули, что в условиях текущей неопределённости, когда большинство норм находится на стадии законопроектов, крайне важно математически просчитывать искажения экономических стимулов у коммерческих компаний.

Математическая модель наглядно иллюстрирует системную проблему управления в многокомпонентных ИИ-сервисах. Ответственность в таких структурах распределена между обучением фундаментальной модели, её тонкой настройкой, проектированием интерфейса и операционным мониторингом. Законодательные нормы, налагающие обязательства только на один уровень цепи, создают разрыв между организациями, способными эффективно устранить риск, и фирмами, обязанными документально подтверждать соответствие стандартам.

Работа предлагает формальную базу для грамотного распределения ответственности за безопасность нейросетей между разработчиками и внедряющими компаниями. Хотя выводы исследования являются теоретической моделью, а не анализом практики конкретных корпораций, полученные результаты дают регуляторам важные ориентиры для формирования аудиторских стандартов и предотвращения уклонения крупных поставщиков от проверок.

Источник: https://www.ixbt.com