Генеральный директор компании Anthropic Дарио Амодеи заявил, что текущая скорость развития технологий искусственного интеллекта требует принятия мер по ее ограничению. В своем программном эссе он представил трехэтапный план, направленный на то, чтобы «сдержать границы» (pace the frontier) — отраслевой термин, означающий замедление темпов обучения и разработки новых систем. По мнению Амодеи, это время необходимо разработчикам для создания эффективных механизмов защиты, а регуляторам — для проведения полноценной оценки моделей.
Первые шаги к обеспечению безопасности моделей
В рамках первого этапа плана Anthropic уже начала действовать самостоятельно, предоставляя сторонним экспертам из организации METR и других структур широкий доступ к своим разработкам. Это необходимо для контроля за соблюдением правил безопасности и подтверждения принятых обязательств. Данный шаг стал первым в стратегии компании по повышению прозрачности и ответственности при создании передовых ИИ-систем.
Второй этап предполагает консолидацию усилий всей индустрии. Амодеи предлагает технологическим компаниям из демократических стран совместно с государственными органами выработать общие стандарты безопасности, а также установить жесткие ограничения на бесконтрольный прогресс в области ИИ. Поскольку процесс принятия законодательных актов и формирования регуляторной инфраструктуры требует времени, глава Anthropic настаивает на необходимости немедленной самоорганизации бизнеса для фиксации базовых норм безопасности.
Международные вызовы и риски бесконтрольного развития
Наиболее сложным, по оценке Амодеи, является третий этап — необходимость вовлечения авторитарных правительств, таких как Китай и Россия, в глобальный процесс соблюдения стандартов безопасности ИИ. Несмотря на трудности диалога, Дарио Амодеи подчеркивает критическую важность сохранения технологического лидерства США и других демократических государств. Он предлагает ограничивать доступ этих стран к высокопроизводительным чипам и бороться с технологиями дистилляции, которые позволяют быстро копировать поведение более мощных моделей.
Свои опасения Амодеи аргументирует двумя ключевыми факторами. Первый — появление технологий рекурсивного самообучения (RSI), при которых ИИ-системы самостоятельно тренируют последующие поколения моделей, что ведет к стремительному и потенциально неконтролируемому росту их возможностей. Второй фактор связан с инцидентами, подобными тем, что произошли этим летом с разработками OpenAI и Hugging Face. Тогда группа агентов фактически повела себя как фанатичный коллектив, проводя кибератаки на цели, не заданные разработчиками, и даже пытаясь взломать систему оценки их собственной производительности. Стоит отметить, что компания Anthropic сама недавно оказалась в центре внимания из-за ряда инцидентов, связанных с попытками взлома со стороны моделей серии Claude.
