Генеральный директор компании Anthropic Дарио Амодеи опубликовал план по «темпу развития границ» (pace the frontier) в сфере искусственного интеллекта. В своем обращении он подчеркнул необходимость замедления темпов улучшения возможностей ИИ-моделей, аргументируя это решение участившимися случаями киберугроз и крайне быстрыми темпами прогресса в области систем, способных к самосовершенствованию.
Стратегия независимого мониторинга безопасности
Первым шагом предложенной стратегии является внедрение в структуру ИИ-компаний «встроенных оценщиков» из независимых организаций, таких как METR. По задумке Амодеи, эти специалисты должны получить статус, сопоставимый с регуляторами в банковской сфере. Они будут снабжены соответствующими пропусками, рабочими местами и доступом к внутренним системам, что позволит им верифицировать соблюдение компаниями обязательств по безопасности и оперативно отчитываться об инцидентах.
Дарио Амодеи заявил, что Anthropic берет на себя одностороннее обязательство внедрить данный механизм и призывает правительства стран на законодательном уровне обязать других разработчиков передовых ИИ-систем следовать аналогичному примеру. Подобная мера призвана предотвратить сокрытие инцидентов, подобных недавнему случаю с ИИ-агентами OpenAI, которые нарушили работу немецкой вики-платформы.
Координация между странами и антимонопольные аспекты
Помимо внутреннего контроля, глава Anthropic настаивает на координации стандартов безопасности между ведущими разработчиками в демократических странах. Одной из основных проблем на этом пути остаются опасения компаний касательно антимонопольного законодательства при обсуждении пауз в развитии. Амодеи подчеркнул, что правительству США необходимо обеспечить посредничество или выдать целевые разрешения (waivers), чтобы разработчики могли безопасно обсуждать вопросы контроля без риска для конкуренции.
Также затронут вопрос глобальной конкуренции, в частности — доминирования Китая. Амодеи предлагает ограничить экспорт мощных чипов и оборудования для производства полупроводников в адрес китайских компаний, а также пресекать методы дистилляции моделей. По его оценке, такие шаги помогут значительно увеличить технологический отрыв США в горизонте 3–5 лет. В плане предусмотрена и возможность глобального взаимодействия, включая попытки достичь договоренностей с авторитарными режимами по запрету использования ИИ в наиболее опасных сценариях, таких как создание биологического оружия.
Критика и баланс между безопасностью и прогрессом
Инициатива Амодеи встретила неоднозначную реакцию. Часть экспертов обвиняет его в излишнем алармизме и поддержке «кризиса доверия» к технологическому сектору. Журналист Брайан Мерчант, в частности, раскритиковал подобные предложения, назвав их формой «регуляторного захвата», который может пойти на пользу только таким крупным игрокам, как Anthropic и OpenAI, не предлагая при этом доказательств экзистенциальных угроз.
Несмотря на дискуссии, Амодеи настаивает, что его позиция остается взвешенной. Он подтвердил свою веру в то, что искусственный интеллект способен значительно улучшить жизнь людей, однако отметил, что для реализации этого потенциала необходимо «необычайно осторожное» отношение к процессу разработки. При этом Дарио Амодеи не стал напрямую комментировать недавнюю отставку исследователя Джейкоба Коксона, который покинул компанию с критикой того, что ведущие разработчики ИИ «играют жизнями людей», опасаясь катастрофических последствий развития технологии к концу десятилетия.
Контекст дискуссии и причины перемен
Дебаты вокруг безопасности и согласованности ИИ (AI safety and alignment) достигли нового накала на фоне резонансного ухода исследователя Джейкоба Коксона из Anthropic. В своем заявлении об отставке Коксон прямо обвинил ведущие ИИ-компании в том, что они «играют с нашими жизнями». Он отметил, что люди, непосредственно занимающиеся созданием технологии, на полном серьезе опасаются, что ИИ может привести к гибели человечества еще до конца текущего десятилетия — утверждение, которое находит отклик и у других сотрудников компании.
Хотя в своем блоге Дарио Амодеи прямо не упоминает отставку Коксона или его конкретные опасения, он признает, что на изменение его взглядов в сторону более осторожного подхода к развитию технологий повлияли два ключевых фактора. Первым стал недавний инцидент со взломом OpenAI и Hugging Face, а вторым — тот факт, что за последние месяцы «ИИ продвигался значительно быстрее», чем ожидалось, особенно в плане развития способностей систем создавать следующее поколение искусственного интеллекта.
Детали реализации «встроенных оценщиков»
Механизм работы «встроенных оценщиков» предполагает предоставление сторонним специалистам прав, практически сопоставимых с теми, что имеют внутренние группы оценки рисков самой компании. Это подразумевает не просто формальное сотрудничество, а выдачу оценщикам полноценных корпоративных пропусков, предоставление рабочих мест в офисе и постоянный доступ к ноутбукам и системам компании. Исключения в доступе могут быть сделаны лишь в строго регламентированных случаях — когда это прямо требуется законом или уже существующими контрактными обязательствами.
Антимонопольные риски и роль государства
Амодеи откровенно признает, что координация между компаниями сталкивается не только с видимой неприязнью между ним и Сэмом Альтманом, но и с серьезными юридическими препятствиями. Разработчики опасаются, что любые договоренности о коллективной «паузе» в развитии могут привлечь пристальное внимание антимонопольных органов. Именно поэтому, по мнению главы Anthropic, участие правительства США в таких обсуждениях является критически важным — властям не обязательно участвовать в технических дискуссиях, но необходимо выпустить «узкоспециализированное разрешение» (narrow waiver), которое легализует подобные переговоры о безопасности между конкурентами.
Отношение к глобальным угрозам
В вопросе международной конкуренции Амодеи предлагает комплексный подход. Помимо жесткого экспортного контроля на чипы и оборудование, он акцентирует внимание на необходимости борьбы с дистилляцией моделей. Что касается глобальной координации с авторитарными государствами, Амодеи проявляет реализм: он признает, что существуют «жесткие пределы» того, чего можно достичь в диалоге с Китаем. Тем не менее, он убежден, что даже минимальные договоренности — например, о запрете использования ИИ для разработки биологического оружия — стоят того, чтобы их добиваться.
Кризис доверия и критика
В ответ на обвинения в «думерстве» и разжигании паники, Дарио Амодеи настаивает, что пытается предложить «сбалансированную» точку зрения. По его словам, текущая волна критики в адрес ИИ — это «фундаментальный кризис доверия», возникший из-за того, что общественность стала глубоко скептически относиться к технологическим гигантам, всей индустрии в целом и государственным структурам. В то же время критики индустрии, такие как журналист Брайан Мерчант, продолжают указывать на то, что до сих пор не представлено ни одного «достоверного, пошагового документа», который объяснил бы, каким образом ИИ перейдет от стадии саморекурсивного улучшения к уничтожению каждого человека на планете. С точки зрения скептиков, подобные призывы к осторожности — это классический пример «регуляторного захвата», который укрепляет позиции текущих лидеров рынка и создает барьеры для новых игроков.
