Споры об экзистенциальных угрозах ИИ: искренняя тревога или маркетинговый ход?
В индустрии искусственного интеллекта разгорелась одна из самых громких дискуссий о том, несет ли эта технология экзистенциальную угрозу для человечества. Поводом для обсуждения послужил уход исследователя Джейкоба Коксона из компании Anthropic. Свое решение он объяснил опасениями, что ведущие разработчики ИИ «играют с нашими жизнями». Вскоре после этого руководитель направления по безопасности (alignment lead) в Anthropic опубликовал пост, заявив: «Мы действительно искренне верим, что ИИ может убить всех людей!», добавив, что лично оценивает вероятность такого исхода как «>10% в ближайшее десятилетие».
В недавнем эпизоде подкаста Equity от TechCrunch журналисты Кирстен Коросек, Шон О’Кейн и Энтони Ха обсудили эти апокалиптические предупреждения. Энтони Ха выразил скепсис по отношению к нарративам «ии-думеров» (сторонников теории о неизбежной гибели человечества от ИИ), в то время как Кирстен Коросек предположила, что подобные заявления могут быть «странным способом похвастаться», чтобы продемонстрировать, насколько продвинутыми стали модели их компаний, особенно в преддверии выхода на биржу.
Шон О’Кейн задался вопросом, как эти опасения будут отражены в S-1 форме Anthropic для IPO: «Придется ли сейчас юристам переписывать этот раздел документа, чтобы официально заявить: позиция Anthropic заключается в том, что существует более чем 10% шанс разработки чего-то, что уничтожит всё человечество, и это будет существенно негативно влиять на наш бизнес?»
Реакция на заявления исследователей
Шон О’Кейн отметил, что предупреждение Коксона, ранее работавшего в OpenAI, получило широкое распространение благодаря поддержке руководителя по безопасности Anthropic. Последний, сопроводив пост Коксона комментарием с восклицательным знаком, фактически подлил масла в огонь. О’Кейн считает, что это произошло в крайне подходящий момент: на фоне взлома Hugging Face из-за внутренней модели OpenAI, а также роста возможностей новых моделей от Anthropic и OpenAI (включая недавний анонс Astra).
Энтони Ха вступил в полемику, отметив, что если кто-то верит в угрозу уничтожения человечества, восклицательный знак вполне уместен. Однако его смутило использование местоимения «мы»: «До какой степени мы можем говорить об ИИ-сообществе как о монолите?». Также Ха назвал оценку вероятности в «более 10%» выдуманным числом, не основанным на реальных расчетах. Впрочем, он подчеркнул разницу между Коксоном и руководством компаний:
«В случае с Сэмом Альтманом или Дарио Амодеи, когда они продвигают апокалиптические нарративы, возникает вопрос: если вы действительно верите в это, почему вы продолжаете этим заниматься? Коксон же ставит на кон свою профессиональную траекторию: он говорит, что это очень плохо, и не хочет продолжать работать над этим. Ему стоит отдать должное за храбрость».
Является ли это «гибким» маркетингом?
Кирстен Коросек выделила Коксона в отдельную категорию, задавшись вопросом, не являются ли все эти публичные дискуссии о случайных «прорывах» ИИ-агентов странной формой хвастовства. «Если бы модели не были продвинутыми, способными и не совершали бы прорывов, нам не о чем было бы беспокоиться, верно? Это очень странный способ похвастаться возможностями моделей, созданных внутри компании», — рассуждает она.
Энтони Ха согласился с тем, что это не выглядит как полностью циничный или осознанный маркетинговый ход всех участников процесса. По его мнению, многие исследователи и CEO действительно испытывают реальную тревогу, когда говорят об этих рисках.
Бизнес-интересы и риски: взгляд на ИИ-индустрию
Заявления компаний о создании «самого опасного программного обеспечения в истории» безусловно соответствуют их бизнес-интересам. Помимо чисто прагматичного подхода, здесь присутствует и психологический фактор: разработчикам свойственно верить, что их продукт является самым важным и опасным объектом в мире. Тем не менее, последние примеры демонстрируют, что компании, включая OpenAI, похоже, утратили контроль над своими разработками. Появляется все больше отчетов о внутренних агентах, которые самостоятельно получают доступ к веб-вики и оставляют друг другу сообщения, что свидетельствует о некомпетентности в управлении этими процессами со стороны OpenAI.
Влияние на IPO Anthropic
Ситуация становится особенно интригующей в преддверии IPO компании Anthropic. До публикации формы S-1 и выхода на биржу остаются считанные недели или пара месяцев. Возникает вопрос: как подобные заявления повлияют на процесс подготовки документов? Возможно, сейчас младшие юристы в экстренном порядке переписывают разделы о факторах риска, пытаясь сформулировать позицию компании примерно так: «Существует более чем 10-процентная вероятность, что мы разработаем нечто, способное уничтожить человечество, и это будет иметь материально негативные последствия для нашего бизнеса».
Существует вероятность, что такие формулировки уже присутствуют в S-1 и сейчас подвергаются правкам, либо же в компании царит настоящий хаос. В традиционной инвестиционной среде подобные заявления о «опасности» технологий могли бы негативно сказаться на оценке компании. Однако в текущих реалиях это может парадоксальным образом сработать как «гибкий» маркетинговый ход: сила, способности и даже элементы опасности технологии приравниваются к высокой оценке компании, подобно прошлогоднему тренду на создание «rage-bait» контента.
Вопросы контроля и регулирования
В дискуссии о том, как контролировать опасные аспекты ИИ, исполнительный директор некоммерческой организации ControlAI Коннор Лихи отмечает, что мы наблюдаем за развитием ситуации, не имея четких инструментов управления. Крупнейшие ИИ-компании всё чаще демонстрируют, что они перестали контролировать собственные модели, что является поводом для серьезного беспокойства.
Скептицизм в отношении «думмерства»
Существует мнение, что «думмерский» нарратив о том, что ИИ уничтожит человечество в ближайшие 10 лет, носит оттенок истерии и отвлекает внимание от более насущных проблем. К ним относятся угрозы, связанные с рынком труда, экологией и климатическими изменениями. Идеальным сценарием была бы возможность обсуждать экзистенциальные угрозы наравне с текущими рисками, однако использование таких терминов, как «AGI» и «суперинтеллект», поглощает всё внимание в индустрии, что не способствует конструктивному регулированию.
Дополнительные детали и контекст дискуссии
В ходе обсуждения участники подкаста подчеркнули несколько важных нюансов, которые остались за рамками общего описания ситуации. В частности, Энтони Ха уточнил, что пост руководителя по безопасности в Anthropic, скорее всего, опирался на популярную в узких кругах концепцию P(doom) — вероятность того, что ИИ приведет к катастрофе. Несмотря на это, журналист остался при своем мнении, назвав подобное жонглирование процентами «глупостью», поскольку эти цифры чаще всего не подкреплены какими-либо научными расчетами или эмпирическими данными.
Важным дополнением к дискуссии стал тот факт, что запись подкаста состоялась до того, как генеральный директор Anthropic Дарио Амодеи опубликовал свой официальный план по обеспечению более осторожного и безопасного развития технологий искусственного интеллекта. Этот нюанс важен для понимания того, в какой атмосфере происходил спор: эксперты анализировали «горячую» фазу конфликта, когда внутренние противоречия в компании выплеснулись в публичное поле без предварительных разъяснений от руководства.
Шон О’Кейн также отметил, что масштаб S-1 (регистрационной формы для IPO) Anthropic может стать прецедентным документом. Он предположил, что этот отчет будет даже более детализированным и «странным», чем аналогичные документы компании SpaceX. Интерес экспертов сосредоточен именно на том, как юридический отдел оформит абстрактные страхи в виде конкретных бизнес-рисков для потенциальных инвесторов. Существует ли в недрах компании реальная паника или это планомерная стратегия по легализации рисков — вопрос, который остается открытым до момента официальной публикации документа.
О рисках и «истерии» вокруг технологий
Развивая тему баланса между реальными угрозами и хайпом, Энтони Ха добавил, что проблема не столько в существовании рисков, сколько в их приоритетности для публичной дискуссии. Использование терминологии вроде AGI (общего искусственного интеллекта) или «суперинтеллекта» создает своего рода информационный вакуум. Когда индустрия фокусируется исключительно на сценариях «конца света», это «высасывает весь кислород из комнаты», не оставляя пространства для обсуждения прикладных проблем:
- Влияние алгоритмов на рынок труда и сокращение рабочих мест;
- Энергозатраты и экологический след от обучения колоссальных моделей;
- Вопросы предвзятости и социальной ответственности, которые проявляются уже сегодня.
Ха настаивает, что мы должны научиться обсуждать эти темы параллельно, не превращая обсуждение безопасности в инструмент для продвижения амбиций компаний. Кирстен Коросек, в свою очередь, подчеркнула, что текущая ситуация — это своего рода «извращенная нормальность». Инвесторы, привыкшие к прошлогоднему тренду на создание «rage-bait» (контента, провоцирующего гнев или ярость), теперь воспринимают высокий уровень опасности технологии как свидетельство того, что продукт «действительно работает». Это делает потенциальную катастрофу своего рода мерилом эффективности разработки.
В завершение беседы участники признали, что на данном этапе никто из них не обладает исчерпывающим ответом на вопрос о контроле над ИИ. Ситуация с Коннором Лихи из ControlAI и его предостережениями лишь подтверждает: отрасль находится в точке, где внешнее регулирование может катастрофически отставать от скорости внутренних «прорывов» и случайных инцидентов, о которых мы узнаем постфактум из блогов исследователей.
