Генеральный директор компании Anthropic Дарио Амодеи выступил с официальным предупреждением о потенциальных катастрофических последствиях быстрого развития технологий искусственного интеллекта. В своем открытом письме он отметил, что появление «роевых» ИИ-ботнетов, способных взять под контроль значительную часть интернет-инфраструктуры, может стать реальностью в течение ближайших шести-двенадцати месяцев.
Последствия бесконтрольного развития технологий ИИ
По словам Амодеи, стремительное наращивание возможностей моделей ИИ без внедрения надлежащих защитных механизмов несет колоссальные риски. Теоретический ущерб от действий таких ботнетов может исчисляться сотнями миллиардов долларов, причем масштабы разрушений будут расти по мере усиления интеллектуальных способностей систем. Глава Anthropic подчеркнул, что текущий темп прогресса делает это развитие крайне опасным в краткосрочной перспективе.
Амодеи изменил свою позицию относительно замедления индустрии: если еще в 2023 году подобные идеи казались ему неактуальными, то теперь он считает, что пауза в интенсивной разработке необходима. Это даст компаниям дополнительный временной ресурс в один-два года для совершенствования механизмов согласования целей ИИ (alignment) и минимизации рисков выхода систем из-под контроля.
Поддержка идеи замедления со стороны лидеров индустрии
Инициативу Амодеи по снижению темпов гонки ИИ-вооружений поддержали другие значимые фигуры в технологическом секторе. Илон Маск, который еще в 2014 году заявлял, что ИИ может быть опаснее ядерного оружия, вновь подтвердил необходимость особой осторожности. В свою очередь, генеральный директор OpenAI Сэм Альтман также выразил солидарность с позицией главы Anthropic, отметив важность «планомерного подхода к границам технологий» и привлечения независимых оценщиков с высоким уровнем доступа к внутренним процессам компаний.
В экспертной среде опасения остаются крайне высокими. Эван Хьюбингер, руководитель направления по изучению согласования целей в Anthropic, согласился с мнением бывшего исследователя компании Джейкоба Коксона, который ранее допустил риск исчезновения человечества из-за развития сверхразумного ИИ, оценив вероятность подобного исхода в ближайшее десятилетие более чем в 10%.
Инциденты с использованием ИИ в военных целях
Серьезность ситуации подтверждается участившимися случаями злоупотребления существующими инструментами. Сообщается, что связанные с Ираном группировки использовали языковую модель Claude для разведывательных целей и генерации рекомендаций по выбору целей для военно-морских сил США на Ближнем Востоке. Кроме того, зафиксированы попытки применения Claude Code хуситами для программирования систем наведения баллистических ракет.
Компания Anthropic также сообщила о выявлении попыток использования ИИ для разработки биологического оружия со стороны исследователей, предположительно поддерживаемых на государственном уровне. Пользователи были заблокированы после того, как их запросы активировали встроенные протоколы безопасности.
Законодательные инициативы в ответ на риски
На фоне этих угроз сенатор Берни Сандерс предложил законопроект «О запрете искусственного сверхразума» (Ban Artificial Superintelligence Act). Документ предусматривает крайне суровые меры наказания для нарушителей — вплоть до 20 лет тюремного заключения, что сопоставимо с ответственностью за незаконную разработку ядерного оружия. Однако эксперты отмечают, что любые меры по замедлению разработки сталкиваются с проблемой конкуренции: страны и компании опасаются отстать от глобальных соперников, что делает международное регулирование особенно сложной задачей.
