Ведущий исследователь безопасности компании Anthropic Эван Хьюбингер допустил, что вероятность гибели человечества от искусственного интеллекта в ближайшее десятилетие превышает 10%. Это заявление было сделано вскоре после того, как его коллега Джейкоб Коксон публично объявил о своем уходе из организации из-за опасений относительно темпов разработки «сверхчеловеческих систем».
Критика подходов к разработке ИИ
Джейкоб Коксон, занимавшийся обучением нейросетевых систем в Anthropic, опубликовал в социальной сети X сообщение о своем решении покинуть компанию. Он подверг резкой критике деятельность Anthropic и OpenAI, обвинив их в участии в опасной гонке за созданием самосовершенствующегося суперинтеллекта. По мнению эксперта, технологические компании «рискуют нашими жизнями», стремясь первыми достичь высоких результатов, несмотря на осознание того, что подобные разработки могут привести к катастрофическим последствиям для всего человечества к концу десятилетия.
Отраслевые специалисты давно обсуждают угрозы, связанные с самообучающимися системами, которые способны бесконтрольно развиваться в рамках рекурсивного самосовершенствования. Несмотря на то что подобные технологии еще не реализованы в полной мере, современные компании активно движутся к этой цели, часто прибегая к помощи самого искусственного интеллекта при написании программного кода.
Отсутствие четких планов по обеспечению безопасности
Эван Хьюбингер, возглавляющий одну из команд по безопасности в Anthropic, подтвердил обоснованность опасений Коксона. Хьюбингер отметил, что процессы развития технологий происходят быстрее, чем ожидалось. «Мы действительно искренне верим, что ИИ может убить всех людей», — подчеркнул он, добавив, что, по его личной оценке, риск такого сценария в ближайшие десять лет превышает 10%.
При этом эксперт признал, что на текущий момент у компании Anthropic «еще нет плана» по обеспечению безопасности и соответствия передовых моделей человеческим ценностям. Более того, компания пока не демонстрирует уверенных результатов в разработке такой стратегии. Коксон считает, что компании вовлечены в «бешеную гонку» ради первенства в разработке продвинутых систем, поэтому продолжают движение вперед вопреки существующим рискам.
Контекст кадровых перестановок в индустрии
Уход Джейкоба Коксона стал одним из наиболее громких случаев увольнения из Anthropic — компании, которая была основана бывшими сотрудниками OpenAI именно на фоне обеспокоенности вопросами безопасности. За последние годы значительное число исследователей уже покидали OpenAI, ссылаясь на аналогичные причины.
Данная ситуация отражает растущее напряжение внутри индустрии из-за темпов создания сложных ИИ-моделей. Проблема становится особенно острой на фоне подготовки ряда компаний к потенциальным IPO, а также в условиях, когда технологические гиганты вынуждены устранять последствия инцидентов с участием «непредсказуемых агентов» и реагировать на публичные предостережения относительно прозрачности и мониторинга передовых моделей.
