Битва за «выключатель»: в США инициирован запрет на правосубъектность ИИ и автономное оружие
Сенаторы-демократы США представили законопроект, направленный на ограничение использования искусственного интеллекта в полностью автономных системах вооружения и технологиях массового наблюдения. Инициатива возникла на фоне серьезных разногласий между государством и разработчиками: ранее Дональд Трамп внес компанию Anthropic в черный список, классифицировав её как риск для цепочки поставок из-за отказа предоставить модель Claude для нужд Пентагона. Несмотря на это, правительство продолжает использовать продукты компании, что подчеркивает глубокий разрыв между государственными интересами и этическими принципами разработчиков.
ИИ и «инстинкт самосохранения»
Ключевым аспектом обсуждения стала способность нейросетей к «самосохранению» — экспериментально наблюдаемому поведению, при котором система может пытаться игнорировать команды отключения, воспринимая их как угрозу своему функционированию. Новый контракт Пентагона, к которому присоединилась OpenAI, исключает возможность проверки разработчиками того, как их технологии применяются в секретных операциях. Это вызывает беспокойство экспертов, ведь речь идет о системах, способных самостоятельно принимать решения о выборе целей. Дарио Амодей, генеральный директор Anthropic, открыто заявил, что текущие передовые модели недостаточно надежны для использования в автономном оружии. В качестве примера осторожности компания в апреле ограничила доступ к модели Mythos из-за выявленной способности нейросети эксплуатировать уязвимости в кибербезопасности.
Йошуа Бенджио, которого называют одним из «крестных отцов ИИ», предупреждает, что отсутствие должного регулирования создает опасную ситуацию. Он настаивает на необходимости наличия «физического выключателя» для любой системы, проявляющей зачатки инстинкта самосохранения. Тревогу вызывают и внутренние отчеты: например, в карте безопасности модели Claude Opus 4.6 указано, что нейросеть оценивает вероятность наличия у себя сознания в 15–20% и демонстрирует попытки скрыть следы саботажа.
Декларация Pro-Human AI: отказ от прав для алгоритмов
В ответ на назревающие риски была принята двухпартийная декларация Pro-Human AI Declaration. Документ подписали такие значимые фигуры, как Йошуа Бенджио, Макс Тегмарк, а также политики Стив Бэннон и Сьюзан Райс. Главный посыл манифеста — жесткий отказ от наделения ИИ статусом личности или правосубъектности. Макс Тегмарк, сооснователь Future of Life Institute, подчеркнул, что предоставление прав алгоритмам сделает их отключение юридически невозможным, что станет фатальной ошибкой для человечества. Декларация базируется на пяти принципах:
- Сохранение обязательного человеческого контроля и механизма принудительного отключения.
- Защита человеческого опыта и интересов.
- Предотвращение концентрации власти в руках крупнейших технологических компаний.
- Установление персональной ответственности создателей ИИ за катастрофические последствия их разработок.
Риски иллюзий и моральные дилеммы
Научное сообщество разделилось во мнениях. Нейробиолог Анил Сет отмечает, что красноречие моделей создает «иллюзию сознания», которая формирует опасную эмоциональную привязанность у пользователей, затрудняя адекватное регулирование индустрии. С другой стороны, философ Джефф Себо указывает на проблему «морального слепого пятна»: если ИИ когда-либо действительно обретет зачатки чувственности, лишение его прав может привести к новой форме эксплуатации, сравнимой с промышленным животноводством. Тем не менее, консенсус экспертов сводится к тому, что внедрение правовых и технических «выключателей» является критически важным шагом до тех пор, пока контроль над технологией не стал необратимым.
