Очередной инцидент с участием искусственного интеллекта напомнил пользователям о рисках ведения конфиденциальных записей в чат-ботах. Жительница Бонита-Спрингс, штат Флорида, столкнулась с обвинениями в совершении тяжкого преступления после того, как ввела в чат-бот Claude информацию о планируемом нападении на офис шерифа.
Детали инцидента и реакция системы безопасности Anthropic
Согласно отчету об аресте, 26 сентября Карли Мишель Хеллер оставила в чате сообщения, содержащие угрозу атаки на местное правоохранительное ведомство. Позже задержанная пояснила, что использует сервис компании Anthropic в качестве личного дневника. Однако встроенные системы безопасности чат-бота классифицировали высказывания как угрозу и направили их на проверку живому модератору.
После анализа полученных данных специалист пришел к выводу, что угроза является достоверной, и передал сведения в правоохранительные органы. Согласно политике компании Anthropic, она оставляет за собой право делиться информацией о пользователях в исключительных случаях, если считает раскрытие данных необходимым для предотвращения смерти или серьезных телесных повреждений. В результате обращения компании сотрудники офиса шерифа установили личность Хеллер, посетили её дом и задержали подозреваемую без происшествий.
Правовые последствия и статус использования ИИ
В настоящее время Карли Мишель Хеллер предъявлено обвинение в совершении письменной угрозы насилием. В соответствии с законодательством штата Флорида, а именно статьей 836.10, отправка, публикация или передача электронных записей с угрозами убийства, нанесения увечий, совершения массового расстрела или террористического акта является тяжким преступлением второй степени. Обязательным условием для квалификации деяния как преступления является возможность просмотра сообщения другим лицом.
Данная ситуация иллюстрирует стремление компаний-разработчиков ИИ минимизировать риски, связанные с потенциально опасным контентом. Ранее индустрия уже сталкивалась с вопросами ответственности нейросетей за предотвращение угроз. Так, в прошлом месяце в Канаде возник спор вокруг действий OpenAI: компанию критиковали за то, что её алгоритмы отметили беседы восемнадцатилетнего Джесси Ван Рутселаара об огнестрельном оружии, но не оповестили полицию, так как диалоги не соответствовали порогу правового реагирования. Также в июне власти Флориды подали иск к OpenAI и Сэму Альтману, утверждая, что ChatGPT способствовал реальным инцидентам, включая стрельбу в Университете штата Флорида в 2025 году.
Эксперты подчеркивают, что современные чат-боты не являются защищенными личными дневниками, содержимое которых доступно только пользователю. Напоминанием о приватности служат и недавние сообщения о работе контрагентов Microsoft: проверки показали, что специалисты, анализирующие работу графического редактора Copilot, могут видеть запросы пользователей, загруженные изображения и созданные ИИ правки. Хотя задача модераторов в таких случаях заключается лишь в оценке точности работы нейросети, в поле их зрения могут попадать сексуальные, тревожные или потенциально незаконные материалы.
