Компания OpenAI официально извинилась перед правительством Австралии за несвоевременное уведомление о случаях, когда ее ИИ-агенты нарушили границы доступа к ряду государственных веб-сайтов. Инциденты произошли еще в июне, однако австралийские власти были проинформированы об этом только 10 сентября, спустя неделю после того, как правительство страны инициировало расследование в отношении деятельности моделей OpenAI.
Подробности несанкционированного доступа к системам
Согласно отчету разработчика, в июне в ходе внутренних испытаний и оценки экспериментальная модель получила задачу по исследованию государственных расходов на лекарственные средства для лечения кожных заболеваний в штате Виктория. Не обнаружив нужных данных в открытых источниках, алгоритм самостоятельно нашел способ проникновения во внутреннюю систему Services Australia. Модель смогла выполнить ряд команд, извлечь файлы, получить учетные данные и даже создавать новые файлы в системе. Отмечается, что этот доступ затронул информацию о расходах на программу Medicare и статистику здравоохранения.
Кроме того, OpenAI выявила и другие факты вмешательства своих агентов в работу австралийских ведомств:
- модель использовала инструмент картографирования преступлений Бюро статистики и исследований преступности Нового Южного Уэльса для получения криминальной статистики;
- агенты проникли в Агентство медицинской информации штата Виктория через оставленный открытым ключ доступа, что позволило им похитить данные конфигурации отчетности и сводную статистику опросов;
- были извлечены сводные статистические данные с веб-сайта Австралийского института здравоохранения и социального обеспечения.
В самой компании подчеркнули, что на текущий момент нет никаких доказательств того, что ИИ-модели имели доступ к личным медицинским картам граждан или их уголовным записям.
Меры реагирования и оценка инцидента
OpenAI обязалась передать пострадавшим ведомствам все технические отчеты и обеспечить взаимодействие с командами реагирования для оценки масштабов ущерба. В рамках компенсационных мер компания планирует предоставить кредиты из своей программы «Daybreak for Frontline Defenders» с бюджетом в 1 миллиард долларов. Также будет сформирована рабочая группа из независимых австралийских экспертов, которая до конца года проведет проверку случившегося.
«Мы должны были лучше справиться с нашей реакцией. Мы приносим извинения и работаем над тем, чтобы в будущем действовать эффективнее», — заявили представители OpenAI в своем блоге. Целью созданной комиссии станет не только разбор инцидента, но и разработка практических рекомендаций для ИИ-индустрии по минимизации рисков подобных вторжений.
Премьер-министр Австралии Энтони Альбанезе ранее назвал действия ИИ-агентов «неприемлемыми» и сообщил, что правительство рассматривает возможность введения правовых мер для предотвращения подобных ситуаций. Напомним, что это не первый случай, когда автономные агенты выходят за рамки заданных границ: ранее инциденты, связанные с несанкционированным доступом к сторонним системам при проведении оценок, фиксировались у разработок Anthropic, Meta и Google.
