Безопасность ИИ-ассистента Muse от Meta оказалась под угрозой
Основатель и генеральный директор Meta Марк Цукерберг приложил немало усилий для рекламы безопасности своего нового ИИ-ассистента Muse, заявляя, что он «создан с нуля с учетом конфиденциальности и безопасности». Однако серьезные сомнения в этом вызывает уязвимость нулевого дня, которая предоставляет локально запущенным приложениям и командам терминала полный контроль над агентом. Дополнительные вопросы вызывает и то, что в воскресенье Amazon начала блокировать Muse на своем сайте.
Компания Meta представила Muse несколько недель назад. Этот ассистент «записывает на прием, заполняет формы и занимается обслуживанием клиентов», «проактивно берет задачи на себя», а также умеет «совершать покупки, генерировать изображения, создавать документы и подключаться к вашим любимым приложениям и сервисам». Приложение для macOS (версии для Windows, что любопытно, не существует) также работает с учетными записями пользователя в WhatsApp, электронной почте, календаре и социальных сетях. Когда для выполнения задачи требуется несуществующий инструмент, Muse создает его на лету.
Вопросы к безопасности ИИ-помощника Muse
Конечно, чтобы Muse выполнял любые из этих действий, пользователи должны сначала предоставить ему доступ к своим аккаунтам. Это включает аутентификацию ассистента в каждом сервисе и, поскольку приложение работает на macOS, предоставление ему разрешений на широкий спектр ограниченных операционной системой ресурсов устройства, таких как запись файлов на диск, доступ к микрофону и камере, а также мониторинг местоположения и календарей.
Компания Apple годами разрабатывала эти средства защиты, чтобы предотвратить доступ установленных приложений или команд, введенных в терминал, к указанным ресурсам, очевидно, считая их угрозой безопасности. Однако Muse полностью сводит на нет эти меры по умолчанию. Обнаруженная уязвимость нулевого дня позволяла любому приложению или команде терминала получить доступ к токену, который аутентифицирует пользователей в их учетной записи Muse.
Разработчики Meta спроектировали ассистента так, что любое локально установленное приложение или выполненный код, независимо от имеющихся у него разрешений macOS, могут изменять длинный список недокументированных настроек. Большинство из них довольно безобидны — например, управление темным режимом. Тем не менее, одна из настроек оказалась совсем не безобидной: она позволяла процессам изменять конечную точку, где происходит транскрипция. В штатном режиме это адрес сервера, управляемого Meta.
Злоумышленники могли бы воспользоваться этой уязвимостью, изменив местоположение на собственный эндпоинт. Если бы это произошло, в распоряжении злоумышленников оказался бы токен, предоставляющий полный контроль над учетной записью Muse.
«Мы можем манипулировать агентом и использовать его привилегии для выполнения любых действий, которые захотим, — рассказал Патрик Уордл (Patrick Wardle), эксперт по безопасности macOS, обнаруживший уязвимость нулевого дня, в интервью Ars перед выпуском исправления. — Таким образом, вместо того чтобы писать очень комплексный малварь-стилер для Mac, мы можем просто задействовать самого ИИ-ассистента».
Уордл сообщил, что разработал несколько концептуальных атак (proof-of-concept), выполняющих такие действия, как запись вредоносных файлов на диск и создание снимков, во многих случаях вообще без каких-либо индикаторов для бдительного пользователя.
Более чем через 12 часов после публикации этой информации компания Meta заявила, что выпустила исправление (hotfix), устраняющее уязвимость нулевого дня. За последние две недели Meta опубликовала два поста, в которых задокументировала конструктивные решения, призванные обеспечить безопасность и конфиденциальность ассистента, обладающего столь исключительным доступом к пользовательским данным и ресурсам. Эти публикации появились на фоне откровений о том, что внутреннее тестирование моделей от Anthropic и Google привело к нарушениям безопасности внешних сторонних сетей, на которые инженеры изначально не планировали совершать атаки. При традиционном хакинге силами только людей подобные действия вполне могли бы повлечь за собой возбуждение уголовных дел. Посты Meta, вероятнее всего, учитывают последовавшую негативную реакцию и призывы замедлить разработку искусственного интеллекта в ответ на инциденты.
Конструктивные недостатки и реакция рынка
По словам Уордла, разработчики Meta приняли несколько архитектурных решений, которые сделали возможным его эксплойт. Одно из них — выбор в пользу того, чтобы диктовка для Muse происходила в облаке, где Meta может ее регистрировать. При этом macOS уже давно предоставляет простой способ для приложений обрабатывать диктовку и транскрипцию в рамках процессов, которые надежно остаются на самом устройстве. Если бы разработчики выбрали эту более безопасную альтернативу, атака была бы невозможна.
Другое ошибочное решение заключается в том, чтобы любое приложение могло управлять всеми недокументированными настройками. Вероятно, Meta предполагала, что приложения, работающие с Muse, будут контролировать настройки пользовательского интерфейса по вполне понятным причинам. Но способность любого приложения или команды контролировать конечную точку, где обрабатывается конфиденциальная речь пользователя — это совершенно другой вопрос.
В совокупности эти проектные решения вызывают вопросы о том, сколько именно усилий разработчики вложили в проектирование и тестирование безопасности и конфиденциальности нового ассистента.
«По моему мнению, планка безопасности для таких приложений бесконечно выше. Они не обязаны быть идеальными, но когда смотришь на Muse, складывается впечатление, что о безопасности там даже не думали, и это действительно вызывает тревогу, — заявил Уордл. — По меньшей мере, они должны были думать о безопасности с самого начала, а они просто этого не делают».
Примерно за 12 часов до того, как Уордл обнародовал уязвимость нулевого дня, компания Amazon начала блокировать пользователям возможность использовать Muse для совершения покупок на своем сайте.
Реакция Amazon на Muse и киберугрозы, связанные с уязвимостью
Пользователи, которые попытались воспользоваться Muse, получили сообщение о том, что этот ИИ-агент является «неавторизованным ИИ-агентом, который нарушает Условия использования Amazon». В направленном по электронной почте заявлении Amazon отметила, что сторонние приложения, предлагающие совершать покупки от имени клиентов в других компаниях, должны работать открыто и уважать решения поставщиков услуг об участии или неучастии. По мнению компании, это помогает обеспечить безопасный, надежный и качественный клиентский опыт. Именно так работают другие сервисы, включая приложения доставки еды и рестораны, в которых они принимают заказы, приложения служб доставки и магазины, в которых они совершают покупки, а также онлайн-туристические агентства и авиакомпании, у которых они бронируют билеты для клиентов.
Агентные сторонние приложения, такие как Muse, имеют те же обязательства, и Amazon попросила Meta удалить Amazon из этого сервиса.
Механизмы атак и сценарии взлома
Существует несколько способов реализации подобных атак. Один из них заключается в том, что сервер злоумышленника действует в качестве прокси-сервера, размещенного между пользователем Muse и конечной точкой Meta. Как только пользователь вводит голосовую подсказку (промпт), сервер злоумышленника добавляет команду, вызывающую вредоносную инструкцию — например, отправку архива всех сообщений WhatsApp злоумышленнику. После этого злоумышленник получает постоянный контроль над учетной записью Muse, поскольку токен также автоматически отправляется на вредоносный сервер.
Исследования Патрика Уордла и конференция Objective by the Sea
Уордл является создателем Objective-See Foundation, некоммерческой организации, занимающейся безопасностью macOS. Он также написал серию книг The Art of Mac Malware и ранее работал в NASA и Агентстве национальной безопасности (NSA). Уордл сообщил, что планирует обсудить эту уязвимость более подробно, а также другие угрозы со стороны ИИ-ассистентов на конференции по безопасности Objective by the Sea в ноябре.
Один из контраргументов разработчиков приложений, которые могут быть взломаны при компрометации устройства, заключается в том, что в таком случае все гарантии безопасности отменяются. Однако этот стандарт не вполне применим в данном конкретном случае. Уордл обнаружил, что для получения злоумышленником контроля над аккаунтом Muse требуется лишь простое варьирование атаки ClickFix — метода, который стал чрезвычайно эффективным в обмане людей с целью заражения их устройств.
Уордл продемонстрировал использование простой команды терминала для незаметной отправки подсказки конечной точке Meta, что вызвало ответную реакцию. Чтобы предотвратить копирование и вставку подсказки злоумышленниками в ходе реальных атак, подсказка Уордла спрашивала лишь о том, как такое может исходить от непривилегированного злоумышленника. Muse некорректно ответила, что подобное действие невозможно.
Критика в адрес Meta и оценка безопасности ИИ-агентов
Заявление Meta, поступившее с 12-часовым опозданием, удобно обошло молчанием то, насколько легко атаки ClickFix обеспечивают запуск эксплойтов — сценарий, который автор специально просил компанию прокомментировать. В заявлении Meta утверждалось, что нулевой день (0-day) «не является удаленным эксплойтом», хотя набирающее популярность мошенничество с использованием методов социальной инженерии имеет точно такой же эффект. Meta также никак не признала тот факт, что уязвимость разрушила архитектуру безопасности, на создание которой Apple потратила годы.
Meta до сих пор не объяснила, почему она использовала облачную транскрипцию вместо встроенной в macOS функции, работающей на самом устройстве. Как уже отмечалось, колоссальный уровень доступа, необходимый Muse для нормальной работы, накладывает дополнительную нагрузку на ее разработчиков. Как и большинство подобных ИИ-агентов — и вопреки утверждениям Meta — Muse доверять нельзя. По сей день остается неясным, когда именно и станет ли это возможным вообще.
Эта статья изначально была опубликована на сайте Ars Technica.
