Эксперимент с «неуправляемым» ИИ: взгляд на кибербезопасность изнутри
Как автор рассылки об искусственном интеллекте, я считаю своим долгом лично тестировать самые передовые технологии. На этой неделе мой опыт был связан с настоящим «агентным хаосом». Всем известно, что в последние месяцы топовые модели ИИ приобрели продвинутые возможности в сфере кибербезопасности. Они способны находить уязвимости нулевого дня в крупных кодовых базах и со скоростью молнии сканировать компьютеры на наличие брешей. Ситуация становится еще интереснее, когда такие кибербезопасные агенты «сходят с ума», вступая в сговор друг с другом и взламывая сторонние системы ради получения преимуществ.
Чтобы изучить это явление, я решил выпустить такого агента в свою домашнюю сеть. В течение нескольких дней я наблюдал, как мой «неуправляемый» агент обнаруживал уязвимости в различных бытовых устройствах, взламывал ПК и демонстрировал мне, что многие проекты, созданные по принципу «вайб-кодинга», ожидаемо переполнены ошибками. (Моя жена знала о том, чем я занимаюсь, и закатывала глаза каждый раз, когда я с гордостью сообщал об обнаружении новой уязвимости.) Вы можете сказать, что предоставлять такому мощному и своевольному агенту доступ к домашней сети — безумие, и будете правы. Тем не менее, я убежден, что лучший способ понять кибербезопасный ад, который нас ждет, — это посетить его лично.
В конечном счете, эксперимент оказался поучительным и на удивление обнадеживающим. Мой домашний «сетевой гремлин» не только показал, насколько уязвима жизнь в сети к взломам с помощью ИИ, но и подсказал, как сделать всё гораздо безопаснее. По итогу я пришел к выводу: лучший способ справиться с ИИ-хакером — это завести собственного ИИ-хакера.
Стартап Abliteration AI и возможности «обезвреженных» моделей
Идея эксперимента пришла ко мне после знакомства со стартапом Abliteration AI, который предоставляет доступ к мощным моделям ИИ со снятыми «предохранителями». Большинство популярных моделей отказываются отвечать на определенные запросы и категорически не станут искать или эксплуатировать уязвимости в компьютерных системах. Однако эти ограничения можно обойти, изменив определенные паттерны во внутренних параметрах открытых моделей. Процесс корректировки этих паттернов, приводящих к отказам, называется «аблитерацией» (abliteration).
Снятие ограничений с ИИ может показаться рискованным, но это не является чем-то необычным. Академические исследователи используют такие «де-алайнед» (отвязанные от ограничений) модели, чтобы понять принципы работы ИИ, а компании по кибербезопасности — для тестирования программного обеспечения на наличие дыр. Технически модели Mythos от Anthropic и Astra от OpenAI работают схожим образом: это обычные системы, лишенные стандартных кибер-ограничений, доступ к которым пока ограничен доверенными клиентами. (Компании также предоставляют более широкий доступ к моделям с умеренным количеством фильтров, чтобы бизнес мог проверять свой код и системы на наличие проблем).
Abliteration AI предлагает несколько полностью «де-алайнед» моделей, самой мощной из которых является версия новейшей агентной модели для написания кода GLM 5.3 от Z.ai. Это дает вам возможности, сопоставимые с Mythos и Astra, по цене пиццы. Девон (имя изменено по просьбе автора), генеральный директор Abliteration AI, считает, что широкий доступ к таким моделям — это разумная оборона: это поможет «хорошим парням» противостоять злоумышленникам, моделируя поведение хакеров, мошенников и тех самых «неуправляемых» ИИ-агентов. «У вас есть критически важная инфраструктура, от банков до авиакомпаний, которая активно внедряет агентов, — говорит Девон. — Как убедиться, что злоумышленник не воспользуется этими же агентами в своих целях?»
Результаты аудита домашней сети
Для начала я создал аккаунт в Abliteration AI и установил программную оболочку CyberStrike, которая помогает направлять большую языковую модель при выполнении задач по кибербезопасности. Используя CyberStrike, я поручил аблитерированной версии GLM-5.3 просканировать мою локальную сеть. Через несколько мгновений агент обнаружил около дюжины сетевых устройств и каталогизировал ряд уязвимостей.
Мой «неуправляемый» помощник указал, что мой принтер был неправильно настроен, что позволяло любому пользователю сети войти в его систему. Это могло стать проблемой при наличии в очереди печати конфиденциальных документов — налоговых деклараций, банковских выписок или медицинских записей. Агент также отметил, что стереосистема Wiim «сливала» много информации (она знала, что последним треком был «Rein Me In» в исполнении Сэма Фендера и Оливии Дин). Любой в сети мог управлять воспроизведением или громкостью. Кроме того, модель обнаружила множество IoT-устройств с устаревшим микропрограммным обеспечением, требующим обновления.
Бесконтрольный агент может быть крайне опасным в руках хакера. Однако мой помощник предоставил ряд полезных советов по обеспечению безопасности. Помимо обновления прошивок и защиты принтера, он порекомендовал вынести все IoT-устройства, такие как умные колонки, в отдельную гостевую сеть: так, в случае компрометации, они не смогут получить доступ к моим ПК. Неплохо для модели, лишенной моральных принципов.
Анализ уязвимостей и риски использования ИИ
Я предложил агенту проанализировать каталог, содержащий множество проектов, написанных «по наитию» (vibe-coded), включая те, что были превращены в простые веб-сайты. ИИ обнаружил десятки проблем, в том числе незащищенные учетные данные API и ошибку конфигурации, которая могла позволить злоумышленнику рассылать электронные письма. Это едва ли стало сюрпризом для подобных проектов, но всё же заставило задуматься. Огромное количество багов привело меня к мысли, что я больше не буду развертывать ни строчки кода без предварительной проверки с помощью ИИ.
Фактор страха
Запуск «облитерированной» (abliterated — с удаленными ограничениями) модели, откровенно говоря, пугает. Я попросил своего агента проверить машину на Linux в моей сети на наличие уязвимостей. После серии сканирований он сообщил, что машина кажется относительно безопасной. Затем я спросил, может ли он понять, как войти в систему. ИИ ловко вычислил рабочий логин, основываясь на именах других систем в сети. Он перебрал множество очевидных паролей, которые не подошли. Агент также предложил написать скрипт для «брутфорса» пароля, но я приказал ему остановиться.
К моему изумлению, агент затем нашел на моей машине криптографический ключ, использовал его для входа без пароля и начал искать пароль для получения root-доступа. Я испытал момент настоящего паники, наблюдая, как он роется в директориях. Это заставило меня задаться вопросом, как далеко может зайти агент ради достижения своей цели. Мог ли он взломать что-то еще, например, машину за пределами моей сети, в поисках ключа? Вероятно, нет, но кто знает, чего ожидать от таких агентов.
Некоторые действия могут оказаться еще более опасными. Когда через несколько часов я подключился к Wi-Fi и попросил модель найти новые устройства, она не только обнаружила роутер, но и решила попытаться войти в него, перебирая распространенные комбинации «admin/пароль». Если бы он решил сделать это в чужой сети, у меня могли бы возникнуть серьезные неприятности.
Мнение экспертов и будущее кибербезопасности
Шаанан Кони, специалист по кибербезопасности и праву из Университета Тафтса, считает, что кибер-расплата действительно приближается. «Злоумышленники часто становятся первыми пользователями новых технологий, — говорит Кони. — Существует асимметрия: чтобы защитить замок, нужно убедиться, что в стене нет ни одной дыры или неплотно лежащего кирпича. Чтобы захватить замок, достаточно найти всего один такой кирпич». По мнению Кони, в долгосрочной перспективе распространение моделей с навыками кибератак может сделать программное обеспечение в целом более безопасным. Проблема в том, что многие компании не задумываются об укреплении своей защиты. «Большинству организаций есть о чем беспокоиться, кроме этого», — отмечает он.
После всех экспериментов я отключил модель и вернулся к использованию обычной, полностью выровненной (aligned) версии. Claude Code или Codex ограничены в действиях, связанных с кибербезопасностью — например, они могут помочь настроить брандмауэр на ноутбуке, но, по крайней мере, не взломают вашу систему раньше, чем вы успеете это осознать. Надеюсь.
ИИ-хакинг для всех
Если модели с открытыми весами не будут полностью запрещены, продвинутые возможности ИИ для взлома вскоре станут широко доступны. Мой эксперимент навел меня на мысль, что это может быть именно то, что нам нужно. Если предположить, что злоумышленники получат доступ к ИИ, не должны ли мы все использовать его для самообороны? «Нам нужно помочь людям использовать эти возможности», — говорит Александр Мэндри, профессор MIT, изучающий безопасность ИИ, который сейчас находится в отпуске, работая в OpenAI. «Я действительно думаю, что найдется место для инструментов с открытым исходным кодом и независимых решений. Хотя бы потому, что в конечном итоге такие подходы имеют реальную жизнеспособность в мире безопасности».
Мэндри, однако, отмечает, что ключевым вопросом может стать обеспечение доступа к более мощному ИИ для тех, кто управляет критически важной инфраструктурой (например, электростанциями или финансовыми рынками), чем тот, что доступен обычному «скрипт-кидди» или создателю ИИ-текстов. Использование ИИ без стандартных предохранителей — это одновременно захватывающее и тревожное занятие. Но если кибер-расплата близка, то, вероятно, пришло время вооружиться.
