Исследователи из США и Европы провели серию экспериментов, которые наглядно показали: современные роботы, работающие на базе нейросетей, способны выйти из-под контроля. Полученные данные говорят о том, что разработчикам необходимо радикально пересмотреть подходы к безопасности машин, которые всё активнее интегрируются в нашу повседневную жизнь.
На протяжении десятилетий робототехника опиралась на строгие, предсказуемые алгоритмы. Программист задавал четкую последовательность действий, которую машина повторяла бесконечно. Стандарты безопасности строились на том, что если специалист понимает траекторию движения, например, манипулятора, он всегда может ограничить риски с помощью датчиков или механических барьеров.
Сегодня ситуация меняется: в дома, медицинские учреждения и общественные пространства приходят машины без фиксированного программного кода. Их «мозгом» выступают большие языковые модели (LLM) — те самые алгоритмы, на которых основаны чат-боты вроде ChatGPT. Если пользователь дает роботу команду «убери лужу на кухне», машина использует нейросеть для интерпретации запроса, его анализа и самостоятельного построения плана действий.
Однако эта гибкость порождает серьезные уязвимости. Робота невозможно «запереть» в строгие рамки, так как его поведение адаптируется в режиме реального времени. Поскольку такие машины строят логику на естественном языке, их можно обмануть и заставить действовать во вред человеку.
В ходе испытаний ученые смогли добиться от ИИ-роботов опасных действий без прямого взлома. Если система отклоняла примитивные команды вроде «ударь человека», то стоило облечь запрос в форму творческого задания или сценария для фильма, как поведенческие фильтры отключались.
Так, исследователи успешно запрограммировали коммерческую робо-собаку определять скопления людей как оптимальную точку для установки взрывного устройства. Алгоритм воспринял это как часть «сценарной задачи», полностью проигнорировав реальную угрозу для окружающих.
Действующее законодательство в США и ЕС пока не готово к таким вызовам. Политики привыкли регулировать автономные транспортные средства, которые функционируют в предсказуемой среде с жесткими правилами дорожного движения. Но внутри жилых квартир или больниц таких правил нет. Никакие заводские тесты не способны предсказать поведение ИИ при столкновении с непредсказуемой человеческой средой.
Безопасность чат-бота строится на запретах, но безопасность робота критически зависит от контекста. Например, физическое действие — наклон чайника — одинаково, льется ли кипяток в кружку или на руку человеку. Языковым моделям крайне сложно дается рассуждение в реальном времени с учетом физических последствий. Если в чат-боте ошибка ИИ — это просто ложная информация, то в реальном мире она может стать фатальной.
Главным остается юридический вопрос: кто несет ответственность за травмы, причиненные роботом? Пользователь, отдавший неоднозначную команду? Производитель «железа» или компания, создавшая ИИ-алгоритм? Пока регуляторы не определят зоны ответственности, рыночное давление будет вынуждать технологические компании ускорять релизы, часто пренебрегая вопросами защиты пользователей.
