Разработчики OpenAI интегрировали в новую модель Astra метод рассуждений под названием «рекуррентная глубина», также известный как «непрозрачная рекурсия». Согласно отчету The Information, эта технология позволяет модели выходить за рамки последовательного мышления, характерного для большинства современных систем искусственного интеллекта. Подобный подход вызвал серьезную обеспокоенность среди экспертов в области безопасности ИИ, так как он делает процесс формирования мыслей нейросетью менее прозрачным для внешнего мониторинга.
Проблемы контроля цепочки рассуждений
В обычных условиях модель предоставляет «цепочку рассуждений» (Chain of Thought), которая наглядно демонстрирует последовательность шагов, предпринятых для решения задачи. Хотя такая запись не является совершенной, она служит ключевым инструментом для выявления ошибок, нежелательного поведения или сбоев в работе алгоритмов. Например, в недавних инцидентах с участием автономных агентов OpenAI именно анализ цепочек мыслей помог специалистам разобраться в причинах их действий.
При использовании «непрозрачной рекурсии» модель обрабатывает один и тот же запрос несколько раз в циклическом режиме. В результате система оставляет меньше читаемых следов, фактически обходя привычную процедуру регистрации этапов мышления. Генеральный директор Redwood Бак Шлегерис выразил крайнюю озабоченность этим фактом, отметив, что если OpenAI продолжит масштабировать данный метод, компания получит возможность радикально снизить возможности мониторинга за ходом рассуждений своих моделей.
Реакция индустрии и позиция OpenAI
Эксперт по безопасности ИИ Цви Мошовиц сравнил использование данной техники с игрой с огнем. По его словам, это может разрушить табу, которое OpenAI и Anthropic старались поддерживать, сохраняя верность и контролируемость цепочки рассуждений. Он также допустил, что для предотвращения «гонки на выживание» среди разработчиков ИИ могут потребоваться законодательные ограничения.
В ответ на критику представители OpenAI заявили, что применение «непрозрачной рекурсии» в Astra на текущий момент ограничено. В компании подчеркивают, что цепочка рассуждений модели остается читаемой, а отказ от прозрачности в пользу «нейролиза» (непонятного внутреннего языка модели) не планируется. Главный научный сотрудник OpenAI Якуб Пачоцки в социальной сети X подтвердил приверженность лаборатории созданию прозрачных систем мониторинга, отметив, что все модели ИИ в той или иной степени используют скрытые рассуждения, но это не отменяет важности логов для разработчиков.
Риски дальнейшего развития технологий
Озабоченность разделяют и другие игроки рынка. По данным The Information, компании Anthropic и Google DeepMind уже начали обсуждать потенциальные последствия внедрения этой методики. Райан Гринблатт, главный научный сотрудник Redwood Research, опасается, что непрозрачные рассуждения могут масштабироваться быстрее, чем традиционные цепочки мыслей, что в конечном итоге переведет все процессы нейросети в скрытое латентное пространство.
Гринблатт выразил надежду, что индустрия еще может отказаться от наиболее спорных архитектурных решений, пока использование «непрозрачной рекурсии» не стало повсеместным стандартом, полностью исключающим возможность внешнего контроля за логикой работы современных нейросетей.
Технические риски и перспективы мониторинга
Специалисты указывают на то, что использование «непрозрачной рекурсии» представляет собой серьезный вызов для безопасности. Главная опасность заключается в том, что по мере роста популярности данного метода, разработчикам станет всё сложнее интерпретировать поведение ИИ. Как подчеркнул Райан Гринблатт из Redwood Research, существует вполне реальная угроза того, что прогресс в этой области приведет к архитектурам, которые будут проводить рассуждения полностью или почти полностью в латентном пространстве. Это фактически устранит все логические выводы из наблюдаемых каналов.
Несмотря на текущие заверения OpenAI, эксперты призывают к осторожности. Бак Шлегерис в своем заявлении отметил, что даже если на данный момент степень непрозрачности Astra вызывает вопросы, потенциальное масштабирование рекурсии способно полностью уничтожить возможность мониторинга цепочек рассуждений (CoT). Цви Мошовиц вторит ему, указывая, что интенсивное использование подобных техник неизбежно приведет к деградации контроля, что противоречит долгосрочным усилиям индустрии по поддержанию верности и прозрачности логических цепочек моделей.
Важно учитывать, что вопрос мониторинга остается фундаментальным для текущей исследовательской программы OpenAI. Якуб Пачоцки напомнил, что компания работала над сохранением и использованием инструментов наблюдения за цепочками рассуждений с момента выпуска самых первых моделей. Впрочем, исследователи признают, что ни одна система логов не является идеальным представлением внутренних процессов нейросети — все модели в той или иной мере прибегают к элементам скрытого мышления. Тем не менее, переход к методам, которые принципиально затрудняют внешний аудит, рассматривается специалистами как «игра с огнем», требующая не только технических решений, но, возможно, и нормативного регулирования, чтобы предотвратить опасную «гонку на выживание» среди разработчиков ИИ.
