Современные ИИ-ассистенты уверенно пишут код, анализируют сложную документацию и поддерживают длительные диалоги, однако их внутренняя память зачастую работает гораздо хуже, чем принято считать. К такому выводу пришел независимый исследователь Джеффри Флинт (Jeffrey Flynt) из Техасского университета.
По мнению автора работы, индустрия столкнулась с системной проблемой. Большинство популярных решений для долговременной памяти больших языковых моделей опираются на векторный поиск: модель сохраняет информацию в виде математических векторов, а затем ищет данные на основе семантического сходства. Этот механизм отлично подходит для поиска похожих по смыслу текстов, но оказывается крайне не надежным, когда требуется безошибочно извлечь один конкретный факт.
Флинт утверждает, что существующие бенчмарки создают ложное ощущение качества. Обычно тесты оценивают исключительно итоговый ответ модели, а не состояние самой памяти. Сама языковая модель способна маскировать огрехи поиска за счет собственной эрудиции и логики, поэтому сбои остаются незаметными. Однако если эти же данные передаются не генератору текста, а автоматическому API, инструментам настройки инфраструктуры или автономному ИИ-агенту, цена ошибки резко возрастает.
Для наглядной демонстрации проблемы исследователь разработал PrecisionMemBench — первый специализированный бенчмарк, измеряющий исключительно точность извлечения фактов и отделяющий работу памяти от общих генеративных навыков модели.
Результаты оказались шокирующими. У популярных платформ вроде Mem0, Zep и Hindsight точность поиска нужного факта в ряде тестовых сценариев составляла всего 5–8%. Фактически система находила корректную информацию лишь в одном случае из двадцати, а все остальное пространство заполнял «семантический шум» — близкие по теме, но совершенно посторонние данные.
Изображение сгенерировано: Nano Banana
Чтобы исправить этот недостаток, исследователь представил экспериментальный проект Tenure. Его главная концепция заключается в переходе от поисковой парадигмы к управлению состоянием.
Вместо хранения размытых смысловых образов Tenure задействует структурированное хранилище «убеждений» (beliefs). Каждый сохраненный элемент представляет собой четкий факт с фиксированным типом, областью действия, маркером актуальности и пояснением, почему эти данные важны. Система самостоятельно отслеживает устаревшие сведения, своевременно заменяет их актуальными версиями и предотвращает смешение информации между разными пользователями или проектами.
Особый упор делается на буквальное совпадение терминологии. Если пользователь зафиксировал в системе, что инфраструктура работает на базе СУБД Redis, то память должна вернуть именно Redis, а не случайный набор смежных технологий вроде MongoDB, PostgreSQL или Kubernetes. Ради этого создатели Tenure отказались от векторного поиска в пользу классических алгоритмов информационного поиска, завязанных на точное сопоставление терминов.
В ходе одного из тестов проверялась способность извлечь связь между сервисом авторизации и Redis. Векторные системы выдавали правильный ответ в окружении шестнадцати нерелевантных записей, демонстрируя точность на уровне 0,056. В то же время Tenure извлекала исключительно нужные сведения, достигая идеального показателя 1,0.
Не менее важным достижением стало полное устранение дрейфа контекста. В традиционных архитектурах данные из прошлых диалогов со временем начинают просачиваться в новые задачи. Благодаря жесткой изоляции контекстов в Tenure сведения из одного проекта никогда не попадают в другой, а уровень перекрестного дрейфа в тестах составил ровно ноль.
Как отмечает автор, эта уязвимость становится критической по мере того, как индустрия смещается от простых чат-ботов к автономным агентам. Если ИИ самостоятельно управляет серверами, пишет код или выполняет длинные цепочки действий без участия оператора, любая неточность в памяти может спровоцировать каскад фатальных решений.
Новое исследование ставит под вопрос безусловный авторитет векторного поиска в качестве универсального инструмента. Вместо того чтобы имитировать человеческие ассоциации, исследователь предлагает вернуться к строгому инженерному подходу, где абсолютная точность ценится выше размытой семантической близости.
Если предложенная архитектура докажет свою надежность в коммерческих продуктах, подход к организации памяти для искусственного интеллекта может кардинально измениться. В эпоху автономных агентов умение безошибочно помнить ключевые факты оказывается гораздо важнее способности красноречиво рассуждать о них.
