LeWorldModel (LeWM) — это новая архитектура, представленная Яном Лекуном и его командой, которая стала важным шагом к созданию полноценных моделей мира. Ян Лекун, авторитетный эксперт в сфере искусственного интеллекта, предложил концепцию Joint Embedding Predictive Architecture (JEPA) как альтернативу привычному обучению нейросетей. В отличие от систем, которые пытаются угадать каждый пиксель или токен, JEPA сфокусирована на «понимании сути данных». Это приближает модель к реальному осознанию физических законов и логических связей.
Ранее у разработчиков JEPA возникали проблемы: модели часто «схлопывались», теряя способность адекватно описывать структуру реальности. Теперь же команда Лекуна представила стабильную версию JEPA, работающую в сквозном режиме прямо на основе необработанных пикселей. Модель LeWorldModel обладает параметризацией всего в 15 миллионов единиц. Ее устойчивость обеспечивает уникальный регуляризатор SIGReg, который удерживает латентные представления в рамках изотропного гауссовского распределения.
Архитектура LeWorldModel
Система LeWM состоит из двух ключевых узлов: энкодера и предиктора:
- Энкодер (на базе архитектуры Vision Transformer) сжимает входящие кадры в компактные латентные представления.
- Предиктор (на базе трансформера) моделирует динамику среды, предсказывая последующие состояния на основе текущих данных и совершенных действий.
Благодаря малым размерам (15 млн параметров) модель демонстрирует высокую вычислительную эффективность.
Анимация сгенерирована: Ray3.14
Производительность и планирование
В задачах на управление LeWM показала отличные результаты: успех в тестах PushT составил 96%, а в задачах Reacher — 86%.
| Задача | Описание | Результат |
|---|---|---|
| PushT | Перемещение объектов к целям с учетом физики | 96% |
| Reacher | Манипуляция роботом для касания точки | 86% |
Кроме того, LeWM планирует действия до 48 раз быстрее, чем аналоги на базе фундаментных сетей (например, DINO-WM), что достигается за счет компактности данных.
Физическая интерпретация и перспективы
Ключевой особенностью LeWM стало формирование пространства, кодирующего значимые физические параметры. Модель способна выявлять физически абсурдные события, такие как телепортация объектов, с помощью механизма «оценки неожиданности». Это позволяет системе точно извлекать координаты и характеристики объектов.
Хотя текущая версия модели может испытывать сложности в простых средах с низкой вариативностью, её стабильность и малые требования к ресурсам делают её перспективной для автономных систем. Будущие разработки, вероятно, будут сфокусированы на иерархическом моделировании мира для планирования на длинных дистанциях.
LeWorldModel задает новый стандарт для предсказательных моделей, открывая путь к созданию ИИ, способного обучаться на «сырых» данных и принимать взвешенные решения в режиме реального времени.
