Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания видеоконтента, который строго следует законам физики. Эта разработка призвана ускорить развитие систем Physical AI, включая промышленную робототехнику и программное обеспечение для беспилотного транспорта.
В фундамент новой технологии легла модель Kandinsky 5.0 Video Lite. Разработчики дополнительно обучили её на огромном массиве данных, включающем миллионы видеозаписей с камер реальных промышленных роботов и беспилотных автомобилей. Такой подход позволяет нейросети генерировать реалистичные ролики, имитирующие редкие, опасные или технически сложные ситуации, которые трудно воспроизвести в полевых условиях. Использование подобных синтетических данных позволяет значительно сократить расходы на сбор информации и ускорить процесс обучения автономных систем.
Особенности генерации контента
Система создает видеоролики длительностью около пяти секунд. В них воспроизводятся различные сценарии: от простых манипуляций с объектами до сложных производственных операций и ситуаций на дорогах. Чтобы добиться высокой достоверности, специалисты Сбера применили методы обучения с подкреплением. Это позволило существенно улучшить качество передачи движений, геометрию объектов и корректность физических взаимодействий между ними.
Разработчики отмечают, что текущие возможности Kandinsky WM 1.0 позволяют использовать сгенерированные данные для создания «цифровых двойников» процессов в различных отраслях промышленности.
Доступность и практическое применение
На сегодняшний день исходный код и веса моделей Kandinsky WM 1.0 находятся в открытом доступе по лицензии MIT. Проект уже активно используется Центром робототехники Сбера и специалистами института AIRI. Основные задачи включают подготовку алгоритмов для манипуляторов и развитие продвинутых симуляторов для управления беспилотным транспортом.
