Разработчики AMD представили результаты исследований в области нейронного рендеринга, который может стать частью будущих графических технологий компании. В опубликованной научной работе под названием «Temporally stable generative illumination with a one-step diffusion model» специалисты описывают метод генерации глобального освещения в реальном времени с использованием технологий искусственного интеллекта. Подобные разработки рассматриваются как элемент стратегии AMD по внедрению нейронных вычислений в видеокарты Radeon и игровые консоли, о чем ранее упоминалось в контексте анонса пакета технологий FSR Diamond.
Принципы работы нейронного глобального освещения
Глобальное освещение, отвечающее за естественное отражение света от объектов, является наиболее ресурсоемкой частью процесса визуализации. Исследователи AMD предложили заменить традиционные вычислительные методы, такие как трассировка путей, на решение задачи через генерацию изображений. Используемая компанией одношаговая диффузионная модель преобразует «зашумленное» изображение в качественное за один цикл, опираясь на детали и освещенность сцены. В качестве основы для «подсказки» модели выступает кадр с прямым освещением — светом, идущим от источника напрямую к объекту без отражений.
Для обучения модели специалисты создали синтетический набор данных, включающий 31 000 кадров интерьерных сцен, визуализированных в Blender Cycles. В сценах присутствовало от 1 до 30 источников света, а сами объекты могли перемещаться. Обучение проводилось на графических процессорах AMD Instinct MI210 в течение 50 прогонов по всему массиву данных. Чтобы нейросеть фокусировалась именно на аспектах освещения, а не на других графических деталях, исследователи подавали на вход сигналы яркости, материалов и геометрии.
Обеспечение стабильности и производительности рендеринга
Одной из главных проблем нейронных моделей при покадровой генерации является нестабильность результата, приводящая к мерцанию. Для решения этой задачи команда AMD применила временной вариационный автокодировщик (TVAE). Эта система использует векторы движения для сопоставления текущего кадра с предыдущими, сохраняя историю вывода, что позволяет добиться визуальной согласованности освещения во времени.
По словам соавтора работы Сонг-Е Кима, представленный метод позволяет восстанавливать мягкие тени и отраженный свет, в отличие от альтернативных разработок, которые могут искажать геометрию или генерировать несуществующие объекты. Итоговое изображение объединяется с исходным кадром, где присутствует только прямое освещение, что позволяет сгладить возможные ошибки генерации.
Текущие показатели и перспективы применения
На текущем этапе исследований технология демонстрирует следующие характеристики производительности:
- Скорость генерации составляет примерно 3,45 кадра в секунду (0,29 секунды на кадр) при разрешении 512 x 512 пикселей.
- Для работы процесса требуется около 8–9 ГБ видеопамяти.
- Тестирование проводилось на видеокарте RTX 3090.
Эти показатели свидетельствуют о том, что технология находится на ранней стадии разработки и требует значительной оптимизации для использования в современных играх. Тем не менее, данное исследование является частью масштабного плана AMD, включающего развитие FSR Diamond. В этот пакет технологий, помимо нейронного освещения, входят улучшенное масштабирование на базе машинного обучения, многокадровая генерация и регенерация лучей. Хотя AMD официально не связывала эту научную работу с конкретными продуктами, игровое сообщество и аналитики, включая инсайдеров, ожидают появления подобных нейронных функций в ближайшем будущем.
Технические детали и особенности процесса обучения
В своей видеопрезентации Сонг-Е Ким, один из авторов научной работы, подчеркнул: «В нашей работе мы пытаемся решить задачу глобального освещения как проблему генерации изображений». Выбор диффузионной модели Stable Diffusion 2.1 Turbo в качестве базы обусловлен необходимостью высокой скорости работы. В отличие от стандартных диффузионных моделей, которые обрабатывают изображение через множество итераций с удалением шума, предложенный метод осуществляет генерацию всего за один шаг.
Для достижения высокого качества и корректной работы с геометрией, модель использует специально подготовленные сигналы: данные о разреженном освещении, яркости (радиации), свойствах материалов и геометрии сцены. Такой подход позволяет «держать генерацию в рамках», предотвращая появление артефактов, не соответствующих структуре сцены. Важно отметить, что процесс обучения был весьма интенсивным: модель прогнали через весь набор из 31 000 кадров 50 раз, используя вычислительные мощности ускорителей AMD Instinct MI210.
Сравнение с конкурентами и вызовы индустрии
Сонг-Е Ким также провел сравнение с существующими аналогами, такими как RGB↔X и DiffusionRenderer. По его словам, эти решения страдают от серьезных недостатков: RGB↔X часто «галлюцинирует», добавляя контент, которого нет в исходной сцене, а DiffusionRenderer склонен искажать геометрию объектов. Метод AMD, напротив, позволяет корректно восстановить мягкие тени и свет, отраженный от поверхностей, сохраняя целостность сцены.
Тем не менее, перед разработчиками стоит серьезная задача: то, как компания будет преподносить подобные технологии игрокам, станет ключевым моментом. Команда AMD внимательно следит за реакцией индустрии на аналогичные инициативы конкурентов — например, за неоднозначным анонсом DLSS 5 от Nvidia, который вызвал волну критики и вынудил производителя пересматривать позиционирование технологии, делая упор на инструментарий для разработчиков, а не на маркетинговые термины.
Перспективы интеграции
На текущем этапе нейронное освещение — это лишь один из этапов рендеринга, а не полный конвейер визуализации. Требование 8–9 ГБ видеопамяти и текущая производительность в 3,45 FPS на мощной видеокарте RTX 3090 показывают, что технология требует значительной оптимизации, прежде чем она сможет стать частью игрового процесса.
Однако развитие нейронного рендеринга уже не является эксклюзивной прерогативой Nvidia. Слухи о внедрении нейронного освещения в продукты AMD уже начали распространяться в профильных сообществах, например, через инсайдера Kepler_L2 на форумах Anandtech. Остается открытым вопрос, является ли текущая научная работа прямым прототипом будущих функций FSR Diamond или лишь фундаментом для дальнейших разработок. В любом случае, переход к использованию ИИ для имитации глобального освещения — это амбициозный шаг, направленный на обход ресурсоемких техник вроде классической трассировки путей (path tracing), что может существенно изменить облик графики в будущем.
