Домой ИИ и технологии Разработчик портировал нейрорендеринг DLSS 5 на встроенную графику Intel Arc 140V

Разработчик портировал нейрорендеринг DLSS 5 на встроенную графику Intel Arc 140V

Энтузиаст с ником Uzbekunknown перенес технологию нейрорендеринга NVIDIA DLSS 5 на интегрированную графику Intel Arc 140V, используя возможности ИИ для написания кода.

9
0

Новый проект под названием dlss-nr-on-intel, опубликованный на GitHub, представляет собой попытку портировать технологию нейронного рендеринга NVIDIA DLSS 5 на архитектуру Intel Xe. Автор разработки, известный под псевдонимом Uzbekunknown, сфокусировался на адаптации решения для интегрированной графики Intel Arc 140V в составе системы Lunar Lake. Результаты показывают, что технология успешно функционирует и выдает изображения, сопоставимые с оригинальной реализацией DLSS 5 на аппаратном обеспечении NVIDIA.

Сравнение персонажа из Tekken 7 до и после применения нейрорендеринга DLSS 5
Сравнение персонажа Сергея Драгунова из Tekken 7 до и после применения нейрорендеринга DLSS 5

Особенности разработки и роль искусственного интеллекта

Процесс создания данного порта оказался необычным, так как в основе проекта лежат нейросетевые инструменты. Автор отмечает, что код был написан при помощи моделей Anthropic Claude и OpenAI GPT-6 Astra. Разработчик утверждает, что именно ИИ-агенты принимали ключевые технические решения, а также занимались написанием бинарных файлов. Интересно, что в проектную документацию намеренно включены ошибки, включая вымышленный баг драйвера, который возник в процессе трех фаз разработки.

Технически решение отличается от многих предыдущих «хаков», которые представляли собой лишь оболочку для DLL-библиотеки DLSS 5. В данном проекте была полностью переписана нейросеть U-Net, состоящая из 71 блока, входящая в состав DLSS 5. Код выполняется на блоках Intel Xe XMX через Vulkan-расширение VK_KHR_cooperative_matrix. Поскольку архитектура Xe2 не поддерживает вычисления в формате FP8, проект целиком работает в формате FP16 с накоплением FP32.

Производительность в играх и дальнейшие перспективы

Для демонстрации возможностей системы были выбраны три файтинга: Dead or Alive 5 Last Round, Tekken 7 и Mortal Kombat 1. На данный момент технология демонстрирует крайне низкую производительность. Так, в игре Tekken 7 при разрешении 640×360 пикселей (что составляет 1/9 от Full HD) скорость работы составляет около 10,5 кадра в секунду. Согласно расчетам, один проход DLSS 5 на графике Arc 140V занимает около 412 миллисекунд в разрешении Full HD, что ограничивает максимальную частоту кадров показателем в 2,4 FPS, даже если сама игра отрисовывается мгновенно.

Визуальный эффект от применения технологии вызывает споры. Хотя модель DLSS 5 обучена достигать фотореализма, что положительно сказывается на детализации в Mortal Kombat 1 и Tekken 7, в стилизованной под аниме Dead or Alive 5 Last Round персонажи могут выглядеть старше и менее привлекательно. На текущем этапе это скорее доказательство концепции (PoC), чем полноценный инструмент для геймеров.

нейрорендеринг DLSS 5 — иллюстрация 2 к материалу
DLSS 5 добавляет детализации персонажу, но при этом заметно меняет её внешность, что конфликтует с визуальным стилем Dead or Alive 5 Last Round

Планы по развитию проекта

Разработчик отмечает, что уже предпринимаются попытки портировать код на дискретные видеокарты Arc и графику AMD. Хотя архитектура AMD RDNA 4 поддерживает FP8, что позволило бы использовать оригинальную модель, адаптация может быть полезна для RDNA 3 и Xe2. В будущем функция может найти применение в фоторежимах, где мгновенный отклик не так важен.

Сейчас проект требует запуска в среде Linux, что ограничивает круг пользователей. Однако, согласно обсуждениям на платформе Reddit, некоторые энтузиасты уже планируют адаптировать решение для работы в ОС Windows. Для желающих самостоятельно протестировать разработку, автор опубликовал подробный файл Readme.MD на странице проекта, где описаны все принципы настройки параметров NVIDIA DLSS 5, необходимые для получения корректного изображения.

нейрорендеринг DLSS 5 — иллюстрация 3 к материалу
DLSS 5 значительно меняет цветовые тона в Mortal Kombat 1, однако мнения пользователей о качестве изображения расходятся

Технические нюансы реализации и потенциал использования

Важно отметить, что проект Uzbekunknown — это не просто попытка адаптации, а глубокая инженерная работа по воссозданию функционала нейронного рендеринга. Поскольку архитектура Xe2 лишена аппаратной поддержки вычислений в формате FP8, использование которого является стандартом для DLSS 5, разработчику пришлось ограничиться форматом FP16 с накоплением FP32. Это накладывает серьезные ограничения на производительность: реализация работает через Vulkan-расширение VK_KHR_cooperative_matrix, позволяя запускать модель на любом оборудовании, способном выводить изображение через Vulkan.

Автор проекта открыто признает, что текущая скорость работы делает игру в привычном понимании невозможной. Однако, учитывая возможность управления функцией через «горячие» клавиши, такой метод может оказаться крайне полезным для создания качественных скриншотов в фоторежимах, где кратковременное падение частоты кадров не имеет критического значения. Также примечательно, что в коде проекта присутствуют все оригинальные управляющие параметры NVIDIA DLSS 5, доступ к которым открыт для пользователя. Для достижения приемлемого визуального результата разработчик настоятельно рекомендует внимательно изучить файл Readme.MD, так как манипуляции с этими настройками требуют определенного уровня технической подготовки.

нейрорендеринг DLSS 5 — иллюстрация 4 к материалу

Дальнейшее развитие и сообщество

На текущий момент основным барьером для широкого тестирования остается жесткая привязка проекта к операционной системе Linux. Однако вокруг разработки уже сформировалось небольшое сообщество энтузиастов. Так, пользователь Reddit под ником /u/arielcasari публично заявил о намерении адаптировать этот код для работы в среде Windows, пообещав выкладывать все промежуточные результаты и инструкции в профильном сабреддите /r/IntelArc.

Перспективным направлением развития является портирование на видеокарты AMD. В частности, интеграция на базе архитектуры RDNA 4 выглядит наиболее логичной, так как наличие нативной поддержки FP8 позволило бы использовать оригинальную модель без столь значительных потерь производительности, наблюдаемых на решениях с Xe2. Для более ранней архитектуры RDNA 3 данный «хак» может стать единственным способом опробовать алгоритмы нейронного рендеринга аналогичного уровня.