Разработчик модов для нейронного рендеринга перенес систему NVIDIA DLSS 5 с использования исключительно формата FP8 на гибридную модель FP8/NVFP4. Согласно отчетам, этот подход, несмотря на более высокий потенциал вычислительной мощности NVFP4 по сравнению с FP8 в задачах искусственного интеллекта, привел лишь к незначительному увеличению производительности — в пределах 1–2%.
Особенности реализации гибридного режима в OptiScaler
Подробности работы этой схемы раскрыл автор мода под ником wilsjo2. В примечаниях к обновлению версии 0.7.1 их проекта OptiScaler указано, что инструмент селектора моделей пытается использовать гибридный формат NVFP4 там, где это возможно. В случаях, когда архитектура или параметры модели не поддерживают такой подход, система автоматически переключается на обработку в FP8.
В следующей версии мода, 0.7.2, разработчик сделал гибридную модель NVFP4 рекомендованной опцией для видеокарт архитектуры Blackwell. Для проверки эффективности решения были проведены тесты в игре Baldur’s Gate 3. В ходе 120-секундного захвата игрового процесса гибридный метод показал результат 55,16 FPS, тогда как стандартный режим исключительно на базе FP8 продемонстрировал 54,57 FPS.
Перспективы внедрения формата NVFP4 в архитектуру Blackwell
Текущие данные показывают, что использование гибридного подхода с NVFP4 не дает существенного преимущества по сравнению с официальной реализацией DLSS 5 на базе FP8. Тем не менее, успешный запуск мода доказывает техническую возможность адаптации DLSS 5 под этот стандарт. Специалисты отмечают, что переход на NVFP4 требует не просто смены инструкций, но и переобучения самой модели для полноценного использования преимуществ 4-битного формата.
Формат NVFP4 представляет собой специализированный стандарт NVIDIA с плавающей запятой, который требует значительно меньше ресурсов памяти и вычислительных мощностей, чем FP8 или BF16, при работе на оборудовании Blackwell. Компания NVIDIA ранее подтверждала, что DLSS 5 в будущем получит поддержку NVFP4. В рамках технического превью технологии представители NVIDIA на вопрос о квантовании DLSS 5 в NVFP4 ответили, что это произойдет позже.
Учитывая высокие требования DLSS 5 даже к флагманским видеокартам RTX 5090, разработчики ищут любые способы оптимизации процесса. Ранее сообщество обнаружило, что перенос выполнения нейронного рендеринга до этапа DLSS-апскейлинга в 3D-конвейере также дает определенный прирост скорости. NVIDIA пообещала выпустить новые модели DLSS 5 этой осенью, в которых могут быть официально реализованы оптимизации, включая поддержку NVFP4 для видеокарт 50-й серии.
Технические детали и ограничения оптимизации
Важно понимать, почему текущие показатели прироста производительности остаются столь скромными. Как поясняет автор модификации, простого изменения инструкций недостаточно для реализации потенциала 4-битного формата. Полноценный переход требует глубокого переобучения нейронной сети, чтобы она могла корректно функционировать с использованием inherent-преимуществ архитектуры NVFP4 над FP8. Именно из-за отсутствия такого глубокого переобучения на данном этапе эксперты не видят веских причин для обязательного использования гибридной схемы.
На текущий момент усилия моддеров направлены на поиск способов облегчить нагрузку от DLSS 5, которая остается значительно более ресурсоемкой, чем все предыдущие итерации технологии, даже на флагманских решениях вроде RTX 5090. Помимо экспериментов с форматами данных, энтузиасты уже обнаружили и другие методы оптимизации: например, изменение порядка выполнения операций в 3D-конвейере, при котором нейронный рендеринг запускается до этапа апскейлинга, а не после него. Хотя подобные «хаки» помогают немного повысить FPS, полноценная эффективность NVFP4, вероятно, будет достигнута только после официальных обновлений от NVIDIA, запланированных на эту осень.
