Похоже, у геймеров есть серьезные основания для беспокойства по поводу технологии DLSS 5. Разъяснения Nvidia о принципах её работы лишь усилили волну критики со стороны игрового сообщества.
Как на самом деле работает DLSS 5
Специалист Nvidia подтвердил, что DLSS 5 в своей основе опирается на анализ уже отрисованного 2D-кадра и векторов движения. Важно отметить, что технология не получает прямых данных из игрового движка — она не взаимодействует с 3D-геометрией, картами глубины или информацией о материалах, заложенными разработчиками. По сути, нейросеть «не знает» ничего об объектах в кадре, которые она пытается улучшить. По заявлению представителя компании, модель распознает семантику сцены (волосы, текстуру кожи, ткань и освещение) исключительно «на лету», анализируя каждый отдельный кадр.
Да, DLSS 5 принимает на вход 2D-кадр плюс векторы движения
В ходе анонса Nvidia намеренно избегала глубоких технических деталей, создавая впечатление, что DLSS 5 анализирует сцену на принципиально ином уровне. Однако теперь стало очевидно: определение свойств материалов происходит на основе финального изображения, а не благодаря прямому «общению» с движком.
Как показывают наглядные примеры, такой подход не лишен изъянов: нейросеть может ошибочно дорисовывать волосы там, где их не было, или некорректно интерпретировать тени на лице, принимая их за элементы анатомии (например, значительно искажая размер носа).
Инструментарий для разработчиков
Вопросы вызывают и инструменты, которые Nvidia предоставляет студиям. Вместо глубокой интеграции с рендером, акцент сделан на пост-обработке.
Разработчики получат детальные элементы управления, такие как интенсивность и цветокоррекция. Художники смогут использовать эти элементы управления для регулировки смешивания, контраста, насыщенности и гаммы, а также определять, где и как применяются улучшения для сохранения уникальной эстетики игр. Разработчики также смогут маскировать определенные объекты или области, которые следует исключить из улучшений. Мы продолжаем общаться с разработчиками, чтобы понять все способы, которыми они хотели бы управлять этой технологией. В конечном итоге, мы рассматриваем DLSS 5 как инструмент, позволяющий им реализовать свое художественное видение, а не ограничиваться возможностями традиционного рендеринга в реальном времени.
