Что такое нвидиа dlss

04.06.202212.06.2022 admin 0 Comments

Что такое NVIDIA DLSS, как она повышает FPS и улучшает графику в играх — подробное объяснение

Что такое DLSS?

Чтобы окончательно определиться с тем, что такое DLSS, нужно дословно разобрать само понятие Deep Learning Super Sampling. Итак, суперсэмплинг — это технология сглаживания, которая создаёт каждый кадр в разрешении большем чем разрешение монитора, после чего уменьшает его обратно. То есть количество пикселей в кадре увеличивается и таким образом технология помогает сгладить резкие контрастные переходы между пикселями разных объектов. Говоря проще, убирает «лесенку» на краях объектов, нежелательные шумы на текстурах в движении и прочие «шероховатости» изображения.

Теперь немного о глубоком обучении. «Глубокими» называются нейронные сети, состоящие более чем из 1 входного и выходного слоя, например, нейронную сеть из 4 слоев уже можно считать глубокой. Каждый нейрон нового слоя соединен со всеми нейронами предыдущего слоя при помощи «весов». Фактически веса нейронной сети кодируют силу сигнала и позволяют ей обрабатывать входную информацию. Путем множества повторяющихся вычислений, веса глубокой нейронной сети подстраиваются при помощи алгоритма обратного распространения ошибки для того, чтобы ответ на выходе нейронной сети был как можно ближе к желаемому на проверочном наборе данных.

Если немного упростить, то глубокое обучение — это множество вычислений, выполняющихся на мощном оборудовании в процессе, выполнение которого совершенствуется раз за разом. Система не учится в человеческом понимании этого слова, она просто становится лучше, снова и снова проделывая одни и те же действия.

Как работает DLSS?

В итоге получается технология, использующая обученную на высококачественных примерах нейросеть, которая берет несколько кадров игры для создания суперсэмплинга и комбинирует их в финальный кадр. Вследствие чего экономится пользовательская вычислительная мощность и, соответственно, повышается FPS.

Эта технология с её выученными техниками улучшения изображения применяется и обновляется при помощи сервиса NGX. NGX — это пакет инструментов разработчика для интеграции алгоритмов глубокого обучения. Он позволяет разработчикам с легкостью интегрировать в приложения обученные нейронные сети для улучшения графики, редактирования фотографий и обработки видео.

Со стороны пользователя ничего не требуется, DLSS будет улучшаться автоматически путём обновления нейронной сети.

Где лучше использовать DLSS? Почему технология недоступна для всех разрешений?

DLSS разработана для увеличения частоты кадров при высокой нагрузке на видеокарту. То есть когда кадровая частота остаётся низкой при полной загрузке видеокарты и отсутствии так называемых «ботлнеков», ситуаций, в которых один из компонентов системы не даёт другим компонентам раскрыть весь свой потенциал. Если ваша игра уже работает с высокой частотой, то время визуализации кадра вашей видеокартой может оказаться меньше, чем время выполнения DLSS. В этом случае DLSS не нужна, потому что она не увеличит частоту кадров. Тем не менее, если игра сильно нагружает видеокарту (FPS находится ниже отметки в 60 кадров в секунду), то DLSS обеспечит оптимальное повышение производительности. В этом случае можно повысить свои настройки графики, чтобы получить максимальную выгоду от DLSS.

Если говорить чуть более технически, DLSS требует фиксированного количества времени видеокарты на каждый кадр для обработки данных нейросетью. Таким образом, игры, которые работают с меньшей частотой кадров или в более высоком разрешении, получают больше преимуществ от DLSS. В случае же с играми, работающими с высокой кадровой частотой или в низком разрешении, DLSS может не справиться с улучшением производительности. Когда время визуализации кадров видеокартой меньше, чем требуется для выполнения модели DLSS, технология не работает. Она активируется лишь в случаях, когда может дать прирост производительности. Доступность DLSS зависит от игры, модели видеокарты и выбранного разрешения.

А что насчёт размывания кадров?

Как уже указывалось выше, DLSS изначально создавалась для увеличения FPS при высокой нагрузке на видеокарту. И при разработке основной упор делался на высокие разрешения (когда нагрузка доходит до максимума), а 4K (3840×2160) является наиболее тяжёлым разрешением. Работа с 4K даёт больше преимуществ, когда речь идёт о качестве изображения, так как количество входных пикселей велико. Для 4K DLSS имеется 7,4 миллиона входящих пикселей, из которых можно сгенерировать окончательный кадр, в то время как для 1920×1080 имеется только около 1.84 миллионов пикселей. Чем меньше исходных данных, тем сложнее DLSS обнаруживать особенности исходного изображения и предсказывать окончательный кадр. То есть чем меньше разрешение, тем хуже работает DLSS.

NVIDIA знает о проблеме с размытием изображения на низких разрешениях и работает над её решением. Добавляется больше обучающих данных и новых методов для повышения качества. Обучение глубокой нейронной сети продолжается, и со временем она улучшится.

Чем хуже технология TAA?

Игровая индустрия использовала временное сглаживание многие годы и, по мнению вышеупомянутого Эндрю Эдельстена (Andrew Edelsten), его время скоро подойдёт к концу. Так как конечный результат работы TAA генерируется из нескольких кадров, получившееся изображение может страдать от ореолов и мерцаний при высокой скорости движения. DLSS же справляется с этим лучше во многом благодаря нейросети, способной выдавать более качественную картинку как в статике (неподвижном состоянии), так и в динамике (движении). Также, в отличие от TAA, DLSS в процессе работы реконструирует изображение до более высокого разрешения.

Какие игры уже поддерживают DLSS?

В Battlefield 5 DLSS, по мнению NVIDIA, на данный момент обеспечивает значительное улучшение производительности (до 40 %) в разрешениях 4K и 2560 × 1440 при сопоставимом качестве. В дальнейшем командой разработки планируется работа над улучшением качества изображения для разрешения 1920×1080, а также для сверхшироких мониторов (например, с разрешением 3440 × 1440).

А для Metro Exodus уже есть обновление, улучшающее чёткость DLSS и общее качество изображения для всех разрешений, которые не были включены в день запуска. Также ведётся обучение DLSS для этой игры, в результате которого ожидается ещё одно повышение качества изображения.

Для каких ещё игр будет добавлена DLSS?

Источник

Технология NVIDIA DLSS в играх: что это такое и зачем нужна

Содержание

Алгоритм улучшения изображений DLSS — визитная карточка компании NVidia. Его работа всегда вызывает особенный интерес у пользователей. С помощью DLSS игры стали быстрее — растет FPS, увеличиваются максимальные значения разрешений, что, в конечном итоге, непосредственно влияет на «играбельность» контента и способствует глубокому погружению в него. В материале рассмотрим суть технологии DLSS и области ее применения в игровой индустрии.

Технология трассировки лучей в гейминге, можно сказать, не дотягивает по производительности и скорости отрисовки кадров. Особенно сильно это заметно в линейке видеокарт семейства RTX 20. Рейтрейсинг вроде бы заявлен и фактически присутствует, но толком не работает — прорывной производительности в играх не наблюдается. Исправить ситуацию вроде должна новинка от NVIDIA — абсолютно новый графический процессор Ampere и видеокарты поколения RTX 30, построенные на его основе. Об архитектуре нового процессора очень подробно рассказано в статье блога Клуба DNS.

DLSS без купюр

Геймеру со стажем, особенно ценителю технических решений от «зеленого» лагеря, не нужно объяснять суть технологии суперсемплинга DLSS. Тем же, кто только делает первые шаги мире компьютерных игр и пока в поиске оптимальных настроек для своего «железа», нелишним будет знакомство с «механикой» алгоритма DLSS.

Дословно DLSS (Deep Learning Super Sampling) переводится как «сглаживание на основе глубокого обучения». На момент написания данного материала миру известны две версии алгоритма глубокого ресемплирования.

Разница между версиями алгоритма заключается не в логике его работы, а в его физической реализации.

В случае с DLSS 1.0 компания NVIDIA предложила производителям игрового контента «прогнать» графические сцены их игр через свой «суперкомпьютер», наделенный искусственным интеллектом. Такой подход требовал больших затрат времени, и, что называется, «не взлетел», поскольку разработчики игр, в большинстве своем, его просто игнорировали.

Вторая версия алгоритма DLSS 2.0 стала более «клиентоориентированной», ведь NVIDIA верила в успех технологии и включила в состав видеокарт тензорные ядра, тем самым наделив свои графические адаптеры искусственным интеллектом.

Основная суть работы алгоритма — получение качественного изображения (кадра) высокого разрешения на основе его уменьшенного аналога. Не вдаваясь в дебри тензорных вычислений и довольно сложных и громоздких математических операций с матрицами, упрощенно работу алгоритма DLSS можно описать так.

При рендеринге простых геометрических фигур (в примере используется треугольник) из исходных кадров малого размера определяющим фактором качества конечного результата является субпиксельная маска. К примеру, с использованием маски 4х4 при отрисовке треугольника конечный результат мало напоминает исходную фигуру. При увеличении же сетки ресемплирования всего в 4 раза — до размера 8х8 — конечное изображение уже больше напоминает исходник.

В этом и заключается основная «механика» работы алгоритма сглаживания.

Основной принцип DLSS — преобразование изображений с низким разрешением в кадры с более высокой разрешающей способностью, вплоть до 4К, без потери качества картинки игрового мира.

Такой подход к рендерингу игровых сцен дает конечному пользователю несколько очень важных преимуществ:

Искусственный интеллект на службе создания графических сцен

Работа алгоритма сглаживания DLSS невозможна без искусственного интеллекта, заложенного в каждый новый продукт NVIDIA. Именно он вырабатывает методику сглаживания определенных игровых сцен на основе многомиллионных «прогонов» эталонных изображений и полигонов. В первой версии DLSS предварительная обработка графических кадров велась на базе вычислительных мощностей компании NVIDIA под конкретные проекты: Metro: Exodus, Battlefield V.

Конечные «рекомендации» по улучшению сцен прописывались в обновленные версии драйверов к конкретной модели видеокарты.

Во втором поколении DLSS 2.0 львиная доля этой работы отдана тензорным ядрам самой графической карты. Это и есть принципиальное отличие между первым и вторым поколениями глубокого ресемплинга. Оно открывает просто безграничное поле для деятельности производителям игрового контента, которым не нужно теперь создавать уникальную нейронную сеть на серверах компании NVIDIA и «обкатывать» на ней полигоны своих игр. Вполне достаточно адаптировать свой код под тензорные вычисления и произвести расчет сцен силами «универсальной» нейронной сети. Такой подход существенно упрощает жизнь производителю контента и ускоряет выпуск новых продуктов.

Топология Ampere

Новая линейка видеокарт не останавливается на достигнутом предыдущими поколениями адаптеров. В основе каждой новой карточки от NVIDIA лежит процессор Ampere, произведенный по 8 нм технологии, которая позволяет разместить большее количество полупроводниковых компонентов на той же площади кристалла. Конечному пользователю это дает увеличенную производительность графического чипа при тех же размерах.

Если сравнить технические характеристики новых адаптеров, то можно увидеть уменьшение количества тензорных ядер в новых моделях в сравнении с предыдущим поколением. И может закрасться крамольная мысль: «А все ли так хорошо? И за счет чего возникает прирост производительности?».

Ответ на этот вопрос достаточно прост. В новой линейке используются тензорные ядра третьего поколения, вычислительная мощность которых в несколько десятков раз превышает возможности предшественников.

Если «в лоб» сравнить спецификации адаптеров RTX 20 и RTX 30, то можно заметить, что тензорных ядер в новой линейке видеокарт стало меньше. Но за счет их производительности вкупе с обновленным алгоритмом вычислений просчет каждой сцены ускорился в разы. ЧВ итоге это позволяет игроку получить высокие, а главное стабильные значения FPS, играть на высоких разрешениях и максимальных настройках графики, а производителям — всерьез задуматься о производстве контента в разрешении 8 К.

На следующей иллюстрации наглядно показан прирост производительности в актуальных играх (на момент написания статьи).

Из диаграмм видно, топовая видеокарта с использованием технологии DLSS дает двух-, а то и трехкратный прирост производительности в не самых «легких» с точки зрения графики играх.

Пока нет официальной информации можно предположить, что новые адаптеры рано или поздно обзаведутся обновленным алгоритмом DLSS версии 3.0, способным интеллектуально ресемплировать игровые сцены в реальном времени в разрешение 8К. Но говорить об этом пока рано. Для наступления эры DLSS 3.0 нужно, как минимум, чтобы у каждого второго-третьего геймера на столе красовался 8К-монитор.

Источник

Обзор и тестирование технологии NVIDIA DLSS 2.0

Вступление

Наверняка все прожжённые ПК-геймеры уже знают, что такое DLSS, но на всякий случай все равно напомним. Эта аббревиатура расшифровывается как Deep Learning Super Sampling – супер-сэмплинг, основанный на «глубоком» машинном обучении. Его цель в том, чтобы улучшить производительность видеокарты при использовании трассировки лучей с минимальными потерями качества.

Первые игры, поддерживающие технологию Deep Learning Super-Sampling (DLSS), вышли больше года назад. За прошедшее время данное ноу-хау постоянно изменялось и развивалось. В самых первых играх эта техника повышала производительность только в разрешениях, распространенных среди пользователей. По мнению игроков, она не всегда справлялась с качеством графики и часто «замыливала» изображение.

Гибкие и обучаемые нейронные сети, лежащие в основе Deep Learning Super-Sampling, позволили со временем улучшить качество работы DLSS. Но подобные улучшения требовали времени – для каждой новой игры приходилось тренировать отдельную нейронную сеть на суперкомпьютере. Чтобы обойти эти ограничения, было необходимо более продвинутое решение.

NVIDIA DLSS: от 1.0 к 2.0

Впервые технология DLSS появилась в играх Battlefield 5 и Metro: Exodus. Она предназначалась для серьезного повышения производительности, чтобы компенсировать ее снижение при использовании ресурсоёмкой трассировки лучей. В реальности эффект получился неоднозначным – результаты видеокарт росли, но при этом заметно ухудшалось качество изображения. В тот временной период игроки и журналисты критиковали DLSS за «мыльные» текстуры, в которых легко угадывался апскейл из более низкого разрешения.

В игре Battlefield 5 применялась первая версия технологии DLSS. Для ее реализации использовалась нейросеть, которая обрабатывала временное сглаживание. Она брала информацию из прошлого кадра и создавала суперсэмплинг. Затем другая нейросеть реконструировала полученное изображение до более высокого разрешения.

Однако у нейросетей есть недостаток – у них ограниченная вместимость. Поэтому если одна нейросеть будет работать для всех игр, она должна быть огромных размеров. Сейчас реализовать такой проект невозможно: для этого требуется производительность, недоступная текущим компьютерам. Поэтому вместо одной большой сети были созданы маленькие, каждая из которых обучалась под отдельную игру. В результате процесс оказался очень трудозатратным, поскольку под каждую игру писалась фактически своя модель DLSS.

В проекте Control был использован новый алгоритм, который получил условное обозначение DLSS 1.5. В данной версии Deep Learning Super-Sampling вообще не была задействована нейросеть. Связано это было с желанием разработчиков игры как можно быстрее выпустить Control. Версия DLSS 1.5 использует алгоритмы, написанные программистами вручную. В результате качество изображения заметно улучшилось, но некоторые недостатки все же остались.

В играх Deliver Us The Moon, Wolfenstein: Youngblood, MechWarrior 5: Mercenaries, Control, Minecraft RTX Beta и Bright Memory используется новая версия технологии, которая получила обозначение DLSS 2.0. Теперь алгоритм сразу повышает разрешение до более высокого, затем одна общая для всех игр нейронная сеть вставляет пропущенные пиксели, заимствуя их из предыдущих кадров игры. Аккумуляция сэмплов из нескольких кадров в более высоком разрешении позволяет DLSS 2.0 добавить обратно все мелкие геометрические и текстурные детали и мало чем отличается от рендеринга в нативном разрешении.

Новая версия DLSS поддерживает несколько уровней качества:

Ниже приведены скриншоты, наглядно демонстрирующие качество изображения при включении разных режимов сглаживания. Нажмите на картинку, чтобы раскрыть ее в полном размере.

Примечательно, что скриншоты с разными алгоритмами работы сглаживания снимались в играх с разрешением 2560 х 1440. Далее уже на этих изображениях выбирались наиболее удачные фрагменты, которые вырезались в формате 638 х 1080. В завершение полученные части размещались на общем панно с разрешением 1920 х 1080.

В игре Control были сняты сразу три изображения. На первом фрагменте хорошо видно, что изображения с включенной технологией DLSS выглядят четче, чем фрагмент с традиционным мультисэмплингом.

Обратите внимание на листву растений, насколько четче они отображаются на фрагментах с включенным алгоритмом DLSS.

Вишенкой на торте стали документы, разбросанные на столе. Четкость отображения шрифтов буквально бросается в глаза.

В игре Deliver Us The Moon на первый взгляд наблюдаются идентичные по качеству изображения. Виной всему стала яркая световая палитра. Однако внимательно присмотритесь к эмблеме на груди космонавта и к его наручному компьютеру. Эти элементы на фрагментах с включенной технологией DLSS выглядят четче, чем на картинке с ТАА сглаживанием. Вдобавок при использовании традиционного сглаживания отражения ракеты и космонавта на стекле более замылены.

Также необходимо упомянуть о том, что компания NVIDIA планирует добавить поддержку технологии DLSS во все крупные игровые движки. Работа кипит вовсю, и уже в обозримом будущем выйдет большое количество проектов, поддерживающих трассировку лучей DLSS.

А в конце 2020 года в продаже появятся консоли нового поколения. Корпорации Sony и Microsoft уже подтвердили, что они будут поддерживать аппаратную трассировку лучей. Это изменит базовый уровень производительности, на который ориентируются разработчики игр.

Во все игры, в разработке которых принимает участие компания NVIDIA, по возможности будет добавлена поддержка новой версии DLSS. Она позволит повысить производительность видеокарт и создаст изображение, не отличимое от нативного разрешения. Это важно, ведь люди, купившие видеокарты GeForce RTX 2080 и GeForce RTX 2070 желают играть во все игры в разрешениях 2560 х 1440 и 3840 х 2160 при фреймрейте не ниже 60.

Теперь рассмотрим производительность видеокарт в различных режимах работы технологии DLSS 2.0.

Тестовая конфигурация, инструментарий и методика тестирования

Тестовая конфигурация

Тесты проводились на следующем стенде:

Инструментарий и методика тестирования

Для более наглядного сравнения видеокарт игра, используемая в качестве тестового приложения, запускалась в разрешениях 1920 х 1080, 2560 х 1080, 2560 х 1440, 3440 х 1440 и 3840 х 2160.

В качестве средств измерения быстродействия применялись утилиты FPS Monitor Build 5102 и AutoHotkey v1.0.48.05. Во всех играх замерялись средние значения FPS. Вертикальная синхронизация при проведении тестов была отключена.

Control

1920х1080

Включите JavaScript, чтобы видеть графики

2560х1080

Включите JavaScript, чтобы видеть графики

2560х1440

Включите JavaScript, чтобы видеть графики

3440х1440

Включите JavaScript, чтобы видеть графики

3840х2160

Включите JavaScript, чтобы видеть графики
Средний FPS

В игре Control при включении мультисэмплинга GeForce RTX 2060 Super и GeForce RTX 2060 начали «захлебываться» уже в разрешении 2560 х 1440. При этом оба ускорителя по естественным причинам были заметно медленнее флагмана прошлого поколения GeForce GTX 1080 Ti. После включения технологии DLSS в режиме «Качество» обе RTX карты показали высокие результаты в разрешении 3440 х 1440, а в режиме «Производительность» им покорилось разрешение 3840 х 2160. При этом далеко позади остался графический ускоритель GeForce GTX 1080 Ti.

Deliver Us The Moon

1920х1080

Включите JavaScript, чтобы видеть графики

2560х1080

Включите JavaScript, чтобы видеть графики

2560х1440

Включите JavaScript, чтобы видеть графики

3440х1440

Включите JavaScript, чтобы видеть графики

3840х2160

Включите JavaScript, чтобы видеть графики
Средний FPS

В проектах Deliver Us The Moon и MechWarrior 5: Mercenaries наблюдались тенденции, похожие на расклад сил в игре Control. С той лишь разницей, что оба проекта оказались менее требовательными к графической подсистеме.

MechWarrior 5: Mercenaries

1920х1080

Включите JavaScript, чтобы видеть графики

2560х1080

Включите JavaScript, чтобы видеть графики

2560х1440

Включите JavaScript, чтобы видеть графики

3440х1440

Включите JavaScript, чтобы видеть графики

3840х2160

Включите JavaScript, чтобы видеть графики
Средний FPS

Wolfenstein: Youngblood

Променад

1920х1080

Включите JavaScript, чтобы видеть графики

2560х1080

Включите JavaScript, чтобы видеть графики

2560х1440

Включите JavaScript, чтобы видеть графики

3440х1440

Включите JavaScript, чтобы видеть графики

3840х2160

Включите JavaScript, чтобы видеть графики
Средний FPS

Лаборатория «Икс»

1920х1080

Включите JavaScript, чтобы видеть графики

2560х1080

Включите JavaScript, чтобы видеть графики

2560х1440

Включите JavaScript, чтобы видеть графики

3440х1440

Включите JavaScript, чтобы видеть графики

3840х2160

Включите JavaScript, чтобы видеть графики
Средний FPS

В игре Wolfenstein: Youngblood с включенным ТАА сглаживанием видеокарты GeForce RTX 2060 Super и GeForce RTX 2060 обеспечили комфортную производительность даже в разрешении 3840 х 2160. На первый взгляд проект настолько непритязателен к графической подсистеме, что необязательно включать технологию DLSS. Но, как говорится, производительности много не бывает, и дополнительный прирост FPS еще никому не вредил.

Необходимо отметить, что включение режима DLSS «Качество» в зависимости от разрешения и игры повысило производительность видеокарт GeForce RTX на внушительные 20-128%. В режиме DLSS «Производительность» результаты ускорителей выросли на еще более впечатляющие 30-217%. А после включения DLSS видеокарта GeForce RTX 2060 уверенно опередила флагман прошлого поколения GeForce GTX 1080 Ti. При этом в режиме DLSS «Производительность» младший RTX ускоритель продемонстрировал высокие результаты в разрешении 3840 х 2160 во всех протестированных играх.