Deep Learning Super Sampling

Deep Learning Super Sampling (DLSS) — это технология масштабирования изображения и повышения частоты кадров в компьютерных играх и приложениях, использующая нейронные сети и глубокое обучение для реконструкции изображения с более высоким разрешением из исходного кадра с низким разрешением. Разработана компанией NVIDIA, DLSS применяется для снижения нагрузки на графический процессор (GPU) при сохранении высокого визуального качества, позволяя добиться плавного геймплея на высоких настройках графики без значительного падения производительности.

История

Предпосылки и разработка

С ростом разрешения мониторов (4K, 8K) и требований к реалистичной графике в играх нагрузка на GPU возросла. Традиционные методы сглаживания (MSAA, FXAA) и масштабирования (бикубическая интерполяция) не всегда справлялись с задачей сохранения детализации при снижении разрешения. В 2018 году NVIDIA представила архитектуру Turing, в которой впервые появились тензорные ядра — специализированные блоки для ускорения операций с матрицами, необходимых для работы нейросетей. Это позволило реализовать DLSS как аппаратно-ускоренное решение.

Первое поколение (DLSS 1.0)

В 2018 году, с выходом видеокарт серии GeForce RTX 20, была анонсирована первая версия DLSS. Она обучалась на наборе данных из кадров с высоким разрешением (16K) и использовала нейросеть для восстановления деталей. Однако технология имела ряд недостатков: требовала индивидуального обучения для каждой игры, работала только на фиксированных разрешениях, а качество изображения часто уступало традиционному рендерингу в нативном разрешении, особенно в динамичных сценах. DLSS 1.0 получила смешанные отзывы из-за размытия текстур и артефактов.

Второе поколение (DLSS 2.0)

В 2020 году NVIDIA выпустила DLSS 2.0, основанную на совершенно новом подходе. Вместо обучения на конкретных играх использовалась общая нейросеть, работающая в реальном времени. Ключевые улучшения:

• Апскейлинг с временной реконструкцией: нейросеть анализирует не только текущий кадр, но и предыдущие, используя векторы движения для устранения мерцания и артефактов.
• Универсальность: технология стала поддерживать большинство игр без индивидуального обучения, достаточно было интеграции через API.
• Качество: DLSS 2.0 обеспечивал чёткость, сравнимую с нативным разрешением, а в некоторых случаях — превосходящую её за счёт сглаживания и улучшения детализации.

DLSS 2.0 быстро стала стандартом для игр с трассировкой лучей, где нагрузка на GPU особенно высока.

Третье поколение (DLSS 3.0)

В 2022 году, с выходом серии GeForce RTX 40, была представлена DLSS 3.0, которая добавила технологию генерации кадров (Frame Generation). Она использует оптический поток и нейросеть для создания промежуточных кадров между двумя отрендеренными, что позволяет удвоить частоту кадров без увеличения нагрузки на GPU. DLSS 3.0 также включает улучшенную версию DLSS 2.0 (DLSS Super Resolution) и технологию NVIDIA Reflex для снижения задержки ввода. Однако генерация кадров может приводить к увеличению задержки отклика, что компенсируется Reflex.

Четвёртое поколение (DLSS 3.5)

В 2023 году NVIDIA анонсировала DLSS 3.5, которая добавила технологию Ray Reconstruction — нейросетевую реконструкцию лучей для улучшения качества трассировки лучей. DLSS 3.5 заменяет традиционные денойзеры, используемые в трассировке лучей, на нейросеть, обученную на большом наборе данных. Это позволяет снизить шум и артефакты, особенно в сложных сценах с отражениями и тенями, при этом не требуя дополнительной производительности.

Принцип работы

Основные компоненты

DLSS использует несколько этапов обработки изображения:

1. Рендеринг в низком разрешении: игра рендерит кадр в разрешении, меньшем, чем целевое (например, 1080p для вывода в 4K). Это снижает нагрузку на GPU.
2. Временная реконструкция: нейросеть анализирует текущий и предыдущие кадры, используя векторы движения (motion vectors) для компенсации движения камеры и объектов. Это позволяет объединить информацию из нескольких кадров для повышения детализации и устранения мерцания.
3. Апскейлинг: нейросеть масштабирует изображение до целевого разрешения, заполняя отсутствующие пиксели на основе обученных паттернов. В DLSS 2.0 и выше используется свёрточная нейронная сеть (CNN), обученная на миллионах изображений.
4. Постобработка: применяются фильтры для сглаживания, улучшения резкости и коррекции цвета.

Генерация кадров (DLSS 3.0)

В DLSS 3.0 дополнительно используется оптический поток (Optical Flow) — аппаратный блок на GPU, который вычисляет движение пикселей между кадрами. Нейросеть на основе этого потока генерирует промежуточный кадр, который вставляется между двумя отрендеренными. Это увеличивает частоту кадров, но не снижает задержку ввода, так как сгенерированный кадр не основан на реальном вводе пользователя.

Ray Reconstruction (DLSS 3.5)

В DLSS 3.5 нейросеть обучается на данных с трассировкой лучей высокого качества (например, 16K с 64 лучами на пиксель). Она заменяет традиционные денойзеры, которые усредняют шум, но могут размывать детали. Нейросеть восстанавливает чистые отражения, тени и глобальное освещение, используя информацию о геометрии сцены и материалах.

Режимы работы

DLSS предлагает несколько предустановленных режимов, которые определяют соотношение между производительностью и качеством:

Аппаратные требования

DLSS требует наличия видеокарты NVIDIA с тензорными ядрами:

• DLSS 1.0 и 2.0: GeForce RTX 20, 30, 40 серий, а также TITAN RTX, Quadro RTX.
• DLSS 3.0: GeForce RTX 40 серий (требует оптический потоковый ускоритель нового поколения).
• DLSS 3.5: GeForce RTX 20, 30, 40 серий (Ray Reconstruction доступен на всех RTX, но генерация кадров — только на RTX 40).

DLSS также поддерживается в некоторых мобильных GPU NVIDIA (например, в ноутбуках с RTX).

Применение

Игры

DLSS широко используется в играх с поддержкой трассировки лучей, таких как Cyberpunk 2077, Control, Metro Exodus, Marvel’s Spider-Man, Call of Duty: Modern Warfare II и многих других. Технология позволяет запускать эти игры на высоких настройках с трассировкой лучей даже на среднебюджетных видеокартах, обеспечивая 60+ FPS в 4K.

Профессиональные приложения

DLSS применяется не только в играх, но и в приложениях для 3D-моделирования, рендеринга и виртуальной реальности (VR). Например, в D5 Render, Chaos Vantage, Unreal Engine 5 DLSS используется для ускорения интерактивного рендеринга.

VR и AR

В виртуальной реальности DLSS помогает снизить нагрузку на GPU, что критично для достижения высокой частоты кадров (90+ FPS) и предотвращения укачивания.

Критика и ограничения

Качество изображения

Несмотря на улучшения, DLSS может вызывать артефакты, особенно в старых версиях или при использовании режима Ultra Performance. К ним относятся:

• Размытие текстур в движении или на сложных поверхностях.
• Мерцание тонких линий, проводов, решёток.
• Призраки (ghosting) — следы от движущихся объектов, когда нейросеть не успевает корректно обработать временную информацию.
• Артефакты на прозрачных объектах (например, дым, вода).

Задержка ввода

В DLSS 3.0 генерация кадров увеличивает задержку между действием пользователя и отображением результата, так как сгенерированный кадр не учитывает ввод. NVIDIA компенсирует это технологией Reflex, но в некоторых играх задержка может быть заметной.

Зависимость от обучения

Нейросеть DLSS обучается на определённых сценах и может хуже работать в уникальных или нестандартных ситуациях (например, в играх с процедурной генерацией или необычной графикой).

Эксклюзивность

DLSS является проприетарной технологией NVIDIA и не поддерживается на видеокартах AMD или Intel. Это ограничивает выбор пользователей и создаёт зависимость от одного производителя.

Альтернативы

Основные конкуренты DLSS:

• AMD FidelityFX Super Resolution (FSR): открытая технология, работающая на любых GPU, включая NVIDIA и Intel. FSR использует пространственное масштабирование (без нейросетей), что проще в реализации, но уступает DLSS в качестве при низких разрешениях.
• Intel Xe Super Sampling (XeSS): технология Intel, основанная на нейросетях, но с открытым исходным кодом. XeSS поддерживает как аппаратное ускорение на GPU Intel Arc, так и программный режим на других видеокартах.
• NIS (NVIDIA Image Scaling): более простая технология NVIDIA, не использующая нейросети, но работающая на всех видеокартах.

Интересные факты

• DLSS 2.0 была обучена на суперкомпьютере NVIDIA DGX, который обрабатывал миллионы изображений с высоким разрешением.
• В некоторых играх DLSS может улучшать качество изображения даже по сравнению с нативным рендерингом за счёт сглаживания и устранения алиасинга (например, в Control).
• Технология DLSS 3.0 была анонсирована одновременно с серией GeForce RTX 40, но позже стала доступна и на RTX 30 через программные обновления (без генерации кадров).
• В 2024 году NVIDIA представила DLSS 3.5 с Ray Reconstruction, которая доступна на всех RTX, но требует поддержки в конкретной игре.

Источники

• NVIDIA Developer Blog: «NVIDIA DLSS: A Deep Learning Approach to Super Resolution»
• NVIDIA Official Documentation: «DLSS Technology Overview»
• Статья «Deep Learning Super Sampling» на сайте NVIDIA
• Обзор DLSS 3.0 на ресурсе TechSpot
• Сравнение DLSS, FSR и XeSS на сайте Digital Foundry