Открыть сервисСервис

Апскейл — увеличение разрешения изображений и видео

Апскейл (англ. upscale — «масштабировать вверх») — процесс увеличения разрешения цифрового изображения, видео или аудиозаписи без потери или с минимальной потерей качества. В отличие от простого растяжения растрового изображения, которое приводит к размытию и появлению артефактов, апскейл подразумевает восстановление или синтез деталей, недостающих в исходном файле. Технология применяется в фотографии, кинопроизводстве, телевидении, компьютерных играх и обработке медиафайлов.

История и развитие

Первые методы апскейла появились в телевидении и кинематографе ещё в конце XX века, когда возникла необходимость показывать контент в более высоком разрешении, чем исходный носитель. Классические алгоритмы — билинейная и бикубическая интерполяция — работали на математическом сглаживании пикселей и давали размытый результат.

Существенный прорыв произошёл с развитием машинного обучения. В 2014 году была опубликована архитектура GAN (Generative Adversarial Networks), а в 2016-м — алгоритм SRGAN, предложивший использовать нейросети для сверхразрешения. Позднее появились ESRGAN (2018), Real-ESRGAN (2021) и другие модели, способные восстанавливать текстуры, лица и мелкие детали с высокой достоверностью.

Классификация методов

МетодПринцип работыКачество
Билинейная интерполяцияУсреднение соседних пикселейНизкое, размытие
Бикубическая интерполяцияПолиномиальная аппроксимацияСреднее
Ланцош-интерполяцияФильтрация с учётом «колебаний»Среднее, возможны ореолы
Нейросетевые методы (SRGAN, ESRGAN)Обученные модели, синтез деталейВысокое
Апскейл на базе трансформеров (SwinIR, HAT)Внимание (attention) на патчахОчень высокое

Нейросетевой апскейл

Современные нейросетевые алгоритмы строятся как генератор и дискриминатор. Генератор пытается увеличить разрешение изображения, а дискриминатор — отличить восстановленный кадр от настоящего высокого разрешения. В процессе обучения модель учится воспроизводить правдоподобные детали: текстуру ткани, растительность, кожу, волосы.

Ключевое ограничение — «галлюцинации»: нейросеть не восстанавливает утраченные данные, а синтезирует правдоподобные, но не всегда достоверные детали. Для документальных и научных материалов это может быть критично.

Апскейл видео

Для видео применяются отдельные методики, учитывающие временну́ю согласованность кадров. Простое покадровое увеличение разрешения приводит к мерцанию и «плаванию» деталей. Существующие решения — Topaz Video AI, DaVinci Resolve Super Scale, встроенные функции Adobe Premiere Pro — используют межкадровое восстановление и нейросетевые модели, обученные на видео.

Апскейл в компьютерных играх

В игровой индустрии апскейл стал способом показывать игры в высоком разрешении при ограниченной вычислительной мощности. Технологии DLSS (NVIDIA), FSR (AMD) и XeSS (Intel) рендерят сцену в пониженном разрешении, а затем масштабируют её с помощью нейросети или эвристик, сохраняя визуальное качество при росте производительности.

Применение

  • Фотография — восстановление старых фотографий, увеличение разрешения снимков с малых матриц.
  • Кинематограф и телевидение — реставрация архивных плёнок, подготовка контента для 4K и 8K.
  • Медицинская визуализация — увеличение разрешения МРТ и КТ-снимков (с ограничениями по достоверности).
  • Разведка и спутниковые снимки — детализация изображений с низким разрешением.
  • Печать — подготовка растровых изображений к увеличению формата.

Ограничения

Апскейл не создаёт информацию, которой не было в исходнике. При сильном увеличении (более 4×) даже лучшие алгоритмы дают артефакты: «пластиковые» текстуры, размытые края, искажение лиц. Для профессиональной работы рекомендуется использовать исходники с максимальным доступным разрешением.

Интересные факты

  • В 2023 году пользователи соцсетей массово апскейлили старые фотографии и видео с помощью нейросетей, что вызвало дискуссию о достоверности восстановленных изображений.
  • Технология Real-ESRGAN обучена на специально искажённых изображениях, что позволяет ей бороться с артефактами сжатия JPEG.

Источники

  • Dong C. et al. «Image Super-Resolution Using Deep Convolutional Networks» (2016)
  • Wang X. et al. «ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks» (2018)
  • Zhang Y. et al. «Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data» (2021)
  • Материалы NVIDIA, AMD и Intel о технологиях DLSS, FSR и XeSS
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru