Масштабируемое видео

Масштабируемое видео — это технология кодирования видеопотока, при которой исходное видео сжимается в один битовый поток, состоящий из нескольких вложенных уровней (слоёв). Каждый слой представляет собой версию видео с определёнными характеристиками: разрешением, частотой кадров или качеством (отношением сигнал/шум). Декодер может извлекать из общего потока только необходимые слои, адаптируя качество воспроизведения под возможности устройства (вычислительная мощность, размер экрана) и пропускную способность канала связи без необходимости повторного кодирования или загрузки отдельного файла для каждого варианта качества.

История развития

Идея масштабируемого кодирования возникла в 1990-х годах, когда развитие сетей передачи данных и мобильных устройств потребовало гибких решений для доставки видео. Первые стандарты были разработаны в рамках группы MPEG (Moving Picture Experts Group).

Ранние стандарты

В 1993 году стандарт MPEG-2 (H.262) ввёл профили для масштабируемого кодирования, включая пространственную (разные разрешения) и временную (разные частоты кадров) масштабируемость. Однако практическое применение было ограничено из-за высокой вычислительной сложности и значительного увеличения размера потока по сравнению с не масштабируемым кодированием.

Стандарт H.263 (1995 год) также включал опции масштабируемости, но они редко использовались в коммерческих продуктах.

Современный этап

Значительный прогресс произошёл с появлением стандарта H.264/AVC (Advanced Video Coding, 2003 год). Расширение SVC (Scalable Video Coding) было стандартизировано в 2007 году. SVC позволил создавать потоки с тремя типами масштабируемости:

• Пространственная (разные разрешения, например, 1080p, 720p, 480p).
• Временная (разные частоты кадров, например, 60, 30, 15 кадров/с).
• Качественная (разный уровень SNR — отношение сигнал/шум, то есть разная степень сжатия).

SVC обеспечивал обратную совместимость: базовый слой мог декодироваться обычными декодерами H.264/AVC, а дополнительные слои — только специализированными. Однако из-за высокой вычислительной нагрузки на кодирование и увеличения размера потока на 10–30% по сравнению с AVC, SVC не получил широкого распространения в вещании и стриминге.

Следующий стандарт, H.265/HEVC (High Efficiency Video Coding, 2013 год), включил расширение SHVC (Scalable High Efficiency Video Coding). SHVC улучшил эффективность кодирования, сократив потери в размере потока до 5–15% по сравнению с не масштабируемым HEVC. В 2020 году был принят стандарт VVC (Versatile Video Coding, H.266), который также поддерживает масштабируемость через профиль SVC for VVC, ориентированный на будущие системы с высокой динамической адаптацией.

Принцип работы

Масштабируемое кодирование основано на иерархической структуре битового потока. Поток состоит из:

• Базового слоя (Base Layer) — минимально необходимого для воспроизведения видео с низким качеством (например, 240p, 15 кадров/с). Этот слой может декодироваться самостоятельно.
• Улучшающих слоёв (Enhancement Layers) — содержат дополнительную информацию, которая при объединении с базовым слоем повышает разрешение, частоту кадров или качество изображения. Улучшающие слои не могут быть декодированы без базового слоя.

Кодирование выполняется с использованием межкадрового предсказания: улучшающие слои предсказываются на основе базового слоя, что позволяет экономить биты. Однако для обеспечения масштабируемости требуется больше вычислительных ресурсов как на стороне кодера, так и на стороне декодера.

Типы масштабируемости

Пространственная масштабируемость

Позволяет изменять пространственное разрешение видео (ширину и высоту кадра). Например, поток может содержать базовый слой с разрешением 640×480 пикселей и один или несколько улучшающих слоёв для разрешений 1280×720 и 1920×1080. Декодер выбирает нужный слой в зависимости от размера экрана устройства.

Временная масштабируемость

Позволяет изменять частоту кадров (fps). Базовый слой может содержать, например, 15 кадров/с, а улучшающие слои добавляют промежуточные кадры для достижения 30 или 60 кадров/с. Это полезно для устройств с ограниченной производительностью или для экономии энергии.

Качественная (SNR) масштабируемость

Позволяет изменять степень сжатия (битрейт) при сохранении разрешения и частоты кадров. Базовый слой содержит грубое изображение с высоким уровнем потерь, а улучшающие слои добавляют детализацию, повышая отношение сигнал/шум. Это используется для адаптации к переменной пропускной способности сети.

Применение

Масштабируемое видео нашло применение в нескольких областях, хотя его распространение ограничено конкуренцией с альтернативными технологиями.

Видеоконференции и видеозвонки

В системах реального времени (например, Zoom, Skype, WebRTC) масштабируемость позволяет каждому участнику получать видео, адаптированное под его устройство и канал связи, без перекодирования на сервере. Это снижает задержки и нагрузку на серверы.

Мобильное вещание и IPTV

В сетях с переменной пропускной способностью (3G/4G/5G) масштабируемое видео позволяет автоматически переключаться между слоями при ухудшении сигнала, избегая полной остановки воспроизведения. Однако на практике чаще используется адаптивная битрейтная потоковая передача (ABR) с несколькими отдельными файлами, так как она проще в реализации.

Видеонаблюдение

В системах безопасности, где требуется одновременная запись с высоким разрешением и просмотр с низким разрешением на мобильных устройствах, масштабируемое кодирование позволяет хранить один поток, из которого можно извлекать разные версии.

Медицинская визуализация

В телемедицине масштабируемость используется для передачи изображений высокого разрешения (например, рентгеновских снимков) с возможностью просмотра в низком качестве на слабых устройствах.

Сравнение с альтернативными технологиями

Основным конкурентом масштабируемого видео является адаптивная битрейтная потоковая передача (ABR), реализованная в протоколах HLS (HTTP Live Streaming), MPEG-DASH и Smooth Streaming. В ABR видео кодируется в несколько независимых потоков с разными битрейтами и разрешениями, которые хранятся как отдельные файлы. Клиент переключается между ними в зависимости от условий сети.

Преимущества масштабируемого видео перед ABR:

• Экономия места на сервере: хранится один поток вместо нескольких.
• Меньшая задержка при переключении: не требуется загрузка нового файла, достаточно начать декодировать следующий слой.
• Обратная совместимость: базовый слой может декодироваться старыми устройствами.

Недостатки:

• Больший размер потока: из-за избыточности данных (на 10–30% больше, чем не масштабируемый поток).
• Высокая вычислительная сложность: кодирование и декодирование требуют больше ресурсов.
• Сложность реализации: поддержка масштабируемости требует специализированных кодеков и аппаратного ускорения.

В результате ABR получила гораздо более широкое распространение в коммерческих сервисах (YouTube, Netflix, Twitch) из-за простоты и эффективности при использовании современных методов кодирования и кэширования.

Интересные факты

• Стандарт H.264/SVC был разработан при активном участии компании Fraunhofer Heinrich Hertz Institute (Германия) и Video Coding Experts Group (VCEG) Международного союза электросвязи (ITU-T).
• В 2010-х годах компания Vidyo (США) активно продвигала SVC для видеоконференций, но позже перешла на HEVC/SHVC.
• Масштабируемое кодирование используется в системе DVB-T2 (цифровое телевидение) для передачи нескольких программ в одном мультиплексе с разным качеством.
• В России технология масштабируемого видео применяется в некоторых системах видеонаблюдения и телемедицины, но не получила массового распространения в потребительском секторе.

Источники

• ITU-T Recommendation H.264 (03/2010) — Advanced video coding for generic audiovisual services, Annex G (Scalable Video Coding).
• ITU-T Recommendation H.265 (04/2015) — High efficiency video coding, Annex H (Scalable High Efficiency Video Coding).
• MPEG-H Part 2 (ISO/IEC 23090-3) — Versatile Video Coding, Scalable Video Coding profile.
• G. J. Sullivan, J.-R. Ohm, W.-J. Han, T. Wiegand, «Overview of the High Efficiency Video Coding (HEVC) Standard», IEEE Transactions on Circuits and Systems for Video Technology, 2012.
• T. Wiegand, G. J. Sullivan, G. Bjontegaard, A. Luthra, «Overview of the H.264/AVC Video Coding Standard», IEEE Transactions on Circuits and Systems for Video Technology, 2003.
• H. Schwarz, D. Marpe, T. Wiegand, «Overview of the Scalable Video Coding Extension of the H.264/AVC Standard», IEEE Transactions on Circuits and Systems for Video Technology, 2007.