Многовидовое видео

Многовидовое видео (англ. multi-view video, MVV) — это технология записи, передачи и воспроизведения видеопотоков, полученных одновременно с нескольких камер, расположенных в разных точках пространства, с целью создания эффекта объёмного изображения или возможности выбора ракурса зрителем. В отличие от стереоскопического видео, которое передаёт два изображения для имитации глубины, многовидовое видео оперирует большим числом потоков (от трёх до нескольких десятков), что позволяет формировать более полную трёхмерную сцену. Технология является одним из ключевых направлений в области иммерсивных медиа, виртуальной реальности (VR) и автономных систем.

История

Первые эксперименты с многовидовой съёмкой относятся к середине XX века, когда для создания панорамных фильмов использовались системы из нескольких синхронизированных кинокамер. Однако цифровая эра многовидового видео началась в 1990-х годах с развитием компьютерного зрения и сжатия данных. В 2001 году Moving Picture Experts Group (MPEG) начала стандартизацию многовидового кодирования видео (MVC), что привело к появлению расширения H.264/AVC в 2008 году. В 2010-х годах с ростом популярности VR-шлемов и дронов интерес к технологии усилился. Российские исследователи, в частности из Института проблем передачи информации РАН и МГУ, внесли вклад в разработку алгоритмов синтеза промежуточных ракурсов и коррекции геометрических искажений в многовидовых системах.

Принцип работы

Захват видео

Многовидовое видео требует системы камер, расположенных на определённом расстоянии друг от друга (базис) и ориентированных на общую сцену. Камеры могут быть размещены:

• по дуге (для панорамного обзора);
• по кругу (для захвата объекта со всех сторон);
• в виде решётки (для создания светового поля).

Каждая камера записывает свой видеопоток с одинаковой частотой кадров и синхронизацией по времени. Для точной синхронизации используются внешние триггеры или протоколы времени (PTP).

Обработка и сжатие

Объём данных многовидового видео растёт пропорционально числу камер. Для передачи по каналам связи применяются методы сжатия, использующие межкадровую и межвидовую избыточность. Стандарт MPEG-4 MVC (Multiview Video Coding) позволяет кодировать один поток как базовый, а остальные — как предсказанные на основе его данных, что снижает битрейт на 30–50 % по сравнению с независимым кодированием каждого потока. В 2020-х годах для многовидового видео начали применяться нейросетевые кодеки, такие как Versatile Video Coding (VVC) с поддержкой многовидовых профилей.

Воспроизведение

Для просмотра многовидового видео необходимо устройство, способное отображать выбранный ракурс. Это может быть:

• VR-шлем, отслеживающий поворот головы пользователя;
• автостереоскопический дисплей, создающий эффект объёмного изображения без очков;
• обычный монитор с возможностью переключения ракурса мышью или через сенсор.

При воспроизведении система выбирает ближайший к желаемому ракурсу поток или синтезирует новый вид с помощью интерполяции на основе данных соседних камер.

Классификация

По числу камер

• Двухвидовое (стереоскопическое) — минимальный случай, используется для 3D-кино и VR.
• Малокамерное (3–8 камер) — применяется в спортивных трансляциях и конференц-связи.
• Многокамерное (8–64 камеры) — для захвата сцены в помещении или на стадионе.
• Сверхмногокамерное (более 64 камер) — для создания светового поля (light field) и голографических дисплеев.

По типу размещения камер

• Линейное — камеры на одной линии, даёт горизонтальный параллакс.
• Круговое — камеры вокруг объекта, позволяет вращать сцену.
• Плоское — камеры в матрице, даёт полный параллакс (горизонтальный и вертикальный).

По способу доставки

• Локальное — все потоки хранятся на устройстве пользователя.
• Потоковое (streaming) — передача через интернет с адаптивным выбором ракурса.
• Интерактивное — пользователь может переключать ракурс в реальном времени.

Применение

Развлечения и медиа

Многовидовое видео используется в кинематографе для создания эффекта присутствия. Например, в фильмах «Гравитация» (2013) и «Аватар: Путь воды» (2022) применялись многовидовые системы для захвата движения и объёмной сцены. В России технология внедряется в трансляциях спортивных событий: в 2018 году на чемпионате мира по футболу в Москве тестировалась система многовидовой съёмки с 8 камерами для повторов ключевых моментов.

Виртуальная и дополненная реальность

VR-приложения требуют многовидового видео для создания реалистичной среды. Шлемы, такие как HTC Vive и Meta (организация признана экстремистской, деятельность запрещена в РФ) Quest (Meta — организация признана экстремистской и запрещена в РФ), используют стереоскопическое видео, но для полноценной иммерсии необходимы системы с 6 степенями свободы (6DoF), что обеспечивается многовидовым захватом.

Промышленность и наука

В робототехнике многовидовое видео применяется для навигации автономных транспортных средств. Системы технического зрения, установленные на автомобилях, собирают данные с нескольких камер, что позволяет строить трёхмерную карту окружения. В медицине технология используется для обучения хирургов: многовидовые записи операций дают возможность рассматривать процесс с разных ракурсов.

Образование и телекоммуникации

Многовидовое видео используется в системах дистанционного обучения и видеоконференцсвязи. Например, платформа «Сферум» (Россия) тестирует многовидовые решения для создания эффекта присутствия на уроках.

Технические вызовы

Пропускная способность

Передача многовидового видео в реальном времени требует высокой пропускной способности канала. Для 8-камерной системы с разрешением 4K каждая необходим битрейт порядка 200–400 Мбит/с. Для снижения нагрузки используются адаптивные методы: пользователю передаётся только выбранный ракурс и несколько соседних для синтеза.

Синхронизация

Разница во времени между кадрами разных камер не должна превышать 1 миллисекунды, иначе возникают артефакты движения. Для синхронизации применяются аппаратные генераторы тактовых импульсов или программные методы с коррекцией по меткам времени.

Синтез промежуточных ракурсов

Если зритель выбирает угол, не совпадающий ни с одной камерой, требуется синтез нового изображения. Современные методы, основанные на нейронных сетях (например, NeRF — Neural Radiance Fields), позволяют создавать высококачественные промежуточные виды, но требуют значительных вычислительных ресурсов.

Перспективы развития

С развитием сетей 5G и 6G ожидается массовое внедрение многовидового видео в мобильные устройства. В России ведётся работа над стандартом «Многовидовое видео для систем виртуальной реальности» в рамках технического комитета «Информационные технологии» (ТК 22). Прогнозируется, что к 2030 году многовидовое видео станет основным форматом для трансляций крупных событий и дистанционного присутствия.

Критика

Основные недостатки технологии связаны с высокой стоимостью оборудования и сложностью монтажа. Для домашнего использования многовидовые системы пока недоступны из-за требований к камерам и вычислительной мощности. Кроме того, у некоторых пользователей многовидовое видео вызывает киберболезнь (симптомы укачивания) из-за несоответствия между визуальным и вестибулярным восприятием.

Источники

1. ISO/IEC 14496-10:2012 — Information technology — Coding of audio-visual objects — Part 10: Advanced Video Coding (включая Annex H: Multiview Video Coding).
2. Smolic A., Mueller K., Merkle P. et al. Multi-view Video Coding: A Survey // IEEE Signal Processing Magazine. — 2007. — Vol. 24, No. 6. — P. 58–70.
3. Труды конференции «Цифровая обработка сигналов и её применение» (DSPA), 2019–2023, секция «Многовидовое видео и виртуальная реальность».
4. ГОСТ Р 59847-2021 — «Технологии виртуальной реальности. Термины и определения».
5. Отчёты НИР ИППИ РАН «Методы синтеза промежуточных ракурсов в многовидовых видеосистемах», 2020–2022.