Пространственное видео: форматы и съемка¶

Пространственное видео — это тип видеозаписи, созданный для воспроизведения на устройствах виртуальной (VR) и дополненной (AR) реальности, который имитирует бинокулярное зрение человека и обеспечивает эффект глубины и объёма при просмотре. В отличие от традиционного 2D-видео, пространственное видео передаёт информацию о расстоянии до объектов, что позволяет зрителю воспринимать сцену как трёхмерную при использовании специальных дисплеев (например, гарнитур Apple Vision Pro, Meta Quest 3 и других устройств). Ключевым отличием от «панорамного» или «360-градусного» видео является наличие стереоскопической пары изображений, а не просто широкого угла обзора.

¶Форматы и технические характеристики

Пространственное видео не является единым стандартом. Технически оно представляет собой стереопару — два видеопотока, снятых с разных точек, соответствующих расположению левого и правого глаза. Существует несколько способов кодирования и хранения этой информации.

¶Стереоскопические форматы

Наиболее распространённые форматы хранения пространственного видео основаны на упаковке двух кадров в один:

• Side-by-Side (SBS): кадры для левого и правого глаза располагаются рядом друг с другом, сжатые по горизонтали. Этот формат совместим с большинством VR-плееров и прост в обработке.
• Over-Under (OU): кадры располагаются друг над другом (вертикальная упаковка). Используется реже, но иногда применяется для сохранения вертикального разрешения.
• MVC (Multiview Video Coding): расширение стандарта H.264/HEVC, которое хранит один полный кадр и данные о разнице для второго глаза. Это эффективнее по размеру файла, но требует аппаратной поддержки декодирования.

¶Иммерсивные форматы (VR)

Для полноценного погружения в виртуальную реальность используется иммерсивное видео (immersive video). Оно сочетает стереоскопию с панорамным обзором на 180° или 360°. В таких форматах (например, VR180 или VR360) стереопары «склеиваются» в сферическую проекцию (чаще всего — equirectangular). При просмотре через VR-шлем зритель может осматриваться по сторонам, сохраняя ощущение глубины.

¶Форматы Apple и индустриальные стандарты

В 2023 году компания Apple представила собственный формат для пространственного видео, используемый в гарнитуре Apple Vision Pro. Он базируется на кодеках HEVC и использует стереоскопическую пару с метаданными глубины. В отличие от классических форматов, он оптимизирован для плавного переключения фокуса и просмотра на «пространственном дисплее». В индустрии также распространены открытые стандарты, такие как OpenXR и спецификации MPEG-I, которые стандартизируют передачу и рендеринг объёмного видео.

¶Съёмка пространственного видео

Съёмка пространственного видео требует специального оборудования, способного фиксировать изображение с двух точек одновременно.

¶Оборудование

• Профессиональные стереокамеры: системы из двух синхронизированных камер (например, RED, Z-Cam, Insta360 Pro), закреплённых на жёсткой штанге. Расстояние между объективами (стереобаза) обычно составляет от 6 до 12 сантиметров, имитируя расстояние между зрачками человека.
• VR-камеры: устройства с несколькими объективами (от 4 до 16), которые снимают полную сферу. Для стереоскопического 3D используется два набора объективов на одном корпусе.
• Смартфоны и потребительские устройства: современные флагманские смартфоны (например, iPhone 15 Pro и новее) позволяют снимать пространственное видео за счёт двух основных камер, расположенных на небольшом расстоянии друг от друга. Также существуют специализированные модули, такие как Canon RF-S7.8mm F4 STM Dual для беззеркальных камер.

¶Ключевые параметры съёмки

• Стереобаза (расстояние между объективами): влияет на передачу масштаба. Слишком большое расстояние создаёт эффект «миниатюры», слишком маленькое — «картонности» (отсутствие объёма).
• Синхронизация: камеры должны быть жёстко синхронизированы по времени, чтобы избежать «двоения» изображения при движении объектов.
• Сходимость осей: объективы могут быть установлены параллельно или со сведением в точку фокусировки. Параллельная установка проще для постобработки, но сведение улучшает комфорт при просмотре близких объектов.
• Глубина резкости: при съёмке пространственного видео рекомендуется использовать закрытую диафрагму (большое значение f-числа), чтобы большая часть сцены была в фокусе, так как зритель может переводить взгляд на разные планы.

¶Постобработка и рендеринг

После съёмки полученные стереопары требуют обработки. Основные этапы включают:

1. Калибровка и выравнивание: программное обеспечение (например, Mistika VR, Autopano Video Pro) совмещает левый и правый кадры по вертикали и горизонтали, компенсируя оптические искажения объективов.
2. Цветокоррекция: для согласования цветовой температуры и экспозиции обоих каналов.
3. Маппинг и проекция: для VR-форматов кадры преобразуются в сферическую проекцию.
4. Конвертация в целевой формат: сжатие в SBS, OU или MVC с учётом требований платформы распространения.

¶Применение

Пространственное видео используется в нескольких ключевых областях:

• Кинематограф и развлечения: создание короткометражных VR-фильмов и документальных проектов.
• Образование и медицина: трансляция хирургических операций и учебных материалов с эффектом присутствия.
• Промышленность и архитектура: визуализация проектов зданий и контроль качества на производстве.
• Социальные сети и коммуникации: платформы (например, Meta Quest TV или приложение Spatial) позволяют пользователям делиться пространственными роликами и просматривать их в VR-шлемах.

¶Критика и ограничения

Основным ограничением технологии является необходимость специального оборудования для просмотра (VR-гарнитуры или автостереоскопические дисплеи). Просмотр на обычном мониторе сводит эффект к простому 2D-видео. Также существуют проблемы с утомляемостью глаз при длительном просмотре из-за конфликта аккомодации и конвергенции. Кроме того, отсутствие единого стандарта распространения замедляет массовое внедрение формата.