Многовидовое стереосопоставление

Многовидовое стереосопоставление — это метод компьютерного зрения, направленный на восстановление трёхмерной (3D) структуры сцены по двум или более изображениям, полученным с разных точек обзора. В отличие от классического бинокулярного (двухкадрового) стереосопоставления, многовидовой подход использует три и более кадра, что позволяет повысить точность, устойчивость к шумам и окклюзиям (закрытиям одних объектов другими), а также получать более плотные и детализированные карты глубины. Метод лежит в основе таких технологий, как фотограмметрия, 3D-реконструкция, автономное вождение и создание цифровых двойников.

История развития

Истоки многовидового стереосопоставления восходят к классической фотограмметрии XIX века, когда для построения карт местности использовались стереопары аэрофотоснимков. С развитием цифровой обработки изображений в 1970–1980-х годах начали разрабатываться алгоритмы автоматического сопоставления точек. Первые работы по многовидовому стерео (MVS) появились в 1990-х годах в контексте задач робототехники и навигации. Значительный прорыв произошёл в 2000-х годах с ростом вычислительных мощностей и появлением публичных наборов данных, таких как Middlebury и KITTI. В 2010-х годах методы MVS начали активно внедряться в системы дополненной и виртуальной реальности, а также в индустрию развлечений. С 2020-х годов доминирующим направлением стало использование глубоких нейронных сетей, которые позволяют обрабатывать неструктурированные наборы снимков (например, любительские фотографии) и восстанавливать сложные сцены.

Основные принципы и подходы

Геометрия многовидовой съёмки

В основе метода лежит эпиполярная геометрия, обобщённая на случай нескольких камер. Для каждой пары изображений существует эпиполярное ограничение, связывающее координаты соответствующих точек. В многовидовом случае задача сводится к нахождению таких точек в трёхмерном пространстве, которые при проецировании на все камеры дают согласованные координаты. Это позволяет не только оценить глубину, но и восстановить полную трёхмерную модель сцены.

Этапы обработки

Типичный пайплайн многовидового стереосопоставления включает:

1. Сбор и калибровка изображений. Получение набора снимков с известными или оценёнными параметрами камер (фокусное расстояние, положение, ориентация). Калибровка может быть жёсткой (с использованием калибровочных шаблонов) или мягкой (на основе сопоставления характерных точек).
2. Выделение и сопоставление признаков. Поиск на каждом изображении ключевых точек (углы, края, текстуры) и установление соответствий между ними. Для этого используются дескрипторы, такие как SIFT, SURF или ORB, а в современных нейросетевых подходах — обученные эмбеддинги.
3. Триангуляция. Вычисление трёхмерных координат для каждой пары соответствующих точек на основе параметров камер. Результатом является разреженное облако точек.
4. Плотное сопоставление. Для получения плотной карты глубины или 3D-модели применяются методы, оценивающие диспаритет (смещение) для каждого пикселя. В многовидовом случае это может быть выполнено с помощью глобальной оптимизации, основанной на энергии сглаживания, или с использованием свёрточных нейронных сетей.
5. Постобработка. Удаление выбросов, заполнение пробелов (например, в окклюзиях), сглаживание и текстурирование полученной модели.

Классификация методов

Методы многовидового стереосопоставления можно разделить по нескольким критериям.

По способу представления результата

• Методы на основе объёмов (volumetric). Сцена разбивается на воксели (трёхмерные пиксели), и для каждого вокселя оценивается вероятность его принадлежности поверхности. Примеры: Space Carving, DeepMVS.
• Методы на основе облаков точек (point-based). Восстанавливается множество трёхмерных точек, каждая из которых соответствует проекции на несколько изображений. Примеры: PatchMatch, COLMAP.
• Методы на основе мешей (mesh-based). Строится полигональная сетка, аппроксимирующая поверхность. Часто используется как этап постобработки.

По типу используемых данных

• Структурированные наборы. Изображения получены с камер с известным расположением (например, стереопара или калиброванная камера). Позволяют использовать более простые и быстрые алгоритмы.
• Неструктурированные наборы. Набор любительских фотографий, снятых с произвольных точек. Требуют предварительной оценки параметров камер (Structure from Motion, SfM).

По алгоритмическому подходу

• Классические (геометрические). Основаны на локальном сопоставлении текстур, глобальной оптимизации (например, Graph Cut, Belief Propagation) и детерминированных правилах. Пример: алгоритм из библиотеки OpenCV (StereoSGBM).
• Глубокого обучения (learning-based). Используют свёрточные нейронные сети (CNN) или трансформеры для оценки диспаритета или глубины напрямую. Примеры: MVSNet, CasMVSNet, TransMVSNet. Эти методы показывают наилучшие результаты на крупных наборах данных, но требуют больших вычислительных ресурсов и обучающих выборок.

Применение

Геодезия и картография

Многовидовое стереосопоставление является основой цифровой фотограмметрии. С его помощью по аэрофотоснимкам и спутниковым данным создаются цифровые модели рельефа (ЦМР) и ортофотопланы. В России этот метод активно используется для обновления топографических карт и мониторинга земель.

Промышленность и строительство

В промышленности метод применяется для контроля качества изделий, обратного инжиниринга и создания цифровых двойников. В строительстве — для мониторинга возведения объектов, расчёта объёмов земляных работ и проверки соответствия проектным данным.

Автономное вождение

В системах автономного вождения многовидовое стерео используется для построения карт глубины в реальном времени. Несколько камер (например, стереопара и боковые) позволяют оценивать расстояние до препятствий, пешеходов и других транспортных средств, а также восстанавливать трёхмерную структуру дорожной сцены.

Медицина

В медицинской визуализации метод применяется для реконструкции трёхмерных моделей органов по серии снимков (например, при эндоскопии или ультразвуковом исследовании). Это позволяет проводить виртуальные операции и планировать хирургические вмешательства.

Культурное наследие и развлечения

Многовидовое стереосопоставление используется для оцифровки исторических артефактов, архитектурных памятников и музейных экспонатов. В киноиндустрии и видеоиграх метод применяется для создания трёхмерных сцен по фотографиям реальных локаций.

Примеры реализации

Одним из наиболее известных программных инструментов, реализующих многовидовое стереосопоставление, является COLMAP — открытая библиотека, которая выполняет полный пайплайн от структуры по движению (SfM) до плотной реконструкции. COLMAP широко используется в научных исследованиях и промышленности.

В области глубокого обучения значительный вклад внесла архитектура MVSNet (2018), которая предложила эффективный способ построения объёмной стоимости (cost volume) на основе нескольких изображений. Её модификации, такие как CasMVSNet и R-MVSNet, позволили снизить требования к памяти и повысить скорость работы.

Ограничения и критика

Несмотря на значительные успехи, многовидовое стереосопоставление имеет ряд ограничений:

• Чувствительность к текстуре. Методы плохо работают на однородных поверхностях (например, стены без текстуры, небо, вода), где нет характерных точек для сопоставления.
• Окклюзии. Объекты, видимые только на одном или двух изображениях, не могут быть корректно восстановлены.
• Вычислительная сложность. Плотное сопоставление на больших наборах данных требует значительных вычислительных ресурсов и времени.
• Зависимость от калибровки. Точность реконструкции напрямую зависит от точности калибровки камер. Ошибки в параметрах приводят к искажениям модели.
• Проблема масштаба. При использовании некалиброванных снимков (например, из интернета) восстановить абсолютный масштаб сцены невозможно без дополнительной информации.

Источники

• Hartley, R., & Zisserman, A. (2003). Multiple View Geometry in Computer Vision. Cambridge University Press.
• Seitz, S. M., Curless, B., Diebel, J., Scharstein, D., & Szeliski, R. (2006). A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms. IEEE Conference on Computer Vision and Pattern Recognition.
• Yao, Y., Luo, Z., Li, S., Fang, T., & Quan, L. (2018). MVSNet: Depth Inference for Unstructured Multi-view Stereo. European Conference on Computer Vision (ECCV).
• Schönberger, J. L., & Frahm, J. M. (2016). Structure-from-Motion Revisited. IEEE Conference on Computer Vision and Pattern Recognition.
• OpenCV Documentation. (2023). Stereo Matching and Depth Estimation.