2,5-мерный набросок

2,5-мерный набросок (англ. 2.5D sketch) — это концепция в области компьютерного зрения и психологии восприятия, описывающая промежуточное представление визуальной сцены, которое содержит информацию о глубине и ориентации поверхностей, но не является полноценной трёхмерной моделью. Термин был введён британским психологом Дэвидом Марром в конце 1970-х годов в рамках его теории зрительного восприятия. В отличие от двумерного изображения (2D), 2,5-мерный набросок включает данные о расстоянии до объектов и их рельефе, но, в отличие от полной трёхмерной модели (3D), не описывает объёмную структуру объектов, скрытые поверхности или их внутреннюю геометрию.

История возникновения

Концепция 2,5-мерного наброска была разработана Дэвидом Марром в его книге «Vision: A Computational Investigation into the Human Representation and Processing of Visual Information» (1982). Марр предложил многоуровневую модель зрительного восприятия, которая объясняет, как человеческий мозг преобразует световые сигналы, попадающие на сетчатку глаза, в осмысленное представление окружающего мира. Согласно его теории, обработка зрительной информации проходит через несколько стадий:

• Первичный набросок (primal sketch) — начальное представление, фиксирующее контуры, текстуры и изменения яркости в двумерном изображении.
• 2,5-мерный набросок — промежуточное представление, которое добавляет информацию о глубине, ориентации поверхностей и их относительном положении в пространстве, но остаётся привязанным к точке наблюдения.
• Трёхмерная модель (3D model representation) — конечное представление, описывающее объекты как объёмные структуры, независимые от точки зрения.

Марр утверждал, что 2,5-мерный набросок является ключевым этапом, поскольку он позволяет мозгу оценивать расстояния до объектов и их форму, не прибегая к полному трёхмерному моделированию, что вычислительно более экономично.

Характеристики 2,5-мерного наброска

2,5-мерный набросок отличается от других типов визуальных представлений по нескольким параметрам:

• Привязка к точке наблюдения: информация о глубине и ориентации поверхностей даётся относительно текущей позиции наблюдателя. При смене точки зрения набросок должен пересчитываться заново.
• Неполнота данных: в отличие от трёхмерной модели, 2,5-мерный набросок не содержит сведений о скрытых частях объектов (например, задней стороне куба) или их внутренней структуре.
• Поверхностное описание: представление фокусируется на видимых поверхностях, их наклоне, расстоянии до них и границах между ними. Объекты не рассматриваются как целостные объёмы.
• Использование глубинных сигналов: для построения наброска мозг использует такие признаки, как стереопсис (разница в изображениях от двух глаз), движение (параллакс), текстура градиентов, тени и относительный размер объектов.

Методы построения в компьютерном зрении

В компьютерном зрении 2,5-мерный набросок часто реализуется через карты глубины (depth maps) и карты нормалей (normal maps). Карта глубины представляет собой двумерное изображение, где каждому пикселю приписывается значение расстояния от камеры до соответствующей точки поверхности. Карта нормалей кодирует ориентацию поверхности (направление перпендикуляра к ней) в каждом пикселе. Основные методы построения таких представлений включают:

• Стереозрение: анализ двух изображений, полученных с разных точек (например, от двух камер), для вычисления диспаритета (смещения) и последующего восстановления глубины.
• Структура из движения (structure from motion): восстановление глубины и движения камеры по последовательности кадров видео.
• Лазерное сканирование: прямое измерение расстояний с помощью лазерных дальномеров (LiDAR).
• Фотограмметрия: реконструкция трёхмерной сцены по набору фотографий с разных ракурсов.
• Глубокое обучение: использование свёрточных нейронных сетей для оценки глубины по одному изображению (monocular depth estimation) или для предсказания карт нормалей.

Применение

2,5-мерные представления широко используются в различных областях, где требуется информация о пространственной структуре сцены, но полное трёхмерное моделирование избыточно или невозможно:

• Робототехника: навигация мобильных роботов, оценка препятствий и планирование маршрута на основе карт глубины, полученных с камер глубины (например, Microsoft Kinect или Intel RealSense).
• Компьютерная графика: создание эффектов глубины резкости (depth of field), размытия фона (bokeh), наложения теней и рельефного текстурирования (bump mapping). В игровой индустрии 2,5-мерные данные используются для рендеринга сцен в реальном времени, где полные трёхмерные модели слишком ресурсоёмки.
• Дополненная и виртуальная реальность: совмещение виртуальных объектов с реальной сценой требует знания глубины для корректного позиционирования и затенения.
• Медицинская визуализация: обработка данных ультразвуковых исследований, где изображения представляют собой срезы (2D), но могут быть дополнены информацией о глубине для 2,5-мерной реконструкции.
• Фотография: программные алгоритмы (например, в смартфонах) используют карты глубины для имитации портретного режима с размытым фоном.

Критика и развитие концепции

Концепция 2,5-мерного наброска Дэвида Марра подвергалась критике со стороны некоторых исследователей в области психологии восприятия. Основные замечания касаются того, что мозг человека может не строить отдельного промежуточного представления, а сразу переходить к трёхмерной интерпретации сцены, используя более сложные механизмы. Кроме того, экспериментальные данные показывают, что восприятие глубины и ориентации поверхностей у человека не всегда соответствует строгой иерархической модели Марра.

Тем не менее, концепция остаётся полезной в вычислительных системах, где 2,5-мерный набросок служит эффективным компромиссом между простотой двумерных изображений и сложностью полных трёхмерных моделей. Современные подходы в компьютерном зрении, такие как нейросетевые методы, часто объединяют этапы построения 2,5-мерного наброска и трёхмерной реконструкции в единую сквозную архитектуру, что позволяет повысить точность и скорость обработки.

Примеры в культуре и технологиях

Термин «2,5-мерный» также используется в более широком смысле для описания визуальных стилей, которые имитируют трёхмерность без полного объёмного моделирования. Например:

• 2,5D-игры: видеоигры, где игровой процесс происходит в двумерной плоскости, но графика использует трёхмерные модели или перспективу для создания иллюзии глубины (например, серия игр LittleBigPlanet или Paper Mario).
• 2,5D-анимация: техника, при которой двумерные спрайты размещаются в трёхмерном пространстве, что позволяет создавать эффект движения камеры и параллакса (например, в фильмах студии Disney в 1990-х годах).

Эти примеры не связаны напрямую с концепцией Марра, но разделяют общий принцип: использование ограниченной информации о глубине для создания пространственного впечатления при сохранении простоты двумерного подхода.

Источники

• Marr, D. (1982). Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. W. H. Freeman.
• Poggio, T., & Hurlbert, A. (1994). «David Marr’s Computational Theory of Vision». Artificial Intelligence, 70(1–2), 1–29.
• Szeliski, R. (2010). Computer Vision: Algorithms and Applications. Springer.
• Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision. Cambridge University Press.