Depth-сенсор

Depth-сенсор (от англ. depth — глубина) — это устройство или модуль, предназначенный для получения информации о расстоянии до объектов в поле своего обзора и построения трёхмерной карты окружающего пространства (карты глубины). В отличие от обычных камер, фиксирующих двумерное изображение (цвет и яркость), depth-сенсор измеряет третью координату — удалённость каждой точки сцены от сенсора. Полученные данные используются в системах компьютерного зрения, робототехнике, дополненной и виртуальной реальности, биометрии, промышленной автоматизации и других областях, где требуется пространственное восприятие.

Принципы работы

Существует несколько основных технологий, лежащих в основе depth-сенсоров. Выбор конкретного метода зависит от требуемой точности, дальности, условий освещения и стоимости.

Стереозрение

Метод основан на анализе двух изображений, полученных с двух камер, разнесённых на известное расстояние (базис). Алгоритмы компьютерного зрения находят соответствия между пикселями на левом и правом снимках и, используя принцип триангуляции, вычисляют расстояние до каждой точки. Стереосистемы пассивны (не излучают энергию), работают при естественном освещении, но требуют достаточной текстуры объектов и вычислительных ресурсов.

Структурированная подсветка

Сенсор проецирует на сцену известный узор (например, сетку из точек или линий) в инфракрасном (ИК) или видимом диапазоне. ИК-камера фиксирует искажения этого узора на поверхности объектов. По степени искажения программно восстанавливается форма объекта. Этот метод обеспечивает высокую точность на небольших расстояниях (до нескольких метров) и широко применяется в системах распознавания лиц (например, Face ID в iPhone от Apple).

Time-of-Flight (ToF)

Принцип ToF (времяпролётный) заключается в измерении времени, за которое испущенный импульс света (обычно лазерный, в ближнем ИК-диапазоне) достигает объекта и возвращается обратно к сенсору. Зная скорость света, расстояние вычисляется по формуле: расстояние = (скорость света × время задержки) / 2. ToF-сенсоры бывают прямого измерения (dToF) и косвенного (iToF). Они компактны, быстры (до 60 кадров в секунду и выше) и работают в широком диапазоне освещённости, включая полную темноту. Дальность действия обычно составляет от нескольких сантиметров до 10–15 метров.

Лазерное сканирование (LiDAR)

LiDAR (Light Detection and Ranging) — технология, при которой лазерный луч сканирует пространство по одной или нескольким осям (например, вращаясь). Измеряется время возврата каждого импульса, в результате формируется облако точек с высокой точностью (до нескольких миллиметров) на больших расстояниях (до сотен метров). LiDAR-системы используются в автономных автомобилях, геодезии, картографии и архитектуре. В последние годы компактные твердотельные LiDAR начали устанавливаться в планшеты и смартфоны (например, в устройствах Apple Pro).

Классификация

Depth-сенсоры можно классифицировать по нескольким признакам.

По активному/пассивному принципу

• Пассивные: стереокамеры, фотограмметрические системы. Не излучают энергию, зависят от внешнего освещения.
• Активные: ToF, структурированная подсветка, LiDAR. Используют собственный источник излучения, работают в темноте.

По дальности действия

• Ближнего радиуса (до 1–2 м): для распознавания лиц, жестов, сканирования мелких объектов.
• Среднего радиуса (до 10–30 м): для роботов, дронов, бытовых приложений.
• Дальнего радиуса (сотни метров и километры): для автономного транспорта, геодезии, военных задач.

По типу выходных данных

• Карта глубины: двумерный массив, где каждому пикселю соответствует значение расстояния.
• Облако точек: набор трёхмерных координат (x, y, z), часто с дополнительной информацией (цвет, интенсивность).
• Трёхмерная сетка (mesh): полигональная модель поверхности.

Устройство и компоненты

Типичный активный depth-сенсор (например, ToF или структурированная подсветка) включает следующие ключевые компоненты:

• Источник излучения: лазерный диод (обычно класса 1, безопасный для глаз) или светодиод, работающий в ближнем ИК-диапазоне (850–940 нм).
• Оптическая система: линзы для формирования и проецирования узора или луча, а также объектив для приёмной камеры.
• Сенсор (фотоприёмник): матрица, чувствительная к ИК-излучению. В ToF-сенсорах используются специальные пиксели, способные измерять фазу или время прихода сигнала.
• Процессор обработки сигналов (ISP): микросхема, выполняющая первичную обработку данных (коррекция искажений, вычисление глубины, фильтрация шумов).
• Интерфейс передачи данных: обычно USB, MIPI, Ethernet или SPI для связи с хост-системой.

Применение

Биометрия и безопасность

Depth-сенсоры используются для трёхмерного распознавания лиц (Face ID, Windows Hello). Благодаря карте глубины система отличает реальное лицо от фотографии или маски. В России технология применяется в системах контроля доступа и идентификации, например, в банковских приложениях и государственных сервисах.

Дополненная и виртуальная реальность (AR/VR)

В шлемах и очках (например, Microsoft HoloLens, Meta Quest Pro) depth-сенсоры обеспечивают пространственное позиционирование, сканирование окружающей среды для размещения виртуальных объектов и взаимодействия с ними. В России разработкой AR/VR-устройств с depth-сенсорами занимаются компании «Моторика» и «Сбер».

Робототехника и автономные системы

Мобильные роботы (пылесосы, курьеры, промышленные манипуляторы) используют depth-сенсоры для построения карт помещений (SLAM), обнаружения препятствий и захвата объектов. В беспилотных автомобилях (Яндекс.Такси, КамАЗ) LiDAR-системы являются ключевым элементом восприятия дорожной обстановки.

Промышленность и контроль качества

На производстве depth-сенсоры применяются для инспекции изделий: проверка геометрии, выявление дефектов, измерение объёмов. В логистике — для измерения габаритов грузов и автоматизации сортировки.

Медицина и реабилитация

Трёхмерное сканирование тела используется для ортопедии (изготовление протезов и ортезов), в стоматологии (внутриротовые сканеры), а также для анализа движений в реабилитационных центрах.

Развлечения и игры

Игровые консоли (Microsoft Kinect, Sony PlayStation Camera) использовали depth-сенсоры для отслеживания движений игрока. В настоящее время технология применяется в фитнес-приложениях и анимации.

Примеры устройств

• Microsoft Kinect v1 (2010): использовал структурированную подсветку (технология PrimeSense). Позволял отслеживать скелет человека в реальном времени.
• Microsoft Kinect v2 (2013): перешёл на ToF-технологию, обеспечившую более высокое разрешение и точность.
• Intel RealSense: семейство модулей (D415, D435), работающих по принципу активного стереозрения с ИК-подсветкой. Широко применяются в робототехнике и исследованиях.
• Apple Face ID (с 2017): использует миниатюрный проектор точек (структурированная подсветка) и ИК-камеру для распознавания лица.
• Apple LiDAR Scanner (с 2020): твердотельный ToF-сенсор в iPad Pro и iPhone Pro для AR-приложений и быстрого сканирования помещений.
• Sony DepthSense: ToF-сенсоры, применяемые в камерах смартфонов (например, в Xperia) для улучшения портретного режима и AR.
• Ouster, Velodyne, Hesai: LiDAR-системы для автономных автомобилей и геодезии.

Критика и ограничения

Несмотря на широкое распространение, depth-сенсоры имеют ряд недостатков:

• Зависимость от условий: активные сенсоры могут давать сбои при ярком солнечном свете (засветка ИК-канала), на отражающих (зеркала, стекло) или поглощающих (чёрные матовые поверхности) объектах.
• Ограниченная дальность: большинство компактных сенсоров (ToF, структурированная подсветка) работают эффективно на расстоянии до 5–10 метров.
• Помехи от других сенсоров: при одновременной работе нескольких устройств с одинаковой длиной волны возможны взаимные помехи.
• Энергопотребление: активные сенсоры (особенно LiDAR) потребляют значительную мощность, что ограничивает их применение в портативных устройствах.
• Стоимость: высокоточные LiDAR-системы остаются дорогими (от сотен до десятков тысяч долларов), хотя цены постепенно снижаются.

Перспективы развития

Основные направления развития depth-сенсоров включают:

• Миниатюризация: интеграция в чипы (системы-на-кристалле, SoC) для использования в смартфонах, умных часах и очках.
• Повышение разрешения и частоты кадров: до 4K и 120 кадров/с для более точного захвата движений.
• Совмещение технологий: гибридные системы, объединяющие ToF, стереозрение и LiDAR для компенсации недостатков каждого метода.
• Развитие твердотельных LiDAR: без движущихся частей, что снижает стоимость и повышает надёжность.
• Использование новых диапазонов: например, коротковолнового инфракрасного (SWIR) для работы в условиях тумана и дыма.

В России разработкой depth-сенсоров занимаются в научно-исследовательских институтах (например, НИИ «Полюс» им. М. Ф. Стельмаха) и частных компаниях (например, «Лаборатория лазерных технологий»). Технология активно внедряется в системы «Умный город», промышленную автоматизацию и оборонную промышленность.

Источники

• ГОСТ Р 57495-2017 «Системы компьютерного зрения. Термины и определения»
• Учебное пособие «Компьютерное зрение: современные методы и алгоритмы» (под ред. А. В. Гаврилова, 2020)
• Техническая документация Intel RealSense SDK
• Доклады конференции CVPR (Computer Vision and Pattern Recognition)
• Статьи журнала «Сенсорные системы» (РАН)
• Материалы сайта Apple Developer (Face ID, LiDAR)
• Обзорные статьи по LiDAR-технологиям (журнал «Фотоника», 2021–2023)