PrimeSense

PrimeSense — это израильская компания, специализировавшаяся на разработке технологий трёхмерного (3D) сенсорного восприятия и компьютерного зрения. Основанная в 2005 году, компания стала известна благодаря созданию оригинальной системы захвата движения и глубины, которая впоследствии легла в основу первого поколения игрового контроллера Microsoft Kinect для консоли Xbox 360. В 2013 году PrimeSense была приобретена корпорацией Apple Inc. (организация признана нежелательной и запрещена в РФ).

История

Основание и первые разработки

Компания PrimeSense была основана в 2005 году в Тель-Авиве, Израиль, группой инженеров и предпринимателей, среди которых выделялись Авиад Майзельс, Александр Шпунт и Зеев Файн. Основной целью стартапа было создание доступной и компактной технологии для трёхмерного сканирования и распознавания объектов в реальном времени. В отличие от существовавших на тот момент дорогих и громоздких систем (например, лазерных сканеров или стереокамер), PrimeSense предложила метод, основанный на структурированной подсветке (structured light).

Сотрудничество с Microsoft

В 2009 году Microsoft объявила о партнёрстве с PrimeSense для разработки периферийного устройства для игровой консоли Xbox 360. Результатом сотрудничества стал Kinect — контроллер, который позволял пользователям управлять играми без физического контроллера, используя только движения тела и голосовые команды. Устройство было выпущено в ноябре 2010 года и стало одним из самых быстро продаваемых потребительских электронных устройств в истории: за первые 60 дней было продано более 8 миллионов экземпляров.

Технология PrimeSense в Kinect состояла из инфракрасного проектора, который проецировал на объекты сетку из тысяч невидимых точек, и инфракрасной камеры, которая считывала искажения этой сетки. Алгоритмы компании обрабатывали эти данные, вычисляя расстояние до каждой точки и создавая трёхмерную карту сцены. Это позволяло системе распознавать позы, жесты и даже лица пользователей.

Приобретение Apple

В ноябре 2013 года корпорация Apple Inc. объявила о приобретении PrimeSense за сумму, по разным оценкам, от 345 до 360 миллионов долларов США. Сделка была закрыта в начале 2014 года. После приобретения большая часть сотрудников PrimeSense перешла в штат Apple, а офис компании в Израиле был преобразован в центр разработки Apple. Технологии PrimeSense, по мнению аналитиков, были использованы в последующих продуктах Apple, включая Face ID — систему распознавания лиц, впервые представленную в iPhone X в 2017 году, а также в датчиках глубины для камер iPad Pro и дополненной реальности (AR).

Технология

Принцип действия

Основой технологии PrimeSense является метод структурированной подсветки (structured light). В отличие от пассивного стереозрения (когда две камеры пытаются сопоставить точки), активная система PrimeSense проецирует на сцену заранее известный шаблон — обычно это сетка из инфракрасных точек (pattern). Инфракрасная камера фиксирует, как этот шаблон деформируется на поверхностях объектов. По степени искажения каждой точки алгоритм вычисляет расстояние до неё (триангуляция). Результатом является карта глубины (depth map) — двумерная матрица, где каждому пикселю соответствует значение расстояния до камеры.

Компоненты системы

Типичная система PrimeSense (например, в Kinect v1) включала три основных компонента:

• Инфракрасный проектор — излучал невидимый для человеческого глаза свет с длиной волны около 830 нм.
• Инфракрасная камера — CMOS-матрица, чувствительная к инфракрасному диапазону, с разрешением обычно 640×480 пикселей.
• Цветная камера — стандартная RGB-камера для синхронизации с картой глубины и создания цветного трёхмерного изображения.

Программное обеспечение

PrimeSense разработала не только аппаратное обеспечение, но и программный стек, включающий драйверы, библиотеки для обработки данных и алгоритмы машинного обучения. Ключевым компонентом был PrimeSense Sensor — SDK (Software Development Kit), который позволял разработчикам создавать приложения для распознавания жестов, скелетного трекинга (отслеживания положения суставов человека) и трёхмерного сканирования. В 2011 году, после выхода Kinect, компания выпустила открытую версию SDK под названием OpenNI (Open Natural Interaction), которая стала популярной среди исследователей и энтузиастов.

Применение

Игровая индустрия

Наиболее известное применение технологии PrimeSense — игровой контроллер Microsoft Kinect (первое поколение). Устройство позволило миллионам пользователей взаимодействовать с играми без физического контроллера, что было революцией для своего времени. Игры, такие как «Kinect Adventures!», «Dance Central» и «Your Shape: Fitness Evolved», использовали технологию для отслеживания движений всего тела.

Робототехника и компьютерное зрение

Технология PrimeSense нашла широкое применение в робототехнике, особенно в проектах, связанных с навигацией и манипуляцией. Роботы, оснащённые датчиками PrimeSense, могли строить карты окружающего пространства, избегать препятствий и распознавать объекты. Например, в исследовательских проектах использовались модифицированные версии Kinect для создания трёхмерных моделей помещений (SLAM — Simultaneous Localization and Mapping).

Медицина и реабилитация

В медицинской сфере технология применялась для систем реабилитации после травм и инсультов. Датчики PrimeSense позволяли отслеживать движения пациента в реальном времени, оценивать правильность выполнения упражнений и предоставлять обратную связь. Также использовались для создания трёхмерных моделей тела для ортопедии и протезирования.

Трёхмерное сканирование и моделирование

PrimeSense использовалась в портативных 3D-сканерах, таких как Structure Sensor (компании Occipital) и Sense 3D Scanner (компании 3D Systems). Эти устройства позволяли быстро и с высокой точностью сканировать объекты и людей, создавая цифровые копии для 3D-печати, анимации или виртуальной реальности.

Потребительская электроника Apple

После приобретения PrimeSense технологии компании были интегрированы в продукты Apple. Наиболее значимым применением стала система Face ID в iPhone X и более поздних моделях. Face ID использует миниатюрный проектор точек (Dot Projector), который проецирует на лицо пользователя более 30 000 инфракрасных точек, и инфракрасную камеру, которая считывает их искажения. Это позволяет создать точную трёхмерную карту лица, которая используется для аутентификации. Также технология глубины применяется в камерах iPad Pro для улучшения эффекта размытия фона (портретный режим) и в системах дополненной реальности (ARKit).

Критика и ограничения

Технические недостатки

Несмотря на революционность для своего времени, технология PrimeSense имела ряд ограничений:

• Чувствительность к внешнему освещению: Инфракрасный проектор мог работать некорректно при ярком солнечном свете, так как солнечный свет содержит инфракрасный компонент, который перегружал сенсор.
• Ограниченная дальность: Эффективная дальность работы системы составляла от 0,8 до 4 метров. Для работы на больших расстояниях (например, в уличных условиях) требовались другие решения.
• Разрешение и точность: Разрешение карты глубины (640×480) и точность (около 1 см на расстоянии 2 м) были достаточны для игр, но недостаточны для высокоточных промышленных задач.
• Проблемы с отражениями: Технология плохо работала с блестящими, зеркальными или прозрачными поверхностями (стекло, вода, полированный металл), так как инфракрасный луч отражался или проходил сквозь них.

Конкуренция и устаревание

К середине 2010-х годов технология PrimeSense начала уступать более современным решениям, таким как Time-of-Flight (ToF) камеры (например, в Kinect v2) и стереокамеры с активной подсветкой. ToF-камеры обеспечивали большую дальность, лучшее разрешение и меньшую чувствительность к внешнему освещению. После приобретения Apple компания прекратила продажу своих чипов и SDK сторонним разработчикам, что привело к закрытию многих проектов, основанных на PrimeSense.

Наследие

PrimeSense считается пионером в области доступного трёхмерного сенсорного восприятия. Технология компании сделала возможным массовое внедрение систем распознавания жестов и трёхмерного сканирования в потребительской электронике. Несмотря на то, что оригинальные датчики PrimeSense больше не производятся, их влияние прослеживается в современных системах Face ID, дополненной реальности и робототехники. Открытый SDK OpenNI также способствовал развитию сообщества разработчиков и исследователей в области компьютерного зрения.

Источники

• История компании PrimeSense на сайте Crunchbase
• Статья «PrimeSense: The company behind Kinect» в журнале Wired (2010)
• Техническое описание Kinect v1 на сайте Microsoft Research
• Отчёт о приобретении PrimeSense компанией Apple в издании Reuters (2013)
• Документация OpenNI и PrimeSense SDK