Leap Motion

Leap Motion — это технология отслеживания движений рук и пальцев без физического контакта, а также одноимённое устройство (контроллер), разработанное американской компанией Leap Motion, Inc. (основана в 2010 году, с 2019 года — часть компании Ultraleap). Технология позволяет пользователю управлять компьютером или другим устройством с помощью жестов, распознаваемых оптическими датчиками, без использования мыши, клавиатуры или сенсорного экрана. Leap Motion относится к классу оптических трекеров для взаимодействия с виртуальной и дополненной реальностью (VR/AR), а также для настольных приложений.

История

Разработка и запуск

Компания Leap Motion, Inc. была основана в 2010 году предпринимателями Майклом Баквальдом и Дэвидом Хольцем. Идея заключалась в создании компактного и недорогого устройства, способного с высокой точностью отслеживать движения кистей и пальцев рук. В 2012 году компания представила прототип контроллера, который вызвал значительный интерес в технологическом сообществе. В 2013 году начались поставки первых коммерческих версий устройства для разработчиков, а в июле 2013 года — для широкой публики.

Технологические вехи

Первоначально Leap Motion позиционировался как периферийное устройство для настольных компьютеров, позволяющее заменить мышь жестами. Однако точность отслеживания и ограниченное поле обзора (примерно 150° по вертикали и 120° по горизонтали) не позволили устройству стать массовым в этом сегменте. В 2014 году компания выпустила обновление программного обеспечения, улучшившее распознавание жестов.

В 2016 году Leap Motion представила технологию отслеживания рук для виртуальной реальности (VR) — модуль, который крепился на шлемы VR (например, Oculus Rift, HTC Vive). Это позволило пользователям видеть свои руки в виртуальном пространстве и взаимодействовать с объектами естественным образом. В 2018 году компания анонсировала версию контроллера для встраивания в носимые устройства (например, в очки дополненной реальности).

Слияние с Ultraleap

В 2019 году Leap Motion, Inc. объединилась с британской компанией Ultrahaptics, специализирующейся на технологии тактильной обратной связи с помощью ультразвука. Объединённая компания получила название Ultraleap. С этого момента технология Leap Motion стала развиваться в рамках Ultraleap, интегрируясь с системами, создающими ощущение прикосновения в воздухе. В 2023 году Ultraleap выпустила новое поколение трекеров — Leap Motion Controller 2, с улучшенным разрешением камер и увеличенным полем обзора.

Устройство и принцип работы

Аппаратная часть

Контроллер Leap Motion представляет собой небольшое устройство (размером примерно 80×30×12 мм), содержащее две монохромные камеры (CMOS-сенсоры) и три инфракрасных светодиода (LED). Камеры работают в инфракрасном спектре (длина волны около 850 нм), что позволяет устройству работать в условиях различного освещения. Светодиоды подсвечивают руки пользователя, а камеры фиксируют отражённый свет. Устройство подключается к компьютеру через USB-порт (USB 2.0 или 3.0) и имеет частоту кадров до 120 кадров в секунду.

Программное обеспечение

Данные с камер обрабатываются на компьютере с помощью проприетарного программного обеспечения Leap Motion. Алгоритмы компьютерного зрения анализируют изображения, определяя положение и ориентацию кистей, пальцев (включая суставы) и ладоней. Программное обеспечение строит 3D-модель руки в реальном времени, отслеживая до 27 точек (включая кончики пальцев, суставы и центр ладони). Точность отслеживания, по заявлению производителя, составляет менее 1 миллиметра в идеальных условиях.

Поле обзора и ограничения

Рабочая зона устройства представляет собой перевёрнутый конус, исходящий из центра контроллера. Максимальная дальность отслеживания — около 60–80 см от устройства. Leap Motion не отслеживает движения тела, ног или предметов, не являющихся руками. Кроме того, устройство может испытывать трудности при распознавании рук в условиях сильного засвета (прямой солнечный свет) или при быстрых, резких движениях.

Применение

Виртуальная и дополненная реальность

Основное применение Leap Motion в 2010-х — начале 2020-х годов — взаимодействие с виртуальной и дополненной реальностью. Устройство позволяет пользователю «видеть» свои руки в виртуальном мире и манипулировать объектами: брать, бросать, вращать, нажимать кнопки. Это используется в:

• Играх и симуляторах (например, в играх для VR, где требуется естественное управление).
• Образовательных приложениях (виртуальные лаборатории, анатомические атласы).
• Профессиональных тренажёрах (отработка навыков в хирургии, пилотировании, ремонте).
• Промышленном дизайне (моделирование и прототипирование в 3D-пространстве).

Настольные приложения

В настольном режиме Leap Motion использовался для:

• Управления интерфейсом (жесты для прокрутки, масштабирования, переключения окон).
• Музыкального творчества (управление синтезаторами и эффектами с помощью движений рук).
• Медицинских приложений (бесконтактное управление оборудованием в операционных, чтобы избежать загрязнения).
• Образовательных проектов (интерактивные доски, обучение жестовому языку).

Исследования и разработки

Leap Motion активно применяется в научных исследованиях, связанных с взаимодействием человека и компьютера (HCI), робототехникой (управление манипуляторами), реабилитацией (тренировка моторики рук после травм) и психологией (изучение жестов и невербальной коммуникации).

Критика и ограничения

Технические недостатки

• Ограниченное поле обзора: устройство требует, чтобы руки находились строго в определённой зоне перед контроллером. При выходе из зоны отслеживание теряется.
• Чувствительность к условиям: яркий свет, отражения от поверхностей и быстрые движения могут снижать точность.
• Отсутствие тактильной обратной связи: пользователь не чувствует прикосновения к виртуальным объектам, что может снижать реалистичность взаимодействия (проблема частично решается в продуктах Ultraleap с помощью ультразвуковой тактильной обратной связи).
• Зависимость от вычислительной мощности: обработка данных с камер требует значительных ресурсов процессора, что может быть проблемой на маломощных устройствах.

Рыночные проблемы

• Высокая цена для массового рынка: на момент выхода стоимость контроллера составляла около 80 долларов США, что было сопоставимо с ценой качественной мыши или клавиатуры, но не давало очевидного преимущества для большинства пользователей.
• Отсутствие killer-приложения: не было создано массового программного обеспечения, которое бы сделало Leap Motion незаменимым для обычного пользователя.
• Конкуренция: на рынке появились более дешёвые и интегрированные решения (например, трекинг рук в шлемах Oculus Quest 2, HoloLens 2), которые не требовали отдельного устройства.

Интересные факты

• В 2013 году Leap Motion был включён в список «50 лучших изобретений года» по версии журнала Time.
• Технология использовалась в проектах по созданию виртуальных клавиатур, где пользователь мог «печатать» в воздухе, а система распознавала нажатия.
• Leap Motion применялся в некоторых музеях и выставочных пространствах для создания интерактивных инсталляций, где посетители могли управлять проекциями с помощью жестов.
• В 2014 году компания выпустила SDK (Software Development Kit) для разработчиков, что стимулировало создание множества приложений и игр, включая проекты для образовательных целей.

Источники

• Официальный сайт Ultraleap (раздел о Leap Motion).
• Статья «Leap Motion: A New Way to Interact with Computers» (Wired, 2013).
• Документация Leap Motion SDK (версии 2 и 3).
• Обзоры и тесты в журналах «PC Magazine», «TechCrunch», «The Verge».
• Материалы конференций по взаимодействию человека и компьютера (CHI, SIGGRAPH).