6th Sense

6th Sense — это коммерческое название серии устройств и технологий, разработанных группой исследователей Массачусетского технологического института (MIT) под руководством Пэтти Маес (Pattie Maes) и Пранава Мистри (Pranav Mistry) в 2009 году. Система представляет собой портативный интерфейс дополненной реальности, позволяющий пользователю взаимодействовать с цифровой информацией, проецируемой на физические объекты и поверхности, с помощью жестов, голосовых команд и распознавания образов. Проект получил широкую известность благодаря демонстрации на конференции TED в 2009 году и считается одним из ранних прототипов носимых вычислительных устройств, предвосхитивших современные очки дополненной реальности и смарт-часы.

История

Разработка «6th Sense» началась в 2008 году в рамках исследовательской группы Fluid Interfaces Group при MIT Media Lab. Основной целью было создание устройства, которое бы «стирало границы между физическим и цифровым миром», позволяя пользователю получать доступ к информации без использования традиционных экранов и клавиатур. Прототип был впервые публично представлен Пранавом Мистри на конференции TED в феврале 2009 года, где вызвал значительный интерес как в академической среде, так и среди широкой публики.

Название «6th Sense» (шестое чувство) отсылает к идее, что устройство добавляет человеку дополнительный канал восприятия — цифровую информацию, накладываемую на реальный мир. В отличие от предыдущих систем дополненной реальности, которые требовали громоздких шлемов или стационарных установок, «6th Sense» был компактным и носимым.

В 2009–2010 годах проект активно освещался в СМИ, однако впоследствии не получил коммерческого воплощения. Исследования в этой области продолжились в рамках других проектов MIT, а также вдохновили разработку коммерческих продуктов, таких как Google Glass и Microsoft HoloLens. Пранав Мистри впоследствии покинул MIT и занялся другими проектами, включая работу в Samsung и создание собственного стартапа.

Устройство и принцип работы

Система «6th Sense» состояла из нескольких ключевых компонентов, которые в совокупности обеспечивали её функциональность:

• Проектор: Миниатюрный лазерный или LED-проектор, закреплённый на нагрудном ремне или подвеске. Он проецировал изображение на любую поверхность — стену, стол, ладонь пользователя или книгу.
• Камера: Веб-камера, направленная на область перед пользователем, захватывала изображение окружающей среды, включая жесты рук и объекты, на которые проецировалась информация.
• Зеркальце: Небольшое зеркало, закреплённое на проекторе, позволяло корректировать угол проецирования, делая изображение более чётким.
• Мобильное устройство: Смартфон или нетбук, размещённый в кармане пользователя, служил вычислительным центром. Он обрабатывал видеопоток с камеры, распознавал жесты и объекты, генерировал проецируемое изображение и обеспечивал беспроводное подключение к интернету.
• Цветные маркеры: Для распознавания жестов пальцев пользователя использовались цветные колпачки (красный, зелёный, жёлтый, синий), надеваемые на кончики пальцев. Камера отслеживала их движение, что позволяло системе интерпретировать жесты.

Принцип работы заключался в следующем: камера непрерывно сканирует поле зрения пользователя. Система распознаёт объекты (например, книгу, газету, рекламный плакат) или жесты (например, движение пальцев, формирующее рамку). Затем на основе распознанного объекта или жеста смартфон генерирует соответствующую информацию, которая проецируется на поверхность. Например, если пользователь держит в руке книгу, камера распознаёт её обложку, система находит в интернете рецензии и рейтинг, и проектор отображает эту информацию прямо на обложке книги.

Классификация и виды

«6th Sense» не имел массового производства и не делился на официальные модели. Однако в рамках исследовательского проекта были созданы несколько прототипов, различавшихся по конструкции и функциональности:

• Прототип на основе нагрудного ремня: Наиболее известная версия, демонстрировавшаяся на TED. Проектор и камера крепились на ремне, носимом на шее. Пользователь носил цветные маркеры на пальцах.
• Прототип на основе головного убора: В некоторых экспериментах использовалась гарнитура, закреплённая на кепке или бейсболке, что позволяло освободить руки и улучшить угол обзора камеры.
• Программное обеспечение: Исходный код системы был частично опубликован в открытом доступе, что позволило энтузиастам создавать собственные модификации и приложения, адаптированные под конкретные задачи (например, для навигации, распознавания лиц или перевода текста).

Применение и возможности

Система «6th Sense» демонстрировала широкий спектр возможностей, которые впоследствии стали типичными для устройств дополненной реальности:

• Информационная поддержка: Проецирование на физические объекты дополнительной информации — рейтингов книг, отзывов о товарах, биографических данных о людях (при распознавании лиц), исторических справок о зданиях.
• Навигация: Проецирование карты и маршрута на любую поверхность, например, на пол или на ладонь. Система могла отображать стрелки направления и точки интереса.
• Коммуникация: Возможность совершать звонки, отправлять сообщения и делать заметки с помощью жестов. Например, пользователь мог «нарисовать» в воздухе цифры, и система набирала номер.
• Работа с документами: Проецирование виртуальной клавиатуры на любую поверхность, позволяющей печатать текст. Также система могла «вырезать» изображение из газеты или журнала, сфотографировав его, и затем проецировать его на другую поверхность.
• Игры и развлечения: Создание простых интерактивных игр, в которых физические объекты (например, бумажные самолётики) служили игровыми элементами, а проектор отображал виртуальные цели или препятствия.

Критика и ограничения

Несмотря на инновационность, система «6th Sense» имела ряд существенных ограничений, которые помешали её коммерциализации:

• Зависимость от освещения: Проектор работал эффективно только в условиях низкой освещённости или в помещении. На ярком солнечном свету проецируемое изображение было практически невидимо.
• Неудобство использования: Необходимость носить на себе громоздкую конструкцию (проектор, камера, смартфон, маркеры) и постоянно держать руки в поле зрения камеры делала систему неэргономичной для повседневного использования.
• Ограниченная точность распознавания: Распознавание жестов и объектов было нестабильным, особенно при быстрых движениях или в условиях плохой видимости. Цветные маркеры быстро пачкались или терялись.
• Энергопотребление: Система требовала значительного расхода энергии от смартфона, что приводило к быстрой разрядке аккумулятора.
• Конфиденциальность: Постоянно работающая камера, направленная на окружающих, вызывала опасения по поводу слежки и нарушения приватности.

Влияние и наследие

«6th Sense» оказал значительное влияние на развитие носимых вычислений и дополненной реальности. Он продемонстрировал концепцию «интерфейса без экрана» и показал, как цифровая информация может быть интегрирована в повседневную жизнь. Проект вдохновил многих разработчиков и дизайнеров, а его идеи легли в основу более поздних коммерческих продуктов, таких как Google Glass, Microsoft HoloLens и Magic Leap. Кроме того, «6th Sense» способствовал популяризации концепции «интернета вещей» (IoT) и «умных» сред, где физические объекты могут взаимодействовать с цифровыми данными.

Источники

• Mistry, P., & Maes, P. (2009). SixthSense: A Wearable Gestural Interface. MIT Media Lab.
• Доклад Пранава Мистри на конференции TED (2009).
• Статьи в журналах Wired, MIT Technology Review (2009–2010).
• Публикации Fluid Interfaces Group, MIT Media Lab.