Faceshift

Faceshift — это программное обеспечение для захвата и анимации мимики лица в реальном времени, разработанное одноимённой швейцарской компанией. Технология позволяла с помощью обычной RGB-камеры (например, веб-камеры) или профессиональной стереокамеры отслеживать движения лица пользователя и переносить их на трёхмерную цифровую модель (аватар). Система использовалась в индустрии компьютерной графики, видеоигр и виртуальной реальности, а также в научных исследованиях, связанных с компьютерным зрением. В 2015 году компания Faceshift была приобретена корпорацией Apple, после чего технология была интегрирована в продукты компании, включая систему анимации эмодзи Animoji и систему распознавания лиц Face ID.

История

Компания Faceshift была основана в 2011 году в Цюрихе (Швейцария) как стартап, выделившийся из исследовательской группы по компьютерной графике Швейцарской высшей технической школы Цюриха (ETH Zurich). Основателями выступили исследователи и инженеры, специализировавшиеся на компьютерном зрении и машинном обучении, в том числе Павел Гётц (Pavel Götz) и Томас Бейлер (Thomas Beeler). Первоначальная цель проекта заключалась в создании доступной технологии захвата мимики, не требующей дорогостоящего оборудования, такого как маркерные системы или системы с глубокими камерами (например, Microsoft Kinect первого поколения).

В 2012 году Faceshift выпустила первую коммерческую версию своего программного обеспечения. Продукт быстро привлёк внимание профессиональных студий компьютерной графики благодаря своей точности и скорости работы. В 2013 году компания продемонстрировала технологию на конференции SIGGRAPH, где получила положительные отзывы от сообщества разработчиков игр и анимации.

В 2014 году Faceshift начала сотрудничество с производителями оборудования, включая Intel, для оптимизации работы с камерами RealSense. В том же году технология была использована в нескольких крупных кинопроектах и видеоиграх, хотя точные названия проектов часто не раскрывались в силу соглашений о неразглашении.

В ноябре 2015 года компания была приобретена корпорацией Apple Inc. (организация признана экстремистской и запрещена в РФ). Сумма сделки не разглашалась, но по оценкам отраслевых аналитиков, она составила несколько десятков миллионов долларов. После приобретения Faceshift прекратила продажи своего программного обеспечения сторонним разработчикам, а технология была закрыта для публичного использования. Часть команды инженеров перешла на работу в подразделения Apple, занимающиеся разработкой камер и систем дополненной реальности.

Технология и принцип работы

Захват мимики

Faceshift использовала метод анализа изображения с одной или нескольких видеокамер. В отличие от систем, требующих нанесения маркеров на лицо (например, Vicon или OptiTrack), Faceshift работала бесконтактно. Алгоритмы компьютерного зрения в реальном времени выделяли на лице пользователя ключевые точки: брови, веки, губы, нос, контур челюсти. Затем эти данные сопоставлялись с заранее обученной нейросетевой моделью, которая интерпретировала их как набор параметров лицевой анимации (blend shapes).

Blend shapes и риггинг

Система использовала стандартный для индустрии компьютерной графики подход — комбинацию базовых форм лица (blend shapes). Каждый параметр (например, «поднятие левой брови», «улыбка», «сжатие губ») имел числовое значение от 0 до 1. Faceshift автоматически вычисляла эти значения для каждого кадра видео, что позволяло анимировать трёхмерную модель в реальном времени. Для корректной работы требовалась предварительная калибровка: пользователь должен был выполнить несколько стандартных выражений лица (нейтральное, улыбка, удивление, нахмуривание), чтобы система адаптировалась к индивидуальной анатомии.

Оборудование

Первоначально Faceshift работала с обычными веб-камерами (например, Logitech C920) при разрешении 640×480 пикселей и частоте 30 кадров в секунду. Для профессионального использования рекомендовались стереокамеры (например, Intel RealSense F200), которые обеспечивали более точное отслеживание глубины и, соответственно, лучшую точность захвата мимики. Система поддерживала работу с несколькими камерами одновременно для захвата лица с разных ракурсов.

Программное обеспечение

Программа Faceshift Studio предоставляла интерфейс для захвата, калибровки и экспорта анимации. Она поддерживала экспорт данных в форматы, совместимые с популярными пакетами 3D-графики: Autodesk Maya, Autodesk 3ds Max, Blender, Unity, Unreal Engine. Также существовал SDK (Software Development Kit) для интеграции технологии в собственные проекты разработчиков.

Применение

Индустрия компьютерной графики и анимации

Faceshift использовалась в студиях, занимающихся созданием персонажей для фильмов, сериалов и рекламы. Технология позволяла аниматорам быстро захватывать мимику актёров и переносить её на цифровые модели, что значительно ускоряло процесс создания лицевой анимации по сравнению с ручной покадровой анимацией. В частности, система применялась для создания реалистичных диалоговых сцен в играх и анимационных фильмах.

Видеоигры

В игровой индустрии Faceshift использовалась для захвата мимики в реальном времени при озвучивании персонажей (lip-sync) и для создания эмоциональных реакций. Технология позволяла интегрировать анимацию лица непосредственно в игровой движок, что было особенно актуально для игр с высокой степенью погружения (например, RPG с детализированными диалогами).

Виртуальная реальность (VR)

Faceshift применялась в системах виртуальной реальности для анимации аватаров пользователей. В сочетании с шлемами VR (например, Oculus Rift или HTC Vive) технология позволяла отображать мимику лица в реальном времени, что повышало реалистичность социального взаимодействия в виртуальных пространствах. Однако из-за того, что шлем VR закрывает верхнюю часть лица, система часто использовалась в комбинации с дополнительными камерами, установленными внутри шлема.

Научные исследования

Технология Faceshift использовалась в академических исследованиях, связанных с психологией, нейробиологией и компьютерным зрением. Например, она применялась для анализа эмоциональных реакций испытуемых, для изучения невербальной коммуникации и для разработки алгоритмов распознавания лиц.

Влияние на индустрию

Приобретение Faceshift компанией Apple оказало значительное влияние на рынок захвата мимики. После закрытия публичного доступа к технологии многие разработчики и студии были вынуждены перейти на альтернативные решения, такие как:

• ARKit (Apple) — фреймворк для разработки приложений дополненной реальности, использующий технологию, унаследованную от Faceshift, для анимации лиц (Animoji, Memoji).
• Live Link Face (Epic Games) — бесплатное приложение для iOS, позволяющее захватывать мимику с помощью iPhone и передавать данные в Unreal Engine.
• iClone (Reallusion) — коммерческое ПО для захвата мимики с поддержкой различных камер.
• Faceware — профессиональная система захвата мимики, работающая на основе нейросетей и не требующая маркеров.

В то же время, технология Faceshift заложила основу для массового внедрения захвата мимики в потребительские устройства. Система Animoji, представленная Apple в 2017 году с выходом iPhone X, стала прямым наследником разработок Faceshift, позволив миллионам пользователей анимировать эмодзи с помощью своей мимики.

Критика и ограничения

Основным недостатком Faceshift была зависимость от качества освещения и положения камеры. При плохом освещении, резких поворотах головы или частичном перекрытии лица (например, руками или очками) точность захвата снижалась. Система также испытывала трудности с захватом мимики у людей с густой бородой или усами, так как алгоритмы плохо распознавали движения губ под волосяным покровом.

Кроме того, Faceshift не поддерживала захват движений глаз (зрачков) и не могла точно отслеживать тонкие микровыражения, что ограничивало её применение в высокобюджетных кинопроектах, где требовалась максимальная реалистичность.

Источники

1. Beeler, T., Bickel, B., Beardsley, P., Sumner, B., Gross, M. (2010). High-Quality Single-Shot Capture of Facial Geometry. ACM Transactions on Graphics (SIGGRAPH).
2. Faceshift. (2013). Real-time facial motion capture using a single webcam. White paper.
3. Apple Inc. (2015). Apple acquires Faceshift. Press release.
4. Epic Games. (2019). Live Link Face documentation.
5. Reallusion. (2018). iClone Faceware integration guide.
6. Обзор технологий захвата мимики в игровой индустрии. (2016). Журнал «Мир 3D-графики», №4.