Липсинк — синхронизация губ с аудио¶

Липсинк (от англ. lip sync, сокр. от lip synchronization — «синхронизация губ») — техника синхронизации артикуляции говорящего или поющего человека с заранее записанной звуковой дорожкой. Широко применяется в кинематографии, телевидении, дубляже, мультипликации, компьютерных играх и сценических выступлениях. В русском языке термин также получил разговорное значение «говорить не своим голосом» или «переозвучивать чужие губы».

¶Применение в кинематографе и дубляже

В кинопроизводстве липсинк используется при создании дубляжа. Актёр озвучивающей студии подбирается под артикуляцию оригинального исполнителя роли, после чего записывает текст так, чтобы движения губ совпадали с изображением. В телесериалах и кино с массовыми диалогами для дубляжа нередко привлекают нескольких актёров: одного — для основных сцен, другого — для кадров со спины или в профиль, где артикуляция менее заметна.

В советской и российской традиции дубляжа сложилась «школа» актёров, работавших исключительно в жанре синхронного перевода. Известные примеры — Всеволод Ларионов, Артём Карапетян, Виктор Петров, озвучивавшие итальянских, французских и американских актёров. В отличие от англоязычной практики закадрового перевода, российская школа традиционно делала упор на точное совпадение губ и интонации.

¶Липсинк в музыке и на сцене

В музыкальной индустрии липсинк означает имитацию живого исполнения: артист двигается под фонограмму, заранее записанную в студии, и синхронизирует артикуляцию с готовым треком. Явление получило широкое освещение в 1980-е годы, когда поп-звёзды стали активно использовать фонограммы на гастрольных турах. Наиболее громкий скандал, связанный с липсинком, произошёл в июле 1985 года на стадионе Уэмбли: во время благотворительного концерта Live Aid Милл Ванilli были пойманы на том, что под фонограмму не пели даже в студии — песни записали другие вокалисты. Дуэт лишили премии «Грэмми» и распустил звукозаписывающий лейбл.

В современной российской поп-культуре обвинения в липсинке регулярно звучат в адрес артистов, чьи концертные выступления сопровождаются заметным расхождением между артикуляцией и звучащим вокалом. Применение фонограммы на концертах в России формально не запрещено, однако крупные фестивали и телеканалы иногда требуют от исполнителей живого звучания.

¶Компьютерные игры и мультипликация

В компьютерных играх липсинк — технология синхронизации анимации речевого аппарата персонажа с озвучкой. Ранние игры использовали набор предзаписанных фонем (морфов), которые подставлялись под звучащую реплику. В 2000-е годы появились алгоритмы автоматической генерации анимации губ по аудиодорожке. Один из первых массовых примеров — технология Radiant Facial Animation в игре Half-Life 2 (2004), где анимация лица персонажей генерировалась процедурно на основе звука. В серии The Elder Scrolls (Skyrim, 2011) использовалась система, привязывающая фонемы к скелетной анимации лица.

В полнометражной компьютерной анимации липсинк традиционно ручной: художники-аниматоры покадрово прорисовывают артикуляцию под записанные диалоги. В студии Pixar для таких работ создаются отдельные подразделения. Технологии автоматического липсинка развиваются и здесь: нейросетевые системы способны генерировать реалистичную анимацию губ по аудиозаписи без участия аниматора.

¶Нейросетевой липсинк

С 2020-х годов получили распространение нейросетевые сервисы, синхронизирующие губи на видео с произвольной аудиодорожкой. Алгоритмы на основе глубоких нейронных сетей (в частности, генеративно-состязательных сетей и трансформерных архитектур) анализируют исходное видео, выделяют мимику говорящего и подменяют область рта так, чтобы артикуляция соответствовала новому звуку. Такие инструменты используются в дубляже, создании мемов и, что вызывает обеспокоенность исследователей, — для создания дипфейков.

¶Липсинк в спорте и культуре

В фигурном катании и синхронном плавании термин «липсинк» не применяется, однако в синхронном плавании существует понятие «синхронного» выступления под музыку, где артикуляция не задействована. В спортивной гимнастике и художественной гимнастике элементы, выполняемые под музыкальное сопровождение, иногда ошибочно называют липсинком, хотя это не соответствует термину.

В русском интернете с 2010-х годов липсинком называют формат видео, в котором персонаж известного ролика переозвучивается новым текстом с сохранением артикуляции. Такие видео популярны на платформах YouTube и TikTok, где пользователи создают пародии на политических деятелей, блогеров и киногероев.

¶Технические аспекты

Синхронизация артикуляции с аудио строится на фонемном анализе. Записанный голос разбивается на фонемы, каждая из которых сопоставляется с визуальными формантами — формой рта, положением губ и языка. В цифровом производстве для этого используются системы автоматического распознавания речи (ASR) и синтеза анимации лица (facial animation synthesis). Точность современных систем оценивается в 90–95 % совпадения фонем при стандартном темпе речи.

История липсинка как техники восходит к раннему звуковому кино. В 1920-е годы синхронизация изображения и звука осуществлялась механически — проектор и фонограф синхронизировались по метроному. С переходом на оптическую запись звука на плёнке необходимость в ручной синхронизации отпала, однако потребность в точном совпадении артикуляции актёра и голоса дублёра сохранилась до настоящего времени.

Источники:

• «Дубляж: отечественная школа» — статьи о российской традиции синхронного перевода
• Статья «Lip sync» в Wikipedia (англ.)
• Материалы журнала «Киноведческие записки» о практике советского дубляжа
• Технические статьи ACM SIGGRAPH о процедурной анимации лица