Мультимодальные эмбеддинги

Мультимодальные эмбеддинги — это векторные представления данных, объединяющие информацию из различных модальностей (текст, изображение, аудио, видео, числовые данные) в едином семантическом пространстве. В отличие от универсальных эмбеддингов, работающих с одним типом данных, мультимодальные модели обучаются проецировать разнородные объекты в общее векторное пространство, где семантически близкие сущности (например, фотография кота и слово «кот») располагаются рядом, независимо от их исходного формата. Это позволяет выполнять такие задачи, как поиск изображений по текстовому описанию, генерация подписей к видео, кросс-модальная классификация и мультимодальный анализ.

История и развитие

Концепция мультимодальных эмбеддингов возникла в рамках развития методов машинного обучения и обработки естественного языка (NLP). Ранние подходы (2000-е — начало 2010-х) основывались на ручном извлечении признаков из каждой модальности с последующим их объединением (конкатенацией) в единый вектор. Однако такие методы не учитывали семантические связи между модальностями и были чувствительны к шуму.

Прорыв произошёл с появлением глубоких нейронных сетей, особенно свёрточных (CNN) для изображений и рекуррентных (RNN) для текста. В 2013 году исследователи из Google и Стэнфордского университета предложили модель DeViSE (Deep Visual-Semantic Embedding), которая впервые использовала линейную проекцию визуальных признаков в пространство текстовых эмбеддингов (word2vec). Это позволило выполнять нуль-шотовую классификацию изображений (распознавание объектов, не встречавшихся в обучающей выборке).

В 2014 году была представлена модель VSE (Visual-Semantic Embeddings), которая использовала парные ранжирующие функции потерь для обучения совместного пространства. В 2015 году вышла работа MS-COCO Captions, предоставившая крупный набор данных с изображениями и текстовыми описаниями, что стимулировало развитие мультимодальных подходов.

Настоящий прорыв произошёл в 2021 году с появлением модели CLIP (Contrastive Language-Image Pre-training) от OpenAI. CLIP обучили на 400 миллионах пар «изображение — текст», используя контрастивное обучение (contrastive learning). Модель показала высокую эффективность в задачах нуль-шотовой классификации, поиска и генерации, став стандартом де-факто для мультимодальных эмбеддингов. Вслед за CLIP были разработаны аналоги: ALIGN (Google, 2021), Florence (Microsoft, 2021), SigLIP (Google, 2023) и ViT-B/32 (OpenAI, 2022).

В 2023–2024 годах развитие пошло по пути интеграции большего числа модальностей. Модели ImageBind (Meta, 2023) и GATO (DeepMind, 2022) научились связывать изображения, текст, аудио, глубину, тепловые карты и даже данные с инерциальных датчиков. В 2024 году появились мультимодальные большие языковые модели (например, GPT-4V, Gemini), которые используют эмбеддинги для понимания и генерации контента разных типов.

Принцип работы

Мультимодальные эмбеддинги строятся на основе обучения нейронных сетей с использованием контрастивных функций потерь. Основная идея — максимизировать косинусное сходство между эмбеддингами соответствующих пар данных (например, изображение и его текстовое описание) и минимизировать сходство между несоответствующими парами.

Ключевые компоненты

Кодировщики модальностей: Для каждой модальности используется отдельная нейронная сеть, преобразующая входные данные в вектор фиксированной размерности. Например:

Для изображений: свёрточные сети (ResNet, EfficientNet) или трансформеры (ViT).
Для текста: трансформеры (BERT, RoBERTa) или эмбеддинги слов (word2vec, GloVe).
Для аудио: свёрточные сети (WaveNet, HuBERT) или спектрограммы.

Проекционные слои: После кодировщиков ставятся линейные слои (MLP), которые нормализуют и проецируют векторы в общее пространство (обычно размерностью 256–1024).
Функция потерь: Чаще всего используется контрастивная функция (InfoNCE, NT-Xent), которая вычисляет логарифмическую вероятность того, что пара «изображение — текст» является правильной среди всех возможных пар в батче.

Пример обучения (CLIP)

Берётся батч из N пар «изображение — текст».
Каждое изображение кодируется в вектор I_i, каждый текст — в вектор T_i.
Вычисляется матрица сходства S_{ij} = I_i · T_j (скалярное произведение).
Функция потерь максимизирует диагональные элементы (правильные пары) и минимизирует недиагональные (неправильные пары).
После обучения модель способна находить соответствия между модальностями даже для данных, не встречавшихся в обучающей выборке.

Классификация

Мультимодальные эмбеддинги можно классифицировать по нескольким признакам.

По числу модальностей

Бимодальные: работают с двумя типами данных (например, текст + изображение). Примеры: CLIP, ALIGN, VSE.
Тримодальные: три модальности (например, текст + изображение + аудио). Примеры: ImageBind, GATO.
Мультимодальные (n-модальные): четыре и более модальностей. Пример: AnyMAL (Meta, 2023) — до 5 модальностей.

По типу обучения

Контрастивные: обучаются на парах «положительный/отрицательный» (CLIP, ALIGN).
Генеративные: обучаются на задачах генерации одной модальности из другой (DALL-E, Imagen).
Гибридные: сочетают контрастивное и генеративное обучение (CoCa, Flamingo).

По архитектуре

Двухпотоковые (two-tower): отдельные кодировщики для каждой модальности, объединённые проекционным слоем (CLIP, SigLIP).
Однопотоковые (single-tower): единый трансформер, обрабатывающий все модальности одновременно (ViLT, UNITER).

Применение

Поиск и рекомендации

Мультимодальные эмбеддинги лежат в основе систем поиска по изображениям и тексту. Например, поисковики изображений (Google Images, Яндекс.Картинки) используют эмбеддинги для ранжирования результатов. В рекомендательных системах (YouTube, TikTok) эмбеддинги видео и аудио позволяют предлагать контент, семантически близкий к просмотренному пользователем.

Генерация контента

Модели-генераторы (DALL-E 3, Midjourney, Stable Diffusion) используют эмбеддинги текстовых запросов для управления генерацией изображений. Обратная задача — генерация текста по изображению (captioning) — также опирается на мультимодальные эмбеддинги.

Классификация и анализ

Нуль-шотовая классификация: распознавание объектов, не встречавшихся в обучающей выборке, путём сравнения эмбеддинга изображения с эмбеддингами текстовых меток.
Медицинская диагностика: анализ снимков МРТ, КТ и текстовых описаний симптомов для постановки диагноза.
Безопасность: анализ видео и аудио для обнаружения нарушений (например, распознавание речи и жестов).

Робототехника

Мультимодальные эмбеддинги используются для управления роботами, позволяя им понимать команды, данные с камер, микрофонов и тактильных датчиков. Например, модель RT-2 (Google DeepMind, 2023) обучалась на парах «изображение — текст — действие» и способна выполнять задачи по описанию.

Критика и ограничения

Вычислительная сложность: Обучение мультимодальных моделей требует огромных вычислительных ресурсов (тысячи GPU-часов) и больших наборов данных (миллионы пар). Это делает их недоступными для небольших организаций.
Смещения и предвзятость: Модели могут наследовать и усиливать стереотипы, присутствующие в обучающих данных. Например, CLIP показал более высокую точность для изображений из западных стран, чем для изображений из развивающихся.
Отсутствие интерпретируемости: Эмбеддинги являются «чёрным ящиком» — сложно понять, какие именно признаки из разных модальностей модель считает важными.
Проблема с разрешением: Для изображений с низким разрешением или текстов с опечатками точность эмбеддингов резко падает.
Этические и правовые вопросы: Использование мультимодальных эмбеддингов для распознавания лиц, анализа эмоций или создания дипфейков вызывает обеспокоенность в области приватности и безопасности.

Интересные факты

Модель CLIP (OpenAI) была обучена на 400 миллионах пар «изображение — текст», собранных из интернета. Это эквивалентно примерно 1,5 годам непрерывного просмотра видео.
В 2023 году компания Meta (признана экстремистской организацией и запрещена в РФ) выпустила модель ImageBind, которая связывает шесть модальностей: изображение, текст, аудио, глубину, тепловые карты и данные с инерциальных датчиков.
Мультимодальные эмбеддинги используются в системах автоматического перевода жестового языка (например, проект SignAll), где они связывают видео жестов с текстовыми переводами.
В 2024 году исследователи из MIT показали, что мультимодальные эмбеддинги могут быть использованы для обнаружения фейковых изображений: поддельные снимки имеют аномально низкое сходство между эмбеддингами изображения и текста.

Источники

Radford, A., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). OpenAI.
Jia, C., et al. (2021). Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision (ALIGN). Google.
Girdhar, R., et al. (2023). ImageBind: One Embedding Space To Bind Them All. Meta (организация признана экстремистской, деятельность запрещена в РФ) AI.
Frome, A., et al. (2013). DeViSE: A Deep Visual-Semantic Embedding Model. Google.
Vaswani, A., et al. (2017). Attention Is All You Need (Transformer architecture). Google.
OpenAI. (2023). GPT-4V(ision) System Card.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →