Эмбеддинг в машинном обучении¶

Эмбеддинг (от англ. embedding — вложение) — представление объектов (слов, изображений, пользователей, товаров и других сущностей) в виде плотных векторов фиксированной размерности в непрерывном векторном пространстве, при котором семантически или функционально близкие объекты оказываются рядом друг с другом. Эмбеддинги являются одним из ключевых механизмов современного машинного обучения и глубокого обучения: вместо разреженных представлений (например, one-hot кодирования) они позволяют модели учитывать сходство между объектами и обобщать знания на новые данные.

¶Принцип работы

Эмбеддинг строится как функция, отображающая дискретный объект в вектор вещественных чисел. Классический пример — эмбеддинги слов: словарь из 100 000 слов заменяется матрицей размерности 100 000 × 300, где каждая строка соответствует вектору длиной 300. Размерность вектора (обычно от 50 до 1024) подбирается эмпирически и определяет ёмкость представления.

Ключевое свойство — геометрия пространства: расстояние между векторами (косинусное или евклидово) отражает отношение между объектами. Для слов это проявляется в аналогиях: «король − мужчина + женщина ≈ королева» — классический пример, показывающий, что векторные операции в пространстве эмбеддингов сохраняют смысловые связи.

¶Основные виды

¶Эмбеддинги слов

Первыми массовыми эмбеддингами слов стали модели Word2Vec (Google, 2013, авторы Томаш Миколов и коллеги) и GloVe (Stanford, 2014, Джеффри Пеннингтон и коллеги). Word2Vec обучается предсказывать слово по контексту (Skip-gram) или контекст по слову (CBOW), а GloVe строится на статистике совместной встречаемости слов в корпусе. Позднее появились контекстные эмбеддинги BERT (Google, 2018) и ELMo, где вектор слова зависит от его окружения в предложении.

¶Эмбеддинги пользователей и товаров

В рекомендательных системах эмбеддинги строятся для пользователей и элементов каталога: близость векторов означает схожесть предпочтений. Матричная факторизация (SVD, ALS) — один из первых подходов, положивших начало эмбеддингам в этой области. Метод word2vec-подобных подходов (Item2Vec) адаптирован для товаров.

¶Эмбеддинги изображений и других данных

Для изображений эмбеддинги извлекаются из свёрточных нейронных сетей (например, ResNet) — обычно вектор берётся из предпоследнего слоя. Такие представления используются для поиска по изображениям, кластеризации и классификации. Существуют мультимодальные эмбеддинги, объединяющие текст и изображения в общем пространстве (например, CLIP от OpenAI, 2021).

¶Способы построения

¶Применение

Эмбеддинги используются в задачах классификации текста, машинного перевода, семантического поиска, рекомендательных системах, кластеризации, дедупликации данных и обнаружении аномалий. В России эмбеддинги применяются в поисковых системах (Яндекс использует векторные представления в поисковой выдаче), в системах анализа документов и в задачах обработки естественного языка для русского языка — например, в моделях RuBERT и FastText, обученных на русскоязычных корпусах.

¶Ограничения

Эмбеддинги фиксируют статистические закономерности обучающих данных и могут воспроизводить их предвзятости. Размерность подбирается эмпирически: слишком маленькая теряет информацию, слишком большая увеличивает вычислительные затраты и может приводить к переобучению. Контекстные модели (BERT) точнее, но требуют существно больше вычислительных ресурсов, чем статические эмбеддинги.

Источники:

• Mikolov T. et al. Distributed Representations of Words and Phrases and their Compositionality, 2013
• Pennington J., Socher R., Manning C. GloVe: Global Vectors for Word Representation, 2014
• Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers, 2018
• Rehurek R., Sojka P. Gensim — Topic Modelling for Humans
• Сборники статей NLP-конференций (ACL, EMNLP, NeurIPS)