Целевое обучение в машинном обучении¶

Целевое обучение (transfer learning) — метод машинного обучения, при котором модель, обученная на одной задаче (исходной области), используется для решения другой, смежной задачи (целевой области). Вместо обучения с нуля на размеченных данных целевой задачи параметры предварительно обученной модели адаптируются к новым условиям, что позволяет сократить объём требуемых разметок, вычислительные затраты и время обучения.

¶Общие принципы

В классическом обучении с учителем модель строится заново для каждой задачи. Целевое обучение исходит из того, что знания, приобретённые на одной задаче, частично переносимы на другую: признаки, выученные на больших наборах данных (например, края, текстуры, формы на изображениях или морфологические и синтаксические закономерности в тексте), универсальны и применимы в смежных областях.

Формально имеются исходная область $D_S$ с обучающей выборкой $D_S = \{(x_i^S, y_i^S)\}$ и целевая область $D_T$ с выборкой $D_T = \{(x_j^T, y_j^T)\}$. Задачи могут различаться по распределению входов ($P_S(x) \neq P_T(x)$), по распределению выходов ($P_S(y) \neq P_T(y)$) и по условных распределений ($P_S(y|x) \neq P_T(y|x)$). Цель метода — улучшить обобщение на $D_T$ за счёт знаний, полученных из $D_S$.

¶Основные стратегии

¶Перенос признаков

Наиболее распространённый подход: модель обучается на исходной задаче, после чего часть её слоёв «замораживается», а остальные переобучаются на целевых данных. В свёрточных нейронных сетях ранние слои, вычисляющие низкоуровневые признаки, обычно сохраняют без изменений, а верхние слои, отвечающие за семантику конкретной задачи, адаптируют.

¶Тонкая настройка (fine-tuning)

После инициализации весов предобученной модели производится обучение на целевой задаче с малой скоростью обучения. Существуют варианты:

• полная тонкая настройка — обновляются все параметры;
• частичная — размораживаются только верхние слои;
• адаптивные методы (LoRA, Adapter) — к замороженной модели добавляются небольшие обучаемые модули, что резко снижает число обновляемых параметров.

¶Доменная адаптация

Направление, в котором размеченные данные целевой области недоступны, но доступны неразмечённые. Метод подстраивает распределение признаков целевой области под распределение исходной, используя, например, максимальную среднюю разницу (MMD) или对抗ные (adversarial) приёмы — обучение доменного классификатора, ошибка которого максимизируется.

¶Zero-shot и few-shot обучение

В zero-shot обучении целевая задача решается без примеров целевых классов — через описание классов в виде семантических векторных представлений (эмбеддингов). Few-shot обучение предполагает наличие нескольких примеров на класс; к этому семейству относится метаобучение (meta-learning), где модель учится быстро адаптироваться к новым задачам по нескольким примерам.

¶Практическая реализация

¶Компьютерное зрение

В свёрточных нейронных сетях (ResNet, VGG, EfficientNet), предобученных на датасете ImageNet (1,2 млн изображений, 1000 классов), перенос признаков стал стандартной практикой. При наличии нескольких сотен размеченных изображений целевого класса тонкая настройка предобученного ResNet обычно даёт результат существенно лучше обучения с нуля.

¶Обработка естественного языка

Начиная с 2018 года доминирующей парадигмой стало предобучение трансформерных моделей (BERT, GPT, RuBERT, ruGPT) на больших корпусах текста с задачей маскированного языкового моделирования или предсказания следующего токена. Полученные модели затем тонко настраиваются на классификацию текста, извлечение сущностей, поиск ответов и другие задачи. Для русского языка разработаны модели RuBERT, Slovo-Torch и Alrerta.

¶Аудио и речь

Модели распознавания речи (Whisper и аналоги) предобучаются на десятках тысяч часов аудио и адаптируются к конкретным доменам — телефонным разговорам, медицинским терминам, акцентам.

¶Преимущества и ограничения

Преимущества целевого обучения:

• снижение объёма разметки (часто достаточно десятков-сотен примеров);
• ускорение сходимости и снижение вычислительных затрат;
• улучшение обобщения на малых выборках, когда обучение с нуля склонно к переобучению;
• возможность решения задач в областях, где данные дороги или ограничены законодательством (медицина, юриспруденция).

Ограничения:

• отрицательный перенос — когда различия между областями велики, перенос ухудшает результат относительно обучения с нуля;
• риск доменного сдвига, при котором статистика целевых данных существенно отклоняется от исходной;
• необходимость подбора числа размораживаемых слоёв и скорости обучения;
• перенос может закреплять ошибки и предвзятость исходной модели.

¶Историческая справка

Термин «transfer learning» закрепился в машинном обучении в начале 2000-х годов, хотя идеи переноса знаний обсуждались в нейросетевых сообществах ещё в 1990-е (работы по «предобучению» и «связанным задачам»). Практический прорыв произошёл после показа в 2012 году эффективности глубоких свёрточных сетей (AlexNet) и последующего широкого использования предобученных моделей в компьютерном зрении и NLP.

¶Источники

• Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016.
• Pan S. J., Yang Q. A Survey on Transfer Learning // IEEE Transactions on Knowledge and Data Engineering. — 2010.
• Руководства по тонкой настройке моделей Hugging Face Transformers.