ТФП — трансферное обучение с предварительным обучением¶
ТФП (трансферное обучение с предварительным обучением, англ. transfer learning from pre-trained models, TFPT) — метод машинного обучения, при котором модель сначала обучается на большом массиве данных (предварительное обучение), а затем адаптируется к конкретной задаче на небольшом размеченном наборе данных. ТФП стал одним из ключевых подходов современного глубокого обучения и лежит в основе работы большинства крупных языковых и визуальных моделей.
¶Принцип работы
В классическом машинном обучении модель обучается с нуля на данных конкретной задачи. Для сложных задач (распознавание речи, машинный перевод, анализ изображений) требуются огромные размеченные датасеты, что делает обучение дорогостоящим и не всегда осуществимым. ТФП решает эту проблему: сначала модель обучается на широком корпусе данных (например, текстах интернета или миллионах изображений), в процессе чего она учится выделять общие признаки и закономерности. Затем эта модель используется как отправная точка для дообучения на узкой задаче.
Ключевая идея — перенос знаний (transfer learning). Признаки, выученные на большом наборе данных, оказываются полезны и для смежных задач: например, модель, обученная распознавать объекты на фотографиях, хорошо работает и при классификации медицинских снимков, даже если медицинских данных немного.
¶Этапы ТФП
- Предварительное обучение (pre-training). Модель большого масштаба обучается на массиве данных без разметки или с само-разметкой. Для текстов это может быть задача предсказания следующего слова (авторегрессионное обучение), для изображений — маскированное моделирование или классификация.
- Дообучение (fine-tuning). Предобученная модель адаптируется к конкретной задаче: её веса обновляются на небольшом размеченном датасете. Иногда замораживаются нижние слои, а обучаются только верхние.
- Извлечение признаков (feature extraction). Альтернативный вариант: предобученная модель используется как генератор признаков, а поверх неё обучается простой классификатор.
¶История
Идеи трансферного обучения существовали в машинном обучении с 1990-х годов, однако широкое распространение ТФП получил в 2010-е. Переломным стал 2012 год, когда свёрточная нейронная сеть AlexNet выиграла конкурс ImageNet, продемонстрировав эффективность глубокого обучения для распознавания изображений. Вскоре стало практикой использовать предобученные сети (VGG, ResNet) как базу для новых задач.
В 2018 году компания Google выпустила модель BERT, обученную методом маскированного языкового моделирования, которая задала новый стандарт для обработки естественного языка. В 2020 году OpenAI показала, что масштабирование предобученных языковых моделей (GPT-3) позволяет решать задачи в режиме few-shot learning — по нескольким примерам без дообучения. Эти работы привели к созданию современных больших языковых моделей (LLM).
¶Разновидности
| Подход | Описание |
|---|---|
| Fine-tuning | Полное или частичное дообучение всех весов модели |
| LoRA / адаптеры | Обучение небольших дополнительных модулей при замороженной базовой модели |
| Prompt tuning | Подбор текстовых подсказок без изменения весов модели |
| Zero-shot / few-shot | Использование модели без дообучения, только через промпт |
Метод LoRA (Low-Rank Adaptation), предложенный исследователями Microsoft в 2021 году, позволил адаптировать большие модели к конкретным задачам, обучая лишь долю процента параметров, что резко снизило вычислительные затраты.
¶Применение
ТФП применяется практически во всех областях современного ИИ:
- Обработка естественного языка — классификация текстов, суммаризация, машинный перевод, чат-боты и ассистенты.
- Компьютерное зрение — распознавание объектов, сегментация, медицинская диагностика по снимкам.
- Распознавание речи — модели вроде Whisper, предобученные на больших аудиокорпусах.
- Биоинформатика — предсказание структуры белков (AlphaFold использует принципы трансферного обучения).
- Генеративный ИИ — диффузионные модели изображений (Stable Diffusion) дообучаются под конкретные стили и задачи.
¶Преимущества и ограничения
К достоинствам ТФП относятся снижение требований к объёму размеченных данных, ускорение обучения и повышение качества на малых выборках. Ограничения связаны с риском «отрицательного переноса» — когда признаки, выученные на исходной задаче, мешают решению новой, а также с зависимостью от качества и домена исходных данных предобучения.
¶ТФП в России
Российские исследовательские группы и компании активно используют и развивают методы ТФП. Среди отечественных больших языковых моделей — «Яндекс Giga», «СберGPT», «Федеральный GPT» (ФГИС), а также модели проекта «Нейро-мозг» и «Алиса» от «Яндекса». Ряд российских университетов (МГУ, ИТМО, Сколтех) ведёт исследования в области эффективного дообучения и адаптации больших моделей.
Источники:
- Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016.
- Devlin J. et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL, 2019.
- Hu E. J. et al. LoRA: Low-Rank Adaptation of Large Language Models. ICLR, 2022.
- Raschka S., Liu Y., Mirjalili V. Machine Learning with PyTorch and Scikit-Learn. Packt, 2022.
- Официальные документации Google Research, OpenAI, Hugging Face.