Обучающий образец

Обучающий образец — это искусственно созданный или специально отобранный набор данных, используемый в машинном обучении и статистическом анализе для настройки параметров модели. Каждый обучающий образец представляет собой единицу информации, на основе которой алгоритм учится выявлять закономерности, классифицировать объекты или прогнозировать значения. Обучающие образцы являются фундаментальным элементом процесса обучения с учителем, где модель сопоставляет входные признаки (характеристики) с известными выходными метками (целевыми переменными).

История

Предпосылки возникновения

Концепция обучающих образцов восходит к ранним работам по статистическому распознаванию образов в 1950–1960-х годах. Первые алгоритмы, такие как персептрон Фрэнка Розенблатта (1957), требовали набора примеров для корректировки весов нейронной сети. В то время обучающие образцы представляли собой простые бинарные векторы, описывающие, например, изображения букв или геометрических фигур.

Развитие в эпоху больших данных

С ростом вычислительных мощностей и появлением интернета в 1990–2000-х годах объёмы обучающих выборок значительно увеличились. Крупные проекты, такие как ImageNet (2009), содержащий миллионы размеченных изображений, продемонстрировали, что качество обучения напрямую зависит от количества и разнообразия образцов. Это привело к формированию стандартов: обучающий образец стал рассматриваться как кортеж (x, y), где x — вектор признаков, а y — целевая метка.

Современный этап

В 2010–2020-х годах с развитием глубокого обучения и трансформерных архитектур (например, GPT, BERT) обучающие образцы стали включать не только числовые, но и текстовые, аудио- и видеоданные. Появились методы полуавтоматической разметки и генерации синтетических образцов (например, с помощью генеративно-состязательных сетей). В России исследования в этой области ведутся в рамках национальной программы «Цифровая экономика», а также в лабораториях Сколтеха и МФТИ.

Структура обучающего образца

Признаки (features)

Признаки — это измеримые характеристики объекта, которые подаются на вход модели. Они могут быть:

• Числовые (например, рост человека в сантиметрах, температура воздуха);
• Категориальные (например, цвет автомобиля: красный, синий, зелёный);
• Текстовые (например, заголовок новости);
• Визуальные (например, пиксели изображения);
• Временные ряды (например, котировки акций за последний месяц).

Целевая метка (label)

Целевая метка — это известный правильный ответ, который модель должна научиться предсказывать. В задачах классификации метка представляет собой категорию (например, «спам» или «не спам»), в задачах регрессии — непрерывное число (например, цена квартиры). В обучении без учителя метки отсутствуют, и образец состоит только из признаков.

Вес образца (sample weight)

В некоторых алгоритмах каждому обучающему образцу может присваиваться вес, отражающий его важность. Это используется для борьбы с дисбалансом классов (когда одних образцов значительно больше, чем других) или для учёта достоверности данных.

Классификация обучающих образцов

По типу разметки

• Размеченные образцы — имеют известную целевую метку. Используются в обучении с учителем.
• Неразмеченные образцы — не содержат метки. Применяются в обучении без учителя (кластеризация, снижение размерности).
• Частично размеченные образцы — часть данных размечена, часть нет. Характерны для полуавтоматического обучения.

По происхождению

• Реальные образцы — получены из наблюдений за реальными процессами (например, медицинские записи пациентов).
• Синтетические образцы — сгенерированы искусственно, например, с помощью алгоритмов аугментации данных (поворот изображения, добавление шума) или генеративных моделей.
• Аугментированные образцы — модифицированные версии реальных образцов, созданные для увеличения разнообразия выборки.

По сложности

• Простые образцы — легко классифицируются моделью, имеют чёткие признаки.
• Сложные образцы — содержат шум, выбросы или неоднозначные признаки, что затрудняет обучение.
• Пограничные образцы — находятся на границе между классами, часто используются для уточнения решающей границы.

Применение

Обучение нейронных сетей

В глубоком обучении обучающие образцы подаются в модель мини-батчами (наборами по 32–256 образцов). Каждый образец проходит через слои сети, вычисляется ошибка предсказания, и веса корректируются с помощью обратного распространения ошибки. Например, в задаче распознавания рукописных цифр (MNIST) каждый образец — это изображение 28×28 пикселей с меткой от 0 до 9.

Классификация текстов

В задачах анализа тональности или фильтрации спама обучающие образцы представляют собой тексты, преобразованные в числовые векторы (например, с помощью мешка слов или эмбеддингов). Метка указывает класс (положительный/отрицательный отзыв, спам/не спам).

Медицинская диагностика

Обучающие образцы в медицине включают данные пациентов: возраст, результаты анализов, снимки МРТ. Модель учится предсказывать диагноз (например, наличие опухоли) на основе исторических данных. В России такие системы разрабатываются, в частности, в Сеченовском университете.

Промышленность и финансы

В кредитном скоринге обучающие образцы содержат информацию о заёмщиках (доход, кредитная история, возраст), а метка указывает, вернул ли клиент кредит. В промышленности образцы могут описывать параметры работы оборудования для прогнозирования отказов.

Критика и ограничения

Качество разметки

Ошибки в разметке обучающих образцов (label noise) приводят к снижению точности модели. Например, если изображение кота помечено как «собака», алгоритм может неправильно обобщить признаки. В российских исследованиях (например, в работах ВШЭ) показано, что даже 5% шума в разметке снижают качество классификации на 10–15%.

Дисбаланс классов

Если один класс представлен значительно большим числом образцов, чем другой, модель может игнорировать редкие классы. Это характерно для задач выявления мошенничества (1% транзакций — мошеннические) или диагностики редких заболеваний. Методы борьбы включают взвешивание образцов, oversampling (создание копий редких образцов) и undersampling (удаление части частых образцов).

Репрезентативность выборки

Обучающая выборка должна отражать распределение реальных данных. Если образцы собраны только в одном регионе (например, Москва), модель может быть неприменима для других регионов России. Это ограничение особенно важно для систем, используемых в государственных органах или социальных проектах.

Этические вопросы

Использование обучающих образцов, содержащих персональные данные (например, медицинские записи или фотографии лиц), регулируется законодательством РФ (ФЗ № 152 «О персональных данных»). Необходимо обеспечивать анонимизацию и согласие субъектов данных. В 2021 году Роскомнадзор усилил контроль за обработкой данных в обучающих выборках.

Интересные факты

• Самый большой открытый набор обучающих образцов — LAION-5B (5,85 миллиарда пар изображение-текст), созданный в 2022 году. Он использовался для обучения моделей типа Stable Diffusion.
• В СССР в 1960-х годах для обучения перцептронов использовались ручные наборы данных, например, изображения букв кириллицы, нарисованные на бумаге и отсканированные.
• Ошибка в одном обучающем образце может привести к «отравлению данных» (data poisoning), когда злоумышленник намеренно вносит искажённые образцы, чтобы модель выдавала неверные результаты. Это является угрозой для систем искусственного интеллекта, используемых в критической инфраструктуре.
• В 2023 году в России был запущен проект «Национальная коллекция данных» — репозиторий размеченных обучающих выборок для задач компьютерного зрения и обработки естественного языка, доступный для исследователей.

Источники

1. Розенблатт, Ф. «Принципы нейродинамики: перцептроны и теория механизмов мозга». — М.: Мир, 1965.
2. ЛеКун, Я., Бенджио, И., Хинтон, Дж. «Глубокое обучение». — М.: ДМК Пресс, 2018.
3. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных» (ред. от 14.07.2022).
4. «ImageNet: A Large-Scale Hierarchical Image Database» / Deng et al. — CVPR, 2009.
5. «LAION-5B: An open large-scale dataset for training next generation image-text models» / Schuhmann et al. — NeurIPS, 2022.
6. Отчёт ВШЭ «Влияние шума в разметке на качество моделей машинного обучения» (2021).