Разметка данных в обучении нейросетей¶

Разметка данных — это процесс присвоения неструктурированным или полуструктурированным данным (текстам, изображениям, аудио, видео) меток, категорий или аннотаций, которые делают информацию понятной для алгоритмов машинного обучения. Разметка является ключевым этапом подготовки обучающих выборок для моделей с учителем, поскольку качество и полнота разметки напрямую определяют точность и устойчивость будущей нейросети.

¶Цели и задачи разметки

Основная цель разметки — создать структурированный датасет, на котором модель сможет выявить закономерности и научиться обобщать. В зависимости от типа задачи разметка решает следующие задачи:

• Классификация — присвоение объекту одной или нескольких категорий (например, определение спама в письме).
• Регрессия — присвоение непрерывной числовой метки (например, стоимость недвижимости по фотографии).
• Сегментация — попиксельное выделение объектов на изображении или в 3D-облаке точек.
• Аннотация последовательностей — разметка частей текста, аудиодорожки или видео (например, выделение именованных сущностей или временных меток событий).

¶Виды разметки по типу данных

¶Текстовая разметка

Включает в себя разметку тональности (позитивная/негативная/нейтральная), выделение именованных сущностей (NER), определение интентов в диалогах, а также лингвистическую аннотацию (части речи, синтаксические деревья). Для русского языка часто используется корпус с морфологической разметкой.

¶Разметка изображений

Основные типы:

• Bounding boxes (ограничивающие рамки) — прямоугольники вокруг объектов.
• Полигоны и маски — точное контурирование объектов для задач сегментации.
• Ключевые точки — маркеры для задач оценки позы человека или геометрии объектов.
• Классификация сцен — присвоение метки всему изображению.

¶Аудио- и видеорразметка

В аудио — транскрибация речи, разметка спикеров, определение эмоций и звуковых событий. В видео — покадровая аннотация, трекинг объектов и разметка временных интервалов действий.

¶Методы и инструменты

Разметка может выполняться тремя способами:

1. Ручная разметка — выполняется людьми-аннотаторами. Считается самой точной, но дорогой и медленной. Для контроля качества применяются перекрестные проверки (двойная разметка) и метрики согласованности (например, коэффициент Каппа Коэна).
2. Полуавтоматическая разметка — человек корректирует предсказания предобученной модели (так называемый human-in-the-loop). Это позволяет сократить трудозатраты на 30–50% по сравнению с ручным методом.
3. Автоматическая разметка — генерация меток алгоритмами (например, использование слабой супервизии, правил или синтетических данных). Используется для первичной фильтрации больших объемов необработанных данных, но требует последующей выборочной проверки.

Среди популярных инструментов — Label Studio, Supervisely, CVAT, Prodigy, а также краудсорсинговые платформы типа Toloka и Amazon Mechanical Turk.

¶Качество разметки и ошибки

Ошибки в разметке делятся на систематические (связанные с неоднозначностью инструкций) и случайные (человеческий фактор). Для оценки качества используются метрики полноты и точности разметки, а также анализ несогласованности между аннотаторами. Снижение качества приводит к эффекту «шума в метках», который может вызывать переобучение или нестабильность градиентов при обучении.

¶Применение в индустрии

Разметка данных востребована в разработке систем автономного вождения (разметка дорожных сцен и препятствий), в медицине (сегментация томографических снимков), в финансовом скоринге, в чат-ботах и голосовых ассистентах. Отдельным направлением является разметка данных для генеративных моделей, включая обратную связь от пользователей для обучения с подкреплением (RLHF).

¶Этические и правовые аспекты

При разметке персональных данных (фотографии людей, медицинские записи) требуется деперсонализация и соблюдение требований законодательства о защите персональных данных (152-ФЗ в РФ). Также существует проблема дешевого труда аннотаторов в развивающихся странах и риски предвзятости (bias), когда разметка отражает субъективные предубеждения исполнителей.