Датасет — структурированный набор данных¶

Датасет (от англ. data set — «набор данных») — упорядоченная совокупность данных, предназначенная для хранения, обработки, анализа или обучения моделей машинного обучения. В широком смысле датасетом называют любой структурированный файл или коллекцию файлов с однородными по смыслу записями; в узком — специально подготовленный корпус размеченных примеров, используемый для тренировки и валидации алгоритмов искусственного интеллекта.

¶Основные характеристики

Датасет описывается набором метапараметров:

• Объём — количество записей (образцов, строк), иногда измеряется в гигабайтах или терабайтах.
• Признаки (фичи, features) — атрибуты каждой записи: числовые, категориальные, текстовые, изображения, звук и т. д.
• Целевая переменная (метка, label) — значение, которое модель пытается предсказать (в задачах обучения с учителем).
• Формат хранения — CSV, JSON, Parquet, TFRecord, HDF5, базы данных и другие.
• Схема — описание типов и структуры полей.

¶Классификация датасетов

По назначению датасеты делятся на:

1. Обучающие (training set) — на них модель подбирает параметры.
2. Валидационные (validation set) — используются для настройки гиперпараметров и раннего прекращения обучения.
3. Тестовые (test set) — применяются для финальной оценки качества модели на данных, не участвовавших в обучении.

По типу разметки:

• Размеченные (labeled) — каждая запись снабжена эталонным ответом; используются в supervised learning.
• Неразмеченные (unlabeled) — метки отсутствуют; применяются в unsupervised learning и self-supervised learning.
• Частично размеченные — метки есть лишь у части записей (semi-supervised learning).

По предметной области выделяют датасеты для компьютерного зрения (изображения), обработки естественного языка (тексты), речевых технологий (аудио), рекомендательных систем (истории взаимодействий) и др.

¶Форматы хранения

¶Подготовка датасета

Процесс подготовки (data preparation) включает:

• Сбор — из источников (сенсоры, веб-скрапинг, логи, публичные архивы, партнёрские базы).
• Очистку — удаление дубликатов, исправление пропусков, обработка выбросов.
• Разметку — ручную (crowdsourcing, специализированные разметчики) или автоматическую (правила, эвристики, предобученные модели).
• Балансировку — коррекцию диспропорции классов.
• Аугментацию — искусственное расширение данных трансформациями (повороты, шум, синонимическая замена).
• Разбиение на train/val/test с контролем, чтобы одни и те же объекты не попали в разные подмножества (data leakage).

¶Известные датасеты

• MNIST — 70 000 рукописных цифр 28×28 пикселей, эталон для задач классификации изображений.
• ImageNet — более 14 млн размеченных изображений, положивший начало массовому применению свёрточных нейросетей после 2012 года.
• CIFAR-10 / CIFAR-10 — малые изображения 32×32, базовый бенчмарк компьютерного зрения.
• SQuAD — датасет вопросов и ответов на английские тексты для NLP.
• Common Crawl — многотерабайтный корпус веб-страниц, лежащий в основе многих больших языковых моделей.
• LibriSpeech — корпус аудиозаписей для распознавания речи.

В российской исследовательской практике используются как международные наборы, так и локальные инициативы — например, корпус русского языка «Национальный корпус русского языка» (НКРЯ), содержащий свыше 2 млн аннотированных примеров, и датасеты, публикуемые в рамках конкурсов СуперЧитателя и СуперЗадачателя от Сбера.

¶Проблемы и ограничения

• Предвзятость (bias) — датасет отражает неравенства исходных данных; модель может воспроизводить дискриминацию.
• Утечка данных — попадание тестовых примеров в обучающую выборку завышает метрики.
• Дрейф данных (data drift) — распределение реальных данных меняется со временем, и датасет перестаёт быть репрезентативным.
• Авторские права и приватность — сбор данных может затрагивать персональные данные и лицензионные ограничения (в России регулируется Федеральным законом № 152-ФЗ «О персональных данных»).
• Стоимость разметки — качественная разметка требует экспертного участия и существенных финансовых затрат.

¶См. также

• Машинное обучение
• Разметка данных
• Big data
• Валидация (статистика)

¶Источники

• Goodfellow I., Bengio Y., Courville A. Deep Learning. — MIT Press, 2016.
• Russell S., Norvig P. Artificial Intelligence: A Modern Approach. — Pearson, 2020.
• Материалы документации TensorFlow, PyTorch Hugging Face Datasets.
• Национальный корпус русского языка (НКРЯ).