LibriSpeech

LibriSpeech — это корпус аудиоданных, содержащий записи чтения книг на английском языке, предназначенный для обучения и оценки систем автоматического распознавания речи (ASR). Корпус был создан исследователями из Университета Карнеги — Меллона (США) и опубликован в 2015 году. LibriSpeech широко используется в качестве эталонного набора данных (бенчмарка) для сравнения алгоритмов распознавания речи, особенно в контексте глубинного обучения.

История создания

Корпус LibriSpeech был разработан Вассилисом Панайотопулосом, Ритой Сингх, Рохитом Прасадом и другими исследователями из группы обработки речи Университета Карнеги — Меллона. Основной целью проекта было создание крупного, свободно доступного набора данных, который мог бы стимулировать развитие технологий ASR. До появления LibriSpeech большинство популярных корпусов (например, TIMIT или WSJ) были либо небольшими, либо ограниченными в доступе из-за лицензионных ограничений.

Исходным материалом для корпуса послужили аудиокниги из проекта LibriVox — некоммерческой библиотеки, где волонтёры записывают чтение произведений, находящихся в общественном достоянии. Для создания LibriSpeech из коллекции LibriVox было отобрано около 2000 часов аудиозаписей, которые затем были разбиты на короткие фрагменты, очищены от шумов и пауз, а также снабжены точными текстовыми транскрипциями. Результат был опубликован в 2015 году на конференции IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP).

Структура и состав

Корпус LibriSpeech состоит из аудиофайлов в формате FLAC (16 кГц, моно) и соответствующих им текстовых файлов с транскрипцией. Каждый аудиофайл представляет собой короткий отрезок речи (обычно от 2 до 15 секунд), вырезанный из записи аудиокниги.

Разделение на подмножества

LibriSpeech разделён на несколько подмножеств, различающихся по объёму и сложности:

Разделение на «чистую» (clean) и «сложную» (other) речь основано на оценке качества записи и дикции. В «сложную» категорию попадают записи с заметным фоновым шумом, акцентами, речевыми дефектами или нестабильным темпом речи. Такая структура позволяет исследователям оценивать модели как на идеальных, так и на реалистичных данных.

Характеристики дикторов

В корпусе представлено более 2400 уникальных дикторов (в основном носители американского английского). Для каждого диктора указаны пол, возрастная группа (ребёнок, взрослый, пожилой) и акцент (если он отличается от стандартного американского). Примерно 60% дикторов — женщины, 40% — мужчины. Возрастной состав: около 5% детей, 80% взрослых (18–60 лет) и 15% пожилых (старше 60 лет). Акценты включают британский, австралийский, канадский и другие варианты английского, но их доля невелика.

Применение в исследованиях

LibriSpeech стал одним из самых популярных наборов данных для оценки ASR-систем, особенно в эпоху глубинного обучения. Он используется в следующих областях:

Обучение энкодер-декодер моделей

Корпус применяется для обучения сквозных (end-to-end) моделей распознавания речи, таких как Listen, Attend and Spell (LAS), Deep Speech 2, а также архитектур на основе трансформеров (например, Wav2Vec 2.0, HuBERT). Модели, обученные на LibriSpeech, часто достигают уровня ошибок (Word Error Rate, WER) ниже 3% на подмножестве test-clean.

Оценка устойчивости к шуму

Благодаря наличию «сложных» подмножеств (dev-other, test-other), LibriSpeech используется для тестирования робастности моделей к реальным условиям — фоновому шуму, реверберации, акцентам. Это позволяет сравнивать алгоритмы шумоподавления и методы аугментации данных.

Сравнение архитектур

LibriSpeech служит эталоном для сравнения различных архитектур нейронных сетей: сверточных (CNN), рекуррентных (LSTM, GRU), трансформерных и гибридных. Результаты на LibriSpeech регулярно публикуются в ведущих журналах по обработке речи (IEEE/ACM Transactions on Audio, Speech, and Language Processing, Computer Speech & Language).

Трансферное обучение

Предобученные на LibriSpeech модели (например, Wav2Vec 2.0, XLSR) затем дообучаются на других, часто меньших корпусах для решения специфических задач — распознавания речи на других языках, медицинской транскрипции, обработки телефонных разговоров.

Критика и ограничения

Несмотря на широкую популярность, LibriSpeech имеет ряд недостатков:

• Ограниченная вариативность. Корпус содержит только чтение книг — спонтанная речь, диалоги, переговоры, команды голосовых ассистентов не представлены. Это снижает применимость обученных моделей к реальным сценариям.
• Англоцентричность. Все записи — на английском языке, преимущественно американский вариант. Это ограничивает использование корпуса для задач мультиязычного распознавания.
• Качество записей. Хотя записи из LibriVox проходят фильтрацию, часть из них содержит фоновые шумы, щелчки, нестабильный уровень громкости. Это может вносить артефакты в обучение.
• Устаревание. С появлением более крупных и разнообразных корпусов (например, Common Voice от Mozilla, Multilingual LibriSpeech, VoxPopuli) LibriSpeech постепенно теряет роль единственного эталонного набора данных, хотя остаётся важным инструментом для начального тестирования.

Производные проекты

На основе LibriSpeech были созданы несколько расширений и модификаций:

• LibriSpeech-360 — расширенная версия с дополнительными 360 часами чистой речи.
• Multilingual LibriSpeech (MLS) — корпус, содержащий записи на 8 языках (немецкий, французский, испанский, итальянский, португальский, польский, нидерландский, русский), построенный по той же методологии.
• LibriTTS — корпус, предназначенный для синтеза речи (Text-to-Speech), содержащий те же записи, но с более точной разметкой пауз и ударений.
• Libri-Adapt — набор данных для оценки адаптации моделей к новым дикторам.

Доступность и лицензия

Корпус LibriSpeech распространяется бесплатно на сайте OpenSLR (Open Speech and Language Resources). Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0), что позволяет использовать данные для любых целей, включая коммерческие, при условии указания авторства. Исходные аудиокниги из LibriVox находятся в общественном достоянии.

Источники

1. Panayotov, V., Chen, G., Povey, D., & Khudanpur, S. (2015). LibriSpeech: an ASR corpus based on public domain audio books. Proceedings of ICASSP 2015.
2. OpenSLR. LibriSpeech ASR corpus. https://www.openslr.org/12/
3. LibriVox. Free public domain audiobooks. https://librivox.org/
4. Pratap, V., Xu, Q., Sriram, A., et al. (2020). MLS: A Large-Scale Multilingual Dataset for Speech Research. Proceedings of Interspeech 2020.
5. Zen, H., Dang, V., Clark, R., et al. (2019). LibriTTS: A Corpus Derived from LibriSpeech for Text-to-Speech. Proceedings of Interspeech 2019.