Национальный корпус русского языка

Национальный корпус русского языка (НКРЯ) — это информационно-справочная система, основанная на собрании текстов на русском языке в электронной форме, предназначенная для лингвистических исследований, изучения языка и составления словарей. НКРЯ представляет собой один из крупнейших и наиболее авторитетных корпусов текстов для русского языка, содержащий миллионы словоупотреблений и охватывающий широкий хронологический диапазон — от древнерусских памятников до современных публицистических и разговорных текстов.

История создания

Идея создания представительного корпуса русского языка возникла в 1990-х годах в среде российских лингвистов, столкнувшихся с необходимостью систематизации данных для объективного анализа языковых явлений. Работы по формированию корпуса начались в 2001 году в Институте русского языка имени В. В. Виноградова РАН при поддержке Российского фонда фундаментальных исследований (РФФИ) и других научных организаций. Проект возглавил академик В. А. Плунгян, а в разработке участвовали коллективы лингвистов, программистов и филологов из ведущих вузов и академических институтов.

Первая версия НКРЯ была запущена в открытый доступ в 2004 году, и с тех пор система постоянно пополняется и совершенствуется. Ключевым этапом стало добавление морфологической и семантической разметки, позволяющей проводить сложные запросы по грамматическим формам, частям речи и лексико-семантическим группам. К началу 2020-х годов объём корпуса превысил 1 миллиард словоупотреблений, что сделало его одним из крупнейших в мире среди национальных корпусов.

Структура и состав

НКРЯ состоит из нескольких подкорпусов, каждый из которых охватывает определённый тип текстов или хронологический срез. Основные подкорпусы включают:

• Основной корпус — наиболее представительная часть, содержащая тексты художественной, публицистической, научной, официально-деловой и разговорной речи с середины XVIII века до настоящего времени.
• Газетный корпус — собрание статей из российских газет и журналов (в основном с 1990-х годов), отражающих современную публицистическую лексику.
• Поэтический корпус — тексты стихотворных произведений, размеченные с учётом стихотворных размеров, рифмы и строфики.
• Устный корпус — транскрипции записей устной речи (диалоги, интервью, монологи), включая разговорную речь и публичные выступления.
• Диалектный корпус — записи речи носителей русских диалектов, собранные в ходе экспедиций.
• Древнерусский и старорусский корпусы — тексты на древнерусском и старорусском языках (XI–XVII века), позволяющие изучать эволюцию языка.

Каждый текст в корпусе снабжён метаданными: автор, название, год создания, жанр, тип текста (оригинал или перевод), а для устных текстов — информация о говорящем (возраст, пол, образование, регион). Все тексты проходят лингвистическую разметку, включающую морфологический анализ (для каждого слова указаны часть речи, падеж, число, род, время и т. д.), лемматизацию (приведение к начальной форме) и семантические пометы.

Функциональные возможности

НКРЯ предоставляет пользователям широкий набор инструментов для поиска и анализа. Основные функции:

• Поиск по словоформе или лемме — можно найти все вхождения конкретного слова или его грамматических форм.
• Поиск по грамматическим признакам — например, все глаголы в прошедшем времени женского рода или все существительные в родительном падеже множественного числа.
• Поиск по семантическим категориям — например, слова, обозначающие цвета, эмоции, действия, связанные с перемещением.
• Конкорданс — вывод контекста употребления слова (обычно по несколько слов слева и справа) с возможностью сортировки по авторам, годам или жанрам.
• Статистика — подсчёт частотности словоформ, лемм или грамматических категорий в заданном подкорпусе или за определённый период.
• Сравнение подкорпусов — возможность сопоставить употребление слова в разных жанрах или эпохах.

Система поддерживает сложные запросы с использованием регулярных выражений и логических операторов (И, ИЛИ, НЕ). Например, можно найти все предложения, где существительное «дом» употребляется с прилагательным «большой» в пределах 3 слов.

Применение

НКРЯ используется в различных сферах:

• Научные исследования — лингвисты изучают грамматические изменения, семантику, лексическую сочетаемость, историю языка. Например, на основе корпуса проводятся исследования эволюции падежной системы или появления новых заимствований.
• Лексикография — корпус служит источником примеров для словарей (например, для «Большого академического словаря русского языка»), позволяя уточнять значения слов и их употребление.
• Образование — преподаватели и студенты-филологи используют НКРЯ для анализа текстов, изучения стилистики и грамматики, а также для выполнения курсовых и дипломных работ.
• Перевод и изучение русского языка как иностранного — корпус помогает изучающим язык увидеть реальные контексты употребления слов и конструкций, а переводчикам — проверить сочетаемость и стилистическую уместность.
• Компьютерная лингвистика — данные НКРЯ используются для обучения моделей машинного обучения, систем автоматической обработки текста, распознавания речи и машинного перевода.

Критика и ограничения

Несмотря на масштаб и авторитет, НКРЯ имеет ряд недостатков. Основные замечания:

• Неравномерность хронологического охвата — тексты XIX века представлены хуже, чем тексты XX–XXI веков, что может искажать историческую картину.
• Преобладание письменных текстов — устный корпус значительно меньше по объёму и менее репрезентативен, особенно в части спонтанной разговорной речи.
• Проблемы разметки — автоматическая морфологическая разметка содержит ошибки, особенно для редких слов, омонимов и сложных грамматических конструкций. Частично ошибки исправляются вручную, но не для всех текстов.
• Ограниченный доступ к полным текстам — из-за авторских прав многие тексты предоставляются только в виде фрагментов (конкордансов), что затрудняет анализ целостных произведений.
• Отсутствие регулярного обновления — пополнение корпуса осуществляется неравномерно, и некоторые современные тексты (например, из социальных сетей) включаются с задержкой.

Аналоги и альтернативы

В мире существуют аналогичные проекты для других языков: Британский национальный корпус (BNC, английский), Корпус современного американского английского (COCA), Немецкий референсный корпус (DeReKo), Чешский национальный корпус. Для русского языка, помимо НКРЯ, существуют специализированные корпусы, такие как «Русский учебный корпус» (для изучающих язык), «Корпус русского языка XIX века» (проект СПбГУ), а также корпусы, созданные в рамках коммерческих проектов (например, «Яндекс.Корпус»). Однако НКРЯ остаётся наиболее полным и методически проработанным.

Интересные факты

• В НКРЯ включены тексты, датируемые XI веком (например, «Остромирово Евангелие»), что делает его одним из немногих корпусов, охватывающих столь длительный период.
• Корпус используется в судебной лингвистической экспертизе для проверки частотности и нормативности употребления тех или иных слов.
• В 2018 году была запущена версия НКРЯ с параллельным корпусом (русско-английским, русско-немецким и другими), позволяющим сопоставлять переводы.

Источники

• Плунгян В. А. «Национальный корпус русского языка: общая характеристика и перспективы развития» // Вопросы языкознания, 2005.
• Официальный сайт НКРЯ (ruscorpora.ru) — разделы «О корпусе» и «Статистика».
• Добрушина Е. Р. «Корпусная лингвистика и корпусы русского языка» // Лекции по лингвистике, 2012.
• Шевелёва М. Н. «Национальный корпус русского языка: возможности и ограничения» // Русский язык в научном освещении, 2018.