Снятие омонимии в автоматическом анализе текста¶

Снятие омонимии в автоматическом анализе текста (также известное как разрешение лексической многозначности, от англ. word sense disambiguation, WSD) — это задача компьютерной лингвистики и обработки естественного языка (NLP), заключающаяся в автоматическом определении того, какое значение многозначного слова (омонима или полисеманта) реализовано в данном контексте употребления. Снятие омонимии является одной из ключевых промежуточных задач на пути к семантическому пониманию текста, поскольку корректный выбор значения влияет на качество машинного перевода, информационного поиска, анализа тональности и других прикладных систем.

¶Сущность задачи и основные понятия

В любом естественном языке значительная часть слов обладает несколькими значениями. Например, русское слово «ключ» может обозначать инструмент для открывания замка, родник, музыкальный знак или шифр. Омонимия в широком смысле включает в себя как собственно омонимы (слова, совпадающие по написанию и/или звучанию, но имеющие разное происхождение и значение), так и полисемию — наличие у одной лексемы нескольких связанных между собой значений.

Для автоматического снятия омонимии необходимо иметь тезаурус или словарь, в котором перечислены возможные значения слов, а также корпус текстов или правила, позволяющие сопоставить контекст употребления с конкретным значением. В зарубежной практике эталонным ресурсом является WordNet, в русскоязычной — тезаурус РуТез и другие лексикографические базы.

¶Подходы к решению

Методы снятия омонимии традиционно делятся на несколько категорий.

¶1. Методы, основанные на знаниях

Эти подходы используют явно заданные лингвистические ресурсы — словари, тезаурусы, онтологии. Классический алгоритм Леска (Lesk) сравнивает определения значений слова из словаря со словами, встречающимися в контексте, и выбирает то значение, чьё определение имеет наибольшее пересечение с контекстом. Также используются методы, опирающиеся на семантические отношения между словами (гиперонимы, синонимы) и на тематические классы.

¶2. Контролируемые методы машинного обучения

Данные подходы требуют наличия размеченного корпуса, где каждое употребление слова вручную отнесено к одному из значений. На основе таких примеров обучается классификатор, который учитывает признаки контекста: слова-соседи (окно контекста), части речи, синтаксические связи, тематические метки. Наиболее эффективными считаются методы на основе нейронных сетей, в частности трансформерные модели (BERT, ELMo), которые обучаются на больших неразмеченных корпусах и затем дообучаются на задачу снятия омонимии.

¶3. Полуконтролируемые и безконтрольные методы

Для языков или доменов, где размеченные корпуса отсутствуют, применяются методы, использующие параллельные тексты (для машинного перевода), а также алгоритмы кластеризации, которые группируют употребления слова по близости контекстов, выделяя таким образом значения без словаря. Отдельно выделяют лексические замены (lexical substitution) — подход, при котором задача формулируется как подбор синонима, наиболее уместного в данном контексте.

¶Сложности и ограничения

Несмотря на значительный прогресс, задача снятия омонимии остаётся открытой. Основные трудности связаны с:

• Разграничением значений: граница между отдельными значениями слова часто размыта, а контекст может быть недостаточным для однозначного выбора.
• Скрытой омонимией: в некоторых случаях даже человек не может определить значение без дополнительных фоновых знаний.
• Доменными и стилистическими особенностями: значения слов могут варьироваться в зависимости от профессиональной сферы (например, «мышь» в биологии и в информатике).
• Дисбалансом частотности: одно из значений слова может быть значительно более частотным, что приводит к перекосу в обучающих данных.

¶Применение

Снятие омонимии используется в следующих областях:

• Машинный перевод: выбор правильного переводного эквивалента (например, английское bank — «банк» или «берег»).
• Информационный поиск: повышение точности поиска по запросам, содержащим многозначные слова.
• Анализ тональности: определение эмоциональной окраски слова, зависящей от его значения.
• Синтез и распознавание речи: корректная постановка ударения и выбор произношения для омографов (например, «за́мок» и «замо́к»).
• Извлечение информации и построение графов знаний: установление семантических связей между сущностями.

¶Оценка качества

Для оценки систем снятия омонимии используются размеченные тестовые наборы данных. Основная метрика — точность (accuracy), показывающая долю правильно определённых значений. В международных соревнованиях (SemEval, Senseval) лучшие современные системы достигают точности около 80–90 % на общеупотребительной лексике, однако на редких словах и в узких доменах результаты значительно ниже. Верхней границей считается согласие между экспертами-людьми, которое обычно составляет 95–98 %.

¶См. также

• Обработка естественного языка
• Лексическая семантика
• Частеречная разметка