WordNet

WordNet — это лексическая база данных английского языка, разработанная в Принстонском университете под руководством Джорджа Миллера. Она представляет собой онтологию, в которой лексические единицы (слова) объединены в синонимические множества (синсеты), каждое из которых соответствует определённому понятию. WordNet является одним из наиболее влиятельных ресурсов в области компьютерной лингвистики, обработки естественного языка и когнитивной науки.

История создания

Разработка WordNet началась в 1985 году в Принстонском университете (США). Проект был инициирован психолингвистом Джорджем Миллером, который стремился создать модель организации лексикона в сознании человека, основанную на психолингвистических и нейрокогнитивных исследованиях. В отличие от традиционных словарей, которые упорядочивают слова по алфавиту, WordNet структурирует лексику по семантическим отношениям, отражающим связи между понятиями.

Первая версия базы данных была выпущена в 1990 году. С тех пор WordNet постоянно обновляется и расширяется. Текущая версия (3.1, выпущенная в 2012 году) содержит более 155 000 слов, объединённых в более чем 117 000 синсетов. Проект продолжает поддерживаться Принстонским университетом, хотя активное развитие замедлилось.

Структура и организация

WordNet организован не как алфавитный список, а как сеть семантических отношений. Основной единицей является синсет (synset) — множество слов, которые могут заменять друг друга в определённом контексте, не меняя смысла предложения. Например, синсет {car, auto, automobile, machine, motorcar} объединяет все синонимы для понятия «автомобиль».

Каждый синсет снабжён определением (глоссой) и, для многих существительных, примерами употребления. Синсеты связаны между собой семантическими отношениями, которые различаются для разных частей речи.

Части речи

WordNet охватывает четыре основные части речи:

• Существительные — наиболее подробно проработанная часть. Для них определены отношения гипонимии/гиперонимии (род-вид), меронимии/голонимии (часть-целое) и другие.
• Глаголы — организованы в иерархии, основанные на отношении гипонимии (например, «бежать» — гипоним «двигаться»). Также выделяются отношения тропонимии (способ выполнения действия) и каузации (причинно-следственные связи).
• Прилагательные — делятся на два основных типа: описательные (например, «большой») и реляционные (например, «атомный»). Для них определены отношения антонимии и синонимии.
• Наречия — представлены в меньшем объёме, часто связаны с прилагательными (например, «быстро» — от «быстрый»).

Основные семантические отношения

WordNet использует ограниченный набор формальных отношений между синсетами:

• Гиперонимия (hypernymy) — отношение «является разновидностью» (X — гипероним Y, если Y — это вид X). Например, «животное» — гипероним «собаки».
• Гипонимия (hyponymy) — обратное отношение: «собака» — гипоним «животного».
• Меронимия (meronymy) — отношение «является частью» (X — мероним Y, если X — часть Y). Например, «колесо» — мероним «автомобиля».
• Голонимия (holonymy) — обратное отношение: «автомобиль» — голоним «колеса».
• Антонимия (antonymy) — отношение противоположности (например, «большой» — «маленький»).
• Тропонимия (troponymy) — для глаголов: отношение «способ выполнения» (например, «идти» — тропоним «шагать»).
• Каузация (causation) — для глаголов: отношение причины и следствия (например, «убить» — каузатив «умереть»).

Применение

WordNet нашёл широкое применение в различных областях компьютерной лингвистики и искусственного интеллекта:

• Определение семантической близости: WordNet используется для вычисления расстояния между понятиями, что необходимо для задач поиска информации, аннотирования текстов и машинного перевода.
• Разрешение лексической многозначности (WSD): WordNet предоставляет набор значений для каждого слова, что позволяет алгоритмам выбирать правильное значение в контексте.
• Информационный поиск: WordNet улучшает качество поиска, позволяя находить документы по синонимам и связанным понятиям, а не только по точному совпадению слов.
• Создание онтологий и семантических сетей: WordNet служит основой для построения более сложных онтологий, таких как SUMO (Suggested Upper Merged Ontology).
• Обучение языковых моделей: WordNet используется как источник семантических знаний для обучения нейросетевых моделей, таких как BERT и GPT.
• Лингвистические исследования: WordNet является ценным инструментом для изучения лексической семантики, психолингвистики и когнитивной лингвистики.

Критика и ограничения

Несмотря на широкое признание, WordNet имеет ряд критических замечаний:

• Ограниченный охват: База данных содержит преимущественно лексику общего английского языка. Специализированные термины, особенно из узких областей (медицина, юриспруденция, техника), представлены слабо или отсутствуют.
• Субъективность при построении: Выбор синсетов и семантических отношений основан на мнении разработчиков, что может не соответствовать реальному использованию языка в различных контекстах.
• Отсутствие контекстной информации: WordNet не учитывает прагматику, контекст употребления и стилистические нюансы слов.
• Проблемы с многозначностью: Для некоторых слов количество значений (синсетов) может быть избыточным или, наоборот, недостаточным.
• Статичность: База данных обновляется редко, что не позволяет отражать изменения в языке (появление новых слов, сленга, неологизмов).

Аналоги и производные проекты

WordNet послужил образцом для создания аналогичных лексических баз данных для многих языков мира. Наиболее известные проекты:

• EuroWordNet — многоязычная база данных, объединяющая WordNet для нескольких европейских языков (нидерландского, итальянского, испанского, немецкого, французского, чешского и эстонского).
• Global WordNet — проект по созданию единой сети WordNet для всех языков мира.
• Русский WordNet (RuWordNet) — лексическая база данных для русского языка, разрабатываемая в Институте проблем передачи информации РАН. Она содержит около 100 000 синсетов и 150 000 слов. RuWordNet не является прямым переводом английского WordNet, а создаётся на основе собственных лингвистических принципов.
• BabelNet — многоязычная онтология, объединяющая WordNet, Википедию и другие ресурсы. Она охватывает более 500 языков и содержит миллионы синсетов.
• WordNet для других языков: существуют версии для китайского, арабского, японского, корейского, хинди и многих других языков.

Интересные факты

• WordNet является одним из самых цитируемых ресурсов в области компьютерной лингвистики.
• База данных распространяется бесплатно и доступна для скачивания в формате текстовых файлов.
• WordNet используется в таких популярных приложениях, как поисковые системы (Google, Bing), системы машинного перевода (Google Translate, DeepL) и интеллектуальные помощники (Siri, Alexa).
• В 2012 году Принстонский университет выпустил версию 3.1, которая остаётся последней официальной версией. Дальнейшее развитие происходит в рамках проектов Global WordNet и BabelNet.

Источники

1. Miller, G. A. (1995). WordNet: A lexical database for English. Communications of the ACM, 38(11), 39-41.
2. Fellbaum, C. (Ed.). (1998). WordNet: An electronic lexical database. MIT Press.
3. Princeton University. (2012). WordNet 3.1. https://wordnet.princeton.edu/
4. RuWordNet. (2023). Лексическая база данных русского языка. https://ruwordnet.ru/
5. Global WordNet Association. (2024). https://globalwordnet.org/