Открыть сервисСервис

Стоп-слово в информационном поиске

Стоп-слово — служебный термин информационного поиска и обработки естественного языка, обозначающий слова, исключаемые из поискового индекса или запроса в силу их высокой частотности и низкой смысловой нагрузки. К таким словам относятся служебные части речи и общие слова, не несущие самостоятельного значения в контексте документа: артикли, предлоги, союзы, местоимения, вспомогательные глаголы. В русском языке типичными стоп-словами являются «и», «в», «на», «что», «как», «но», «это», «быть», «он», «она».

Назначение и принцип работы

Стоп-слова удаляются из текста на этапе предобработки — нормализации — до построения инвертированного индекса. Их исключение преследует несколько целей:

  • снижение размера индекса за счёт исключения слов, встречающихся практически в каждом документе;
  • ускорение поиска, поскольку слова с чрезвычайно высокой частотой не помогают различать документы;
  • повышение точности ранжирования, основанного на мере TF-IDF и её производных, где вес слова обратно пропорционален его документной частоте.

Поскольку стоп-слова имеют документную частоту, близкую к единице (встречаются почти в каждом документе коллекции), их IDF-вес стремится к нулю, и они практически не влияют на оценку релевантности. Их удаление позволяет алгоритмам сосредоточиться на содержательных терминах.

Списки стоп-слов

Для каждого языка существует готовый список стоп-слов, составленный эмпирически или на основе частотных корпусов. Для английского языка наиболее известны списки от проекта SMART, от Google и от NLTK-библиотеки. Для русского языка распространены списки, включённые в библиотеки pymorphy2, Natasha, Rake-NLTK и другие инструменты обработки текста.

Типичный русский список стоп-слов включает:

КатегорияПримеры
Предлогив, на, с, к, по, из, у, о, за, для, до, от, без, под, над, при, через
Союзыи, а, но, или, что, как, чтобы, если, же, бы, ли
Местоименияон, она, оно, они, я, ты, мы, вы, это, тот, этот, какой, кто
Частицыне, ни, бы, же, вот, там, тут
Вспомогательные глаголыбыть, есть, был, была, было, будут, есть

Списки могут различаться: в зависимости от задачи и корпуса часть слов из списка исключается или, наоборот, добавляется. В некоторых системах состав списка адаптируется под конкретную предметную область — например, в медицинских или юридических корпусах слова «дело», «статья», «пациент» могут рассматриваться как значимые термины, а не как стоп-слова.

Спорные вопросы

Практика показывает, что безусловное удаление стоп-слов не всегда оправдано. Ряд исследований указывает на следующие ограничения:

  • Потеря информации. Слова «не», «без», «кроме» несут отрицание и могут существенно менять смысл запроса. Их удаление приводит к тому, что запрос «не курящие» и «курящие» обрабатываются одинаково.
  • Фразовые конструкции. В устойчивых выражениях и идиомах стоп-слова образуют смысловое единство: «по делу», «как правило», «в целом». Их раздельное удаление разрушает фразу.
  • Поиск по точным фразам. При поиске по цитатам и документам, где важна форма выражения, удаление стоп-слов недопустимо.

В современных поисковых системах стоп-слова часто не удаляются полностью, а им присваивается пониженный вес при ранжировании. Это позволяет сохранить их в индексе для поддержки фразовых запросов и операторов точного поиска, но нейтрализовать их влияние на оценку релевантности.

Стоп-слова в разных областях

Поисковые системы

В поисковых системах стоп-слова обрабатываются на этапе токенизации и нормализации. Стандартный конвейер включает: токенизацию, приведение к нормальной форме (лемматизацию), удаление стоп-слов, стемминг или лемматизацию и построение индекса.

Машинное обучение и NLP

В задачах классификации текстов, латентно-семантическом анализе и векторных моделях удаление стоп-слов применяется реже, поскольку модели векторного представления текста (Word2Vec, BERT) учитывают контекст и не страдают от частотных слов в той же мере, что и классические модели TF-IDF.

Криптография и анализ шифров

В криптоанализе стоп-слова используются для взлома простых шифров подстановки: высокочастотные слова английского языка («the», «and») и русского («и», «в», «что») позволяют быстро идентифицировать символы шифра.

Исторический контекст

Идея исключения служебных слов из поисковых запросов восходит к работам Герарда Салтона и его системы SMART в конце 1960-х — начале 1970-х годов. Салтон показал, что взвешивание TF-IDF и удаление стоп-слов существенно улучшают качество информационного поиска. Позднее этот подход был адаптирован для всех основных поисковых систем и библиотек полнотекстового поиска — Lucene, Elasticsearch, Sphinx.

Источники:

  • Салтон Г. «Automatic Text Processing» (1989)
  • Manning C., Raghavan P., Schütze H. «Introduction to Information Retrieval» (2008)
  • Лопатин В. А. «Информационный поиск в автоматизированных системах» (2003)
  • Сборники материалов конференций CLEF и TREC по задачам информационного поиска
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru