Набор слов — термин лингвистики и информатики¶
Набор слов (англ. word set, bag of words) — понятие, используемое в лингвистике, математике и информатике для обозначения совокупности слов, рассматриваемой без учёта порядка их следования. В зависимости от контекста набор может быть упорядоченной последовательностью (строкой, фразой) или неупорядоченной коллекцией элементов, где важен только состав и количество повторов.
¶Определение и общие сведения
В общей теории множеств набор (множество) — это конечное или бесконечное число объектов, объединённых по какому-либо признаку. Слова в наборе могут рассматриваться как элементы множества: если повторяющиеся слова не учитываются, набор превращается в классическое множество; если каждый повтор учитывается отдельно, получается мультимножество.
В лингвистике набор слов обычно понимается как лексический состав текста, языка или речи — совокупность употреблённых словоформ безотносительно к их позиции в предложении. Такой подход противопоставляется анализу синтаксической структуры и порядка слов.
¶Набор слов в лингвистике
¶Лексический состав текста
При анализе текста набор слов позволяет оценить богатство словаря, частотность лексем и тематическое наполнение. Классические количественные методы, восходящие к работам И. А. Бодуэна де Куртенэ и Л. В. Щербы, а также к статистической школе Н. Н. Марра и позднее к работам Г. П. Мельникова, используют именно частотные словари — по сути, упорядоченные по частоте наборы слов.
¶Словарные статьи и словари
Словарь в широком смысле — это нормированный набор слов с описанием их значений, грамматических свойств и употребления. Толковые словари русского языка, например «Словарь русского языка» С. И. Ожегова или академические издания, представляют собой упорядоченные наборы словоформ с соответствующими пометами.
¶Набор слов в информатике
¶Модель «мешок слов»
В обработке естественного языка (NLP) модель «мешок слов» (bag of words) — это способ представления текста, при котором документ описывается как неупорядоченный набор слов с указанием частоты встречаемости. Синтаксическая структура и порядок слов при этом игнорируются. Модель широко применяется в задачах классификации текстов, спам-фильтрации и тональном анализе.
¶Алгоритмы и структуры данных
В программировании набор (set) — это структура данных, хранящая уникальные элементы без дубликатов. Операции над наборами — объединение, пересечение, разность — являются основой алгебры множеств и используются в поисковых системах, базах данных и информационном поиске. Для подсчёта частот слов в тексте применяются хеш-таблицы и деревья.
¶Набор слов в математике
В теории вероятностей и комбинаторике набор слов (слово — конечная последовательность символов алфавита) изучается в рамках формальных языков и теории автоматов. Ключевые понятия здесь — длина слова, подслово, префикс, суффикс, а также операции конкатенации и взятия степеней. Набор всех слов фиксированной длины над алфавитом размером k содержит kⁿ элементов, где n — длина слова.
¶Применение
- Лексикография — составление частотных и тематических словарей.
- Информационный поиск — индексация документов, ранжирование по релевантности (TF-IDF).
- Машинное обучение — векторизация текстов для классификации и кластеризации.
- Криптография и теория кодирования — анализ свойств кодовых наборов.
¶См. также
- Множество
- Мультимножество
- Мешок слов
- Формальный язык
- Словарь
¶Источники
- Мельников Г. П. «Введение в теорию языка и речевой деятельности».
- Ожегов С. И. «Словарь русского языка».
- Manning C. D., Raghavan P., Schütze H. «Introduction to Information Retrieval».
- Сборник статей по обработке естественного языка (NLP) и информационному поиску.