Случайное слово в лингвистике и информатике¶
Случайное слово — слово, отбираемое из словаря или корпуса текстов по принципу равной вероятности, без учёта частоты, контекста или семантической связи с другими словами. Понятие используется в лингвистике, статистике, информатике, криптографии и педагогике; в зависимости от области, «случайность» может означать равновероятный выбор из словаря, выбор по псевдослучайной последовательности или случайное слово, порождённое генератором текста.
¶Случайность и язык
Слова в естественном языке распределены крайне неравномерно. Закон Ципфа утверждает, что частота слова обратно пропорциональна его рангу в корпусе: наиболее частое слово встречается примерно вдвое чаще второго, втрое чаще третьего и так далее. В русском языке к числу самых частотных относятся служебные слова — «и», «в», «не», «на», «что», — тогда как большинство словарных статей встречаются в текстах единичные разы.
Полностью случайная последовательность слов, в которой каждое слово выбирается с одинаковой вероятностью из словаря, практически не встречается в естественных текстах и воспринимается как бессмыслица. Именно поэтому случайные слова используют как диагностический инструмент: если человек не может назвать слово мгновенно и без пауз, это может указывать на затруднения в речи или в поиске лексических единиц.
¶Способы получения случайных слов
¶Из словаря
Самый простой способ — нумерация словарных статей и выбор номера с помощью жребия, таблицы случайных чисел или генератора. При таком подходе все слова словаря равновероятны, поэтому редкие и устаревшие слова выпадают так же часто, как общеупотребительные.
¶Из корпуса текста
Если случайное слово выбирается пропорционально частоте его встречаемости в корпусе, результат будет ближе к живой речи: чаще будут выпадать служебные и общеупотребительные слова. Такой подход применяется при генерации тестовых данных для алгоритмов обработки естественного языка.
¶Псевдослучайная генерация
Компьютерные программы используют генераторы псевдослучайных чисел, которые детерминированы начальным состоянием (seed). Одно и то же начальное состояние всегда даёт одну и ту же последовательность «случайных» слов, что важно для воспроизводимости экспериментов.
¶Применение
¶Педагогика и логопедия
Случайные слова применяются в методиках развития речи, тренировки памяти и внимания. Игры «слово на букву», «ассоциации» и «бредовые истории» используют случайные слова как стимул для спонтанной речевой активности. В логопедии случайные слова из заданной тематической группы помогают оценивать автоматизацию звуков.
¶Лингвистика и психолингвистика
В экспериментах по психолингвистике случайные слова служат контрольным материалом: по времени реакции на их распознавание судят о скорости лексического доступа. Методика «лексического решения» предъявляет испытуемым как реальные слова, так и случайные словообразования (нелистры), чтобы отделить узнавание слова от обработки отдельных букв.
¶Криптография и информатика
Генерация случайных слов применяется при создании паролей и мнемонических фраз. Методика BIP-39, используемая в криптокошельках, основана на списке из 2048 английских слов, из которых генерируется 12- или 24-словная фраза-семя. Случайные слова также используются в тестировании программ: они выявляют ошибки обработки неожиданных вводных данных.
¶Искусство и литература
Дадаизм и сюрреализм использовали случайные слова и тексты как метод создания произведений. Триада «Крестики-нолики» (1917) Марселя Дюшана и Тристана Тцары, а также автоматическое письмо Андре Бретона строились на отказе от осознанного выбора слов. В русской литературе аналогичный приём применял Даниил Хармс, включавший случайные словесные конструкции в свои миниатюры.
¶Случайные слова и искусственный интеллект
Языковые модели, включая семейство GPT и русскоязычные аналоги, генерируют текст, вероятностно выбирая следующее слово на основе контекста. При температуре, стремящейся к нулю, модель выбирает наиболее вероятное слово; при высокой температуре выбор становится более разнообразным и близким к случайному. Полностью случайные слова, не связанные с контекстом, модели, обученные на естественных текстах, практически не порождают.
¶Интересные факты
- В английском словаре Мерриам-Вебстера около 470 000 слов, в русском словаре Ожегова — около 130 000 словарных статей.
- Средняя длина слова в русском языке — около 6 букв, в английском — около 4,7.
- Вероятность выпадения одного и того же случайного слова дважды подряд при выборе из словаря в 130 000 статей составляет около 0,00077 %.
¶Источники
- Ципф Дж. К. Поведение человека при словоупотреблении. — М.: ЛЕНАНД, 2016.
- Панкратов Б. Н. Словарь частотности русских слов. — М.: Русский язык, 1984.
- Manning C. D., Schütze H. Foundations of Statistical Natural Language Processing. — Cambridge: MIT Press, 1999.
- BIP-39: Mnemonic code for generating deterministic keys. — Bitcoin Improvement Proposals, 2013.
