Лапласово сглаживание

Лапласово сглаживание (также известное как аддитивное сглаживание или сглаживание по Лапласу) — это метод сглаживания вероятностных распределений, применяемый в статистике и машинном обучении для коррекции оценок вероятностей редких или ненаблюдаемых событий. Основная цель метода — избежать нулевых вероятностей при работе с ограниченными выборками, что особенно актуально для задач классификации текстов, обработки естественного языка и анализа данных.

История и происхождение

Метод назван в честь французского математика и астронома Пьера-Симона Лапласа, который в конце XVIII века предложил «правило наследования» для оценки вероятности повторения события на основе ограниченного числа наблюдений. В 1814 году в работе «Философское эссе о вероятностях» Лаплас сформулировал принцип, согласно которому, если событие произошло \(m\) раз в \(n\) испытаниях, то вероятность его повторения в следующем испытании оценивается как \((m+1)/(n+2)\). Эта идея легла в основу аддитивного сглаживания.

В середине XX века метод был адаптирован для задач обработки текстов и статистического моделирования, в частности, для сглаживания n-граммных моделей языка. Одним из первых систематических применений лапласова сглаживания в компьютерной лингвистике стали работы американского учёного Фредерика Джалинека (Jelinek) и его коллег из IBM в 1980-х годах.

Математическая формулировка

Пусть имеется категориальное распределение с \(K\) возможными исходами (классами, событиями). На основе выборки объёмом \(N\) наблюдаются частоты \(c_i\) для каждого исхода \(i\) (где \(i = 1, 2, \dots, K\)). Оценка максимального правдоподобия вероятности \(p_i\) даётся формулой:

\[ \hat{p}_i = \frac{c_i}{N} \]

Если какой-либо исход не наблюдался (\(c_i = 0\)), его оценка становится нулевой, что может приводить к нежелательным эффектам, например, к бесконечным значениям в логарифмических вычислениях или к невозможности обработки данных в вероятностных моделях.

Лапласово сглаживание добавляет ко всем счётчикам фиксированное положительное число \(\alpha\) (параметр сглаживания) и корректирует знаменатель:

\[ \hat{p}_i^{\text{Laplace}} = \frac{c_i + \alpha}{N + \alpha K} \]

Наиболее распространённый вариант — сглаживание с параметром \(\alpha = 1\), называемое «аддитивным сглаживанием первого порядка». В этом случае формула упрощается:

\[ \hat{p}_i^{\text{Laplace}} = \frac{c_i + 1}{N + K} \]

Пример

Пусть имеется три класса (A, B, C) и выборка из 10 наблюдений: A встречается 7 раз, B — 3 раза, C — 0 раз. Оценки по методу максимального правдоподобия: \(p_A = 0.7\), \(p_B = 0.3\), \(p_C = 0.0\). После лапласова сглаживания с \(\alpha = 1\): \(p_A = (7+1)/(10+3) = 8/13 \approx 0.615\), \(p_B = 4/13 \approx 0.308\), \(p_C = 1/13 \approx 0.077\).

Свойства и интерпретация

Байесовская интерпретация

Лапласово сглаживание эквивалентно оценке апостериорной вероятности при использовании априорного распределения Дирихле с параметрами \(\alpha_i = \alpha\) для всех \(i\). В байесовском подходе сглаживание соответствует добавлению «псевдосчётчиков» — фиктивных наблюдений, которые учитываются до анализа реальных данных. При \(\alpha = 1\) априорное распределение является равномерным (симметричное распределение Дирихле с параметром 1).

Влияние параметра сглаживания

Параметр \(\alpha\) контролирует степень сглаживания:

• При \(\alpha \to 0\) оценки стремятся к оценкам максимального правдоподобия, но нулевые вероятности сохраняются.
• При \(\alpha \to \infty\) все вероятности выравниваются, стремясь к \(1/K\).
• Оптимальное значение \(\alpha\) часто подбирается эмпирически (например, с помощью кросс-валидации) или оценивается по методу максимального правдоподобия на отложенной выборке.

Недостатки

• Смещение оценок: Лапласово сглаживание вносит систематическое смещение, особенно заметное при малых \(K\) или больших \(N\). Для редких событий сглаживание может существенно занижать вероятности наблюдаемых исходов.
• Неэффективность для больших словарей: В задачах обработки текстов, где \(K\) (размер словаря) может достигать десятков и сотен тысяч, добавление единицы ко всем счётчикам приводит к значительному завышению вероятностей для редких слов и занижению для частотных.
• Отсутствие адаптивности: Параметр \(\alpha\) фиксирован для всех исходов, что не учитывает различия в их априорной вероятности.

Применение

Обработка естественного языка (NLP)

Лапласово сглаживание широко применяется в n-граммных языковых моделях. При построении модели, оценивающей вероятность последовательности слов, часто встречаются n-граммы, отсутствующие в обучающем корпусе. Аддитивное сглаживание позволяет присвоить им ненулевую вероятность, избегая нулевых значений в цепях Маркова. Например, для биграммной модели:

\[ P(w_i | w_{i-1}) = \frac{\text{count}(w_{i-1}, w_i) + 1}{\text{count}(w_{i-1}) + V} \]

где \(V\) — размер словаря.

Однако для современных задач, особенно с большими корпусами, лапласово сглаживание часто уступает более сложным методам, таким как сглаживание Гуда—Тьюринга, сглаживание Кнесера—Нея или интерполяция с обратными моделями.

Классификация текстов (наивный байесовский классификатор)

В наивном байесовском классификаторе для текстов (например, фильтрация спама) лапласово сглаживание используется для оценки вероятности слова при условии класса. Если слово не встречалось в обучающих документах данного класса, его вероятность не становится нулевой, что предотвращает обнуление произведения вероятностей всего документа.

Другие области

• Биоинформатика: Оценка частот аминокислотных или нуклеотидных последовательностей при малых выборках.
• Социология и маркетинг: Анализ категориальных данных с редкими ответами.
• Теория информации: Сглаживание эмпирических распределений для оценки энтропии и взаимной информации.

Сравнение с другими методами сглаживания

Лапласово сглаживание уступает более современным методам по точности, но выигрывает в простоте реализации и интерпретации.

Варианты и обобщения

Сглаживание с параметром \(\alpha\) (аддитивное сглаживание)

Обобщение, в котором \(\alpha\) может быть любым положительным числом. В некоторых источниках называется «сглаживанием по Лапласу—Лидстоуну». При \(\alpha < 1\) смещение уменьшается, но риск нулевых вероятностей для редких событий возрастает.

Сглаживание с априорным распределением

В байесовском подходе параметры априорного распределения Дирихле могут быть неодинаковыми для разных исходов, что позволяет учитывать априорные знания о частотах. Например, для слов в тексте можно задать \(\alpha_i\) пропорционально частоте слова в общем корпусе.

Сглаживание для непрерывных распределений

В контексте оценки плотности вероятности лапласово сглаживание может быть обобщено на непрерывные распределения, однако на практике чаще используются ядерные методы сглаживания (например, оценка Парзена—Розенблатта).

Критика

Лапласово сглаживание подвергается критике за чрезмерное упрощение. В работе Чёрча и Гейла (1991) было показано, что для больших корпусов текстов аддитивное сглаживание даёт худшие результаты по сравнению с методами, основанными на дисконтировании, такими как сглаживание Гуда—Тьюринга. Основная причина — неспособность метода адаптироваться к реальной структуре распределения, где большинство событий имеют низкую, но не нулевую вероятность, а частотные события — высокую.

Тем не менее, лапласово сглаживание остаётся популярным в учебных целях и в задачах с малым числом классов, где его простота перевешивает недостатки точности.

Интересные факты

• Правило наследования Лапласа использовалось для оценки вероятности того, что Солнце взойдёт завтра, на основе того, что оно восходило каждый день в течение известной истории. Лаплас получил вероятность \((N+1)/(N+2)\), где \(N\) — число прошедших дней. Эта задача стала классическим примером философских проблем индукции.
• В современных библиотеках машинного обучения (например, scikit-learn, NLTK) лапласово сглаживание реализовано как параметр alpha в наивных байесовских классификаторах и моделях языка.
• В некоторых контекстах термин «лапласово сглаживание» ошибочно используется для обозначения любого аддитивного сглаживания, независимо от значения параметра.

Источники

• Лаплас, П.-С. «Философское эссе о вероятностях» (1814).
• Jelinek, F. «Statistical Methods for Speech Recognition» (1997).
• Manning, C. D., Schütze, H. «Foundations of Statistical Natural Language Processing» (1999).
• Church, K. W., Gale, W. A. «A Comparison of the Enhanced Good-Turing and Deleted Estimation Methods for Estimating Probabilities of English Bigrams» (1991).
• Chen, S. F., Goodman, J. «An Empirical Study of Smoothing Techniques for Language Modeling» (1998).