Распределение Дирихле

Распределение Дирихле (также распределение Дирихле, многомерное бета-распределение) — это семейство непрерывных многомерных вероятностных распределений, заданных на симплексе (множестве неотрицательных векторов, сумма компонент которых равна единице). Оно является обобщением бета-распределения на многомерный случай и широко используется в байесовской статистике, машинном обучении, обработке естественного языка и других областях, где необходимо моделировать вероятности или доли.

Определение

Пусть K — размерность (число категорий), и α = (α₁, α₂, …, α_K) — вектор положительных действительных чисел (параметров концентрации). Тогда случайный вектор x = (x₁, x₂, …, x_K) имеет распределение Дирихле порядка K с параметром α, если его плотность вероятности задаётся формулой:

\[ f(x_1, \dots, x_K; \alpha_1, \dots, \alpha_K) = \frac{1}{B(\alpha)} \prod_{i=1}^{K} x_i^{\alpha_i - 1}, \]

где \(B(\alpha)\) — многомерная бета-функция:

\[ B(\alpha) = \frac{\prod_{i=1}^{K} \Gamma(\alpha_i)}{\Gamma\left(\sum_{i=1}^{K} \alpha_i\right)}, \]

а \(\Gamma(\cdot)\) — гамма-функция. Поддержка распределения — открытый (K-1)-мерный симплекс:

\[ \{ x \in \mathbb{R}^K : x_i > 0 \text{ для всех } i, \sum_{i=1}^{K} x_i = 1 \}. \]

Свойства

Математическое ожидание и мода

Математическое ожидание каждой компоненты x_i равно:

\[ E[x_i] = \frac{\alpha_i}{\sum_{j=1}^{K} \alpha_j}. \]

Мода распределения (при условии, что все α_i > 1) находится в точке:

\[ \text{Mode}[x_i] = \frac{\alpha_i - 1}{\sum_{j=1}^{K} (\alpha_j - 1)}. \]

Дисперсия и ковариация

Дисперсия компоненты x_i:

\[ \text{Var}[x_i] = \frac{\alpha_i (\alpha_0 - \alpha_i)}{\alpha_0^2 (\alpha_0 + 1)}, \]

где \(\alpha_0 = \sum_{j=1}^{K} \alpha_j\).

Ковариация между x_i и x_j (i ≠ j):

\[ \text{Cov}[x_i, x_j] = -\frac{\alpha_i \alpha_j}{\alpha_0^2 (\alpha_0 + 1)}. \]

Из формулы ковариации видно, что компоненты распределения Дирихле всегда отрицательно коррелированы: увеличение одной доли влечёт уменьшение суммы остальных.

Симметричный случай

Если все параметры α_i равны одному и тому же значению α, распределение называется симметричным распределением Дирихле. В этом случае математическое ожидание каждой компоненты равно 1/K, а дисперсия:

\[ \text{Var}[x_i] = \frac{K-1}{K^2 (\alpha K + 1)}. \]

При α = 1 распределение вырождается в равномерное распределение на симплексе. При α → 0 распределение концентрируется вблизи вершин симплекса (крайние значения), а при α → ∞ — стягивается к центру симплекса.

Связь с другими распределениями

Обобщение бета-распределения

Распределение Дирихле является многомерным аналогом бета-распределения. Для K = 2 распределение Дирихле вырождается в бета-распределение: если (x₁, x₂) ~ Dir(α₁, α₂), то x₁ ~ Beta(α₁, α₂), а x₂ = 1 - x₁.

Связь с гамма-распределением

Если независимые случайные величины Y₁, Y₂, …, Y_K имеют гамма-распределение с параметрами формы α_i и одинаковым масштабом (например, 1), то вектор:

\[ X_i = \frac{Y_i}{\sum_{j=1}^{K} Y_j} \]

имеет распределение Дирихле с параметрами α_i. Это свойство часто используется для генерации псевдослучайных векторов из распределения Дирихле.

Сопряжённое априорное распределение

Распределение Дирихле является сопряжённым априорным распределением для мультиномиального распределения. Это означает, что если априорное распределение параметров мультиномиальной модели является распределением Дирихле, то и апостериорное распределение (после наблюдения данных) также будет распределением Дирихле с обновлёнными параметрами. Это свойство делает его незаменимым в байесовском выводе для категориальных данных.

Применение

Байесовская статистика и машинное обучение

Распределение Дирихле широко используется в качестве априорного распределения для вероятностей категорий в мультиномиальных моделях. Примеры включают:

• Латентное размещение Дирихле (LDA) — вероятностная тематическая модель, где распределение Дирихле используется как априорное распределение для распределения тем в документах и распределения слов в темах.
• Байесовские модели классификации — для оценки апостериорных вероятностей классов.
• Моделирование смесей — в качестве априорного распределения для весов компонент смеси.

Обработка естественного языка

В NLP распределение Дирихле применяется в тематическом моделировании (LDA), а также в моделях для анализа тональности, машинного перевода и генерации текста.

Биоинформатика

В анализе микробиомных данных распределение Дирихле используется для моделирования относительных обилий различных таксонов бактерий. Оно позволяет учитывать композиционную природу таких данных (сумма долей равна единице).

Эконометрика и финансы

Распределение Дирихле применяется для моделирования долей рынка, портфельных весов, распределения доходов и других композиционных данных.

Примеры

1. Симметричное распределение с α = 1 (K=3): равномерное распределение на треугольном симплексе. Все точки внутри треугольника равновероятны.
2. Симметричное распределение с α = 0.1 (K=3): распределение концентрируется вблизи вершин треугольника — высокая вероятность, что одна из долей близка к 1, а остальные — к 0.
3. Асимметричное распределение с α = (10, 1, 1): математическое ожидание компонент равно (10/12, 1/12, 1/12) ≈ (0.833, 0.083, 0.083). Большая часть вероятности сосредоточена вблизи первой компоненты.

Критика и ограничения

Распределение Дирихле имеет ряд ограничений, которые могут быть существенны в некоторых приложениях:

• Отрицательная корреляция: как упоминалось, все компоненты отрицательно коррелированы, что может не соответствовать реальным данным, где некоторые доли могут быть положительно связаны.
• Негибкость в моделировании зависимостей: распределение Дирихле не может моделировать сложные корреляционные структуры между долями. Для преодоления этого ограничения были разработаны обобщения, такие как распределение Дирихле-полиномиальное, логистическое нормальное распределение и распределение Дирихле-процесс.
• Чувствительность к нулевым значениям: плотность распределения Дирихле равна нулю, если хотя бы одна компонента равна нулю, что может быть проблематично при работе с разреженными данными (например, в тематическом моделировании). Для решения этой проблемы применяют сглаживание (например, добавление малого псевдосчёта).

Интересные факты

• Распределение Дирихле названо в честь немецкого математика Петера Густава Лежёна Дирихле (1805–1859), который внёс значительный вклад в теорию чисел и математический анализ. Однако сам Дирихле не изучал это распределение; оно было введено позже как обобщение бета-распределения.
• В контексте байесовской статистики распределение Дирихле часто называют «распределением над распределениями», поскольку его реализация — это вероятностный вектор (распределение вероятностей на конечном множестве категорий).
• Параметры α_i в распределении Дирихле интерпретируются как «псевдосчёты» — количество наблюдений, которые априорно приписываются каждой категории. Чем больше α_i, тем сильнее априорное убеждение в том, что соответствующая доля велика.

Источники

• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
• Gelman, A., Carlin, J. B., Stern, H. S., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
• Kotz, S., Balakrishnan, N., & Johnson, N. L. (2000). Continuous Multivariate Distributions, Volume 1: Models and Applications (2nd ed.). Wiley.
• Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.