Мультиномиальное распределение

Мультиномиальное распределение (полиномиальное распределение) — это многомерное дискретное распределение вероятностей, обобщающее биномиальное распределение на случай, когда каждый из независимых экспериментов имеет более двух возможных исходов. Оно описывает вероятности получения определённых количеств каждого из возможных исходов при фиксированном числе испытаний.

Определение

Пусть проводится серия из \( n \) независимых испытаний, в каждом из которых возможен ровно один из \( k \) взаимоисключающих исходов. Вероятность наступления \( i \)-го исхода в одном испытании равна \( p_i \), причём \( p_1 + p_2 + \dots + p_k = 1 \). Обозначим через \( X_1, X_2, \dots, X_k \) случайные величины, равные числу наступлений каждого из исходов за \( n \) испытаний. Тогда вектор \( \mathbf{X} = (X_1, X_2, \dots, X_k) \) имеет мультиномиальное распределение с параметрами \( n \) и \( \mathbf{p} = (p_1, p_2, \dots, p_k) \).

Совместная функция вероятности задаётся формулой:

\[ P(X_1 = x_1, X_2 = x_2, \dots, X_k = x_k) = \frac{n!}{x_1! \, x_2! \, \dots \, x_k!} \, p_1^{x_1} p_2^{x_2} \dots p_k^{x_k}, \]

где \( x_i \) — неотрицательные целые числа, удовлетворяющие условию \( x_1 + x_2 + \dots + x_k = n \).

Свойства

Математическое ожидание и дисперсия

Для каждой компоненты \( X_i \) математическое ожидание равно \( \mathbb{E}[X_i] = n p_i \), дисперсия — \( \mathrm{Var}[X_i] = n p_i (1 - p_i) \).

Ковариация и корреляция

Ковариация между двумя различными компонентами \( X_i \) и \( X_j \) (\( i \neq j \)) равна:

\[ \mathrm{Cov}[X_i, X_j] = -n p_i p_j. \]

Отрицательная ковариация отражает тот факт, что увеличение числа наступлений одного исхода влечёт уменьшение ожидаемого числа наступлений другого при фиксированном \( n \). Коэффициент корреляции:

\[ \rho_{ij} = -\sqrt{\frac{p_i p_j}{(1-p_i)(1-p_j)}}. \]

Производящие функции

Производящая функция моментов для мультиномиального распределения имеет вид:

\[ M_{\mathbf{X}}(\mathbf{t}) = \left( \sum_{i=1}^{k} p_i e^{t_i} \right)^n. \]

Частные случаи

• Биномиальное распределение — частный случай мультиномиального при \( k = 2 \). В этом случае формула сводится к \( P(X_1 = x) = \binom{n}{x} p_1^x (1-p_1)^{n-x} \).
• Мультиномиальное распределение с \( n = 1 \) — это категориальное распределение (распределение одной дискретной случайной величины с \( k \) исходами).
• Распределение Дирихле — сопряжённое априорное распределение для параметров мультиномиального распределения в байесовской статистике.

Применение

Мультиномиальное распределение широко используется в различных областях:

• Статистика и анализ данных — для моделирования многокатегорийных экспериментов, например, опросов общественного мнения, где респонденты выбирают один из нескольких вариантов ответа.
• Генетика — для описания распределения генотипов в потомстве при скрещивании (например, расщепление по законам Менделя).
• Обработка текстов — в задачах классификации документов по темам (модель «мешка слов»), где каждое слово рассматривается как результат независимого выбора из словаря.
• Эконометрика — для анализа выбора потребителей (модели дискретного выбора, такие как логит и пробит).
• Машинное обучение — в наивном байесовском классификаторе для категориальных признаков.

Пример

Рассмотрим бросание игральной кости 10 раз. Исходы: 1, 2, 3, 4, 5, 6. Вероятности каждого исхода равны \( p_i = 1/6 \). Вероятность того, что выпадет ровно две единицы, две двойки, одна тройка, одна четвёрка, две пятёрки и две шестёрки, вычисляется по формуле:

\[ P = \frac{10!}{2! \, 2! \, 1! \, 1! \, 2! \, 2!} \left( \frac{1}{6} \right)^{10} \approx 0,0034. \]

Связь с другими распределениями

• Условные распределения. Если зафиксировать сумму нескольких компонент, то оставшиеся компоненты имеют мультиномиальное распределение с меньшим числом испытаний.
• Предельные распределения. При \( n \to \infty \) и фиксированных \( p_i \) мультиномиальное распределение сходится к многомерному нормальному распределению (по центральной предельной теореме).
• Распределение Пуассона. Если \( n \) велико, а \( p_i \) малы, то компоненты \( X_i \) приближённо независимы и распределены по закону Пуассона с параметрами \( \lambda_i = n p_i \).

Оценка параметров

Оценка максимального правдоподобия для вероятностей \( p_i \) по наблюдаемым частотам \( x_i \) имеет вид:

\[ \hat{p}_i = \frac{x_i}{n}. \]

Эти оценки являются несмещёнными и состоятельными. Для проверки гипотез о значениях \( p_i \) используется критерий хи-квадрат Пирсона.

Критика и ограничения

Мультиномиальное распределение предполагает независимость испытаний и постоянство вероятностей исходов. В реальных данных эти допущения могут нарушаться (например, при последовательном выборе без возвращения). В таких случаях применяются обобщения, такие как мультиномиальное распределение с зависимыми исходами или распределение Дирихле-мультиномиальное (полиномиальное распределение с передисперсией).

Источники

1. Феллер В. «Введение в теорию вероятностей и её приложения». Том 1. — М.: Мир, 1984.
2. Кендалл М., Стюарт А. «Теория распределений». — М.: Наука, 1966.
3. Johnson N. L., Kotz S., Balakrishnan N. «Discrete Multivariate Distributions». — Wiley, 1997.
4. Айвазян С. А., Мхитарян В. С. «Прикладная статистика и основы эконометрики». — М.: ЮНИТИ, 1998.