Апостериорное распределение

Апостериорное распределение — это распределение вероятностей неизвестного параметра (или набора параметров) статистической модели, вычисленное после учёта наблюдаемых данных. В байесовской статистике апостериорное распределение является ключевым понятием, представляющим результат обновления априорного распределения (доопытных знаний) с помощью функции правдоподобия, которая описывает, насколько вероятны наблюдаемые данные при различных значениях параметра. Апостериорное распределение объединяет в себе как исходные предположения, так и информацию, извлечённую из эмпирических наблюдений.

Определение и математическая формулировка

Апостериорное распределение формально определяется через теорему Байеса. Пусть \( \theta \) — неизвестный параметр, а \( D \) — наблюдаемые данные. Тогда:

\[ P(\theta | D) = \frac{P(D | \theta) \cdot P(\theta)}{P(D)} \]

Где:

• \( P(\theta | D) \) — апостериорное распределение (вероятность параметра при данных данных);
• \( P(D | \theta) \) — функция правдоподобия (вероятность наблюдения данных при заданном параметре);
• \( P(\theta) \) — априорное распределение (доопытные знания о параметре);
• \( P(D) \) — маргинальная вероятность данных (нормировочная константа, обеспечивающая, что сумма вероятностей равна 1).

В непрерывном случае формула записывается через плотности распределения:

\[ f(\theta | D) = \frac{f(D | \theta) \cdot f(\theta)}{\int f(D | \theta) \cdot f(\theta) \, d\theta} \]

Знаменатель, называемый маргинальной вероятностью или свидетельством, часто является сложным для вычисления интегралом, особенно в многомерных задачах. Однако для многих практических случаев существуют аналитические решения или методы численного приближения.

Свойства апостериорного распределения

Апостериорное распределение обладает рядом важных свойств, которые делают его центральным инструментом байесовского вывода:

• Сопряжённость: Если априорное распределение выбрано из семейства, сопряжённого с функцией правдоподобия, то апостериорное распределение принадлежит тому же семейству. Например, для биномиального правдоподобия и бета-априорного распределения апостериорное распределение также является бета-распределением.
• Асимптотическая нормальность: При увеличении объёма выборки апостериорное распределение часто стремится к нормальному распределению с центром в оценке максимального правдоподобия и дисперсией, обратной наблюдаемой информационной матрице Фишера.
• Инвариантность к преобразованиям: Если параметр подвергается монотонному преобразованию, апостериорное распределение преобразуется соответствующим образом через якобиан.
• Робастность: При большом объёме данных влияние априорного распределения на апостериорное ослабевает, и апостериорное распределение в основном определяется функцией правдоподобия.

Связь с априорным распределением и правдоподобием

Апостериорное распределение является результатом баланса между априорными убеждениями и эмпирическими данными. Если априорное распределение является информативным (например, с малой дисперсией), оно может сильно влиять на апостериорное распределение, особенно при малом объёме выборки. Если же априорное распределение является неинформативным (например, равномерным или распределением Джеффриса), апостериорное распределение в значительной степени определяется функцией правдоподобия.

Функция правдоподобия \( P(D | \theta) \) играет роль «фильтра», через который данные корректируют априорные представления. Чем больше данных, тем сильнее правдоподобие доминирует над априорным распределением.

Применение в байесовском выводе

Апостериорное распределение является основой для всех последующих статистических выводов в байесовском подходе:

• Точечное оценивание: В качестве оценки параметра часто используется среднее апостериорного распределения, его медиана или мода (максимум апостериорного распределения, MAP-оценка).
• Интервальное оценивание: Строятся апостериорные интервалы (кредибильные интервалы), которые являются прямым аналогом доверительных интервалов. Например, 95%-й кредибильный интервал содержит 95% вероятности апостериорного распределения.
• Проверка гипотез: Вероятность гипотезы вычисляется как апостериорная вероятность, что позволяет напрямую сравнивать конкурирующие гипотезы.
• Прогнозирование: Апостериорное распределение используется для построения апостериорного предсказательного распределения новых наблюдений.

Примеры

Пример 1: Биномиальная модель с бета-априорным распределением

Пусть \( X \) — число успехов в \( n \) независимых испытаниях Бернулли с вероятностью успеха \( p \). Априорное распределение для \( p \) — бета-распределение с параметрами \( \alpha \) и \( \beta \): \( p \sim \text{Beta}(\alpha, \beta) \). Функция правдоподобия: \( X \sim \text{Binomial}(n, p) \). Тогда апостериорное распределение:

\[ p | X \sim \text{Beta}(\alpha + X, \beta + n - X) \]

Этот результат является классическим примером сопряжённости.

Пример 2: Нормальная модель с известной дисперсией

Пусть \( X_1, X_2, \dots, X_n \) — независимые наблюдения из нормального распределения \( N(\mu, \sigma^2) \) с известной дисперсией \( \sigma^2 \). Априорное распределение для \( \mu \) — нормальное: \( \mu \sim N(\mu_0, \tau^2) \). Тогда апостериорное распределение для \( \mu \):

\[ \mu | X_1, \dots, X_n \sim N\left( \frac{\frac{\mu_0}{\tau^2} + \frac{n\bar{X}}{\sigma^2}}{\frac{1}{\tau^2} + \frac{n}{\sigma^2}}, \frac{1}{\frac{1}{\tau^2} + \frac{n}{\sigma^2}} \right) \]

где \( \bar{X} \) — выборочное среднее. Апостериорное среднее является взвешенным средним априорного среднего и выборочного среднего, с весами, обратными соответствующим дисперсиям.

Вычислительные методы

Во многих практических задачах апостериорное распределение не имеет аналитического выражения. Для его получения используются численные методы:

• Марковские цепи Монте-Карло (MCMC): Методы, такие как алгоритм Метрополиса-Гастингса и сэмплер Гиббса, позволяют генерировать выборки из апостериорного распределения без явного вычисления нормировочной константы.
• Вариационный вывод: Аппроксимация апостериорного распределения более простым параметрическим семейством, с минимизацией расхождения Кульбака-Лейблера.
• Приближение Лапласа: Аппроксимация апостериорного распределения нормальным распределением с центром в моде.
• Интегрирование методом Монте-Карло: Использование выборок из априорного распределения для оценки апостериорных моментов.

Критика и ограничения

Основная критика байесовского подхода и апостериорного распределения связана с субъективностью выбора априорного распределения. Разные априорные распределения могут приводить к разным апостериорным выводам, особенно при малых выборках. Это порождает дискуссии о воспроизводимости и объективности результатов. Кроме того, вычислительные затраты на MCMC могут быть высокими для сложных моделей. В ответ на это разрабатываются методы, такие как вариационный вывод, которые обеспечивают более быстрые, хотя и приближённые, решения.

Источники

• Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., & Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
• Berger, J. O. (1985). Statistical Decision Theory and Bayesian Analysis (2nd ed.). Springer.
• Robert, C. P. (2007). The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation (2nd ed.). Springer.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.