Сопряжённое априорное распределение

Сопряжённое априорное распределение (англ. conjugate prior) — в байесовской статистике это такое априорное распределение вероятностей для параметра модели, которое при умножении на функцию правдоподобия (основанную на наблюдаемых данных) даёт апостериорное распределение, принадлежащее тому же семейству распределений, что и априорное. Иными словами, семейство априорных распределений является сопряжённым к данному семейству функций правдоподобия, если апостериорное распределение принадлежит тому же параметрическому семейству, что и априорное.

Определение и математическая формулировка

Пусть \( P(\theta) \) — априорное распределение параметра \( \theta \), а \( L(\theta | x) = P(x | \theta) \) — функция правдоподобия для наблюдаемых данных \( x \). Тогда апостериорное распределение \( P(\theta | x) \) вычисляется по теореме Байеса:

\[ P(\theta | x) = \frac{P(x | \theta) P(\theta)}{P(x)} \propto P(x | \theta) P(\theta) \]

Семейство распределений \( \mathcal{F} \) называется сопряжённым к семейству правдоподобий \( \mathcal{L} \), если для любого априорного распределения \( P(\theta) \in \mathcal{F} \) и любых данных \( x \) апостериорное распределение \( P(\theta | x) \) также принадлежит \( \mathcal{F} \). При этом параметры апостериорного распределения выражаются через параметры априорного распределения и данные.

История

Понятие сопряжённых априорных распределений было введено в статистическую практику в середине XX века, хотя отдельные примеры встречались и ранее. Систематическое изложение этой концепции дано в работах Гарольда Джеффриса (Harold Jeffreys) и, позднее, в трудах по байесовской статистике, таких как книга Джеффри «Теория вероятностей» (1939). Однако термин «сопряжённое априорное распределение» (conjugate prior) был популяризирован в 1960-х годах в работах Денниса Линдли (Dennis Lindley) и других байесовцев. В советской статистической школе сопряжённые распределения изучались в контексте байесовского оценивания, но широкое распространение получили лишь с развитием вычислительной техники в 1990-х годах.

Значение в байесовском анализе

Сопряжённые априорные распределения упрощают вычисление апостериорного распределения, поскольку позволяют получить аналитическое выражение для него без численного интегрирования. Это особенно важно в задачах, где данные поступают последовательно (байесовское обновление), так как каждая новая порция данных просто преобразует параметры априорного распределения в новые параметры апостериорного.

Основные преимущества:

• Вычислительная эффективность: апостериорное распределение выражается в замкнутой форме.
• Интерпретируемость: параметры априорного распределения можно интерпретировать как «псевдоданные» — дополнительные наблюдения, соответствующие априорной информации.
• Последовательное обновление: при поступлении новых данных апостериорное распределение становится новым априорным для следующего шага.

Примеры сопряжённых пар

Наиболее распространённые сопряжённые пары «априорное распределение — функция правдоподобия» приведены в таблице.

Пояснения к примерам

• Бета-биномиальная модель: если данные подчиняются биномиальному распределению с неизвестной вероятностью успеха \( p \), а априорное распределение \( p \) — бета-распределение с параметрами \( \alpha \) и \( \beta \), то апостериорное распределение также будет бета-распределением с параметрами \( \alpha + k \) и \( \beta + n - k \), где \( k \) — число успехов, \( n \) — число испытаний.
• Гамма-пуассоновская модель: для данных, распределённых по Пуассону с интенсивностью \( \lambda \), априорное гамма-распределение \( \text{Gamma}(\alpha, \beta) \) даёт апостериорное \( \text{Gamma}(\alpha + \sum x_i, \beta + n) \).
• Нормальная модель: для нормальных данных с известной дисперсией априорное нормальное распределение для среднего \( \mu \) является сопряжённым; параметры апостериорного распределения вычисляются как взвешенное среднее априорного среднего и выборочного среднего.

Сопряжённые априорные распределения для экспоненциальных семейств

Важным теоретическим результатом является то, что для любого распределения из экспоненциального семейства (в канонической форме) существует сопряжённое априорное распределение. Экспоненциальное семейство имеет функцию правдоподобия вида:

\[ P(x | \theta) = h(x) \exp\left( \eta(\theta)^T T(x) - A(\theta) \right) \]

где \( \eta(\theta) \) — натуральный параметр, \( T(x) \) — достаточная статистика, \( A(\theta) \) — логарифмическая нормировочная константа. Тогда сопряжённое априорное распределение для параметра \( \eta \) (или \( \theta \)) имеет вид:

\[ P(\eta | \chi, \nu) \propto \exp\left( \eta^T \chi - \nu A(\eta) \right) \]

где \( \chi \) и \( \nu \) — гиперпараметры. Апостериорное распределение будет иметь те же гиперпараметры, обновлённые по данным: \( \chi' = \chi + \sum T(x_i) \), \( \nu' = \nu + n \). Это свойство делает экспоненциальные семейства особенно удобными для байесовского вывода.

Критика и ограничения

Несмотря на удобство, использование сопряжённых априорных распределений имеет ряд недостатков:

• Ограниченная гибкость: сопряжённые распределения могут не отражать истинные априорные убеждения исследователя. Например, бета-распределение не всегда подходит для моделирования априорной информации о вероятности.
• Асимптотическая необъективность: при малом объёме данных апостериорное распределение сильно зависит от выбора априорного; если априорное распределение выбрано неудачно, результаты могут быть смещены.
• Неприменимость для сложных моделей: для многих современных моделей (например, иерархических байесовских моделей, нейронных сетей) сопряжённые априорные распределения не существуют или неудобны.
• Игнорирование неопределённости гиперпараметров: в простых сопряжённых моделях гиперпараметры обычно фиксированы, что может быть нереалистично. Для решения этой проблемы применяют иерархические априорные распределения (гиперприоры).

Применение в прикладных задачах

Сопряжённые априорные распределения широко используются в различных областях:

• Машинное обучение: в байесовских методах классификации (наивный байесовский классификатор), в тематическом моделировании (латентное размещение Дирихле, LDA), в байесовских сетях.
• Эконометрика: при оценке параметров регрессионных моделей с использованием байесовского подхода, особенно в задачах с малыми выборками.
• Медицинская статистика: в клинических испытаниях для последовательного обновления вероятностей эффективности лечения.
• Обработка сигналов: в байесовской фильтрации (например, фильтр Калмана использует сопряжённость нормальных распределений).
• Экология и биология: при оценке численности популяций, моделировании распространения видов.

Интересные факты

• Параметры сопряжённого априорного распределения часто интерпретируются как «псевдоданные»: например, для бета-распределения \( \text{Beta}(\alpha, \beta) \) параметры \( \alpha \) и \( \beta \) можно рассматривать как \( \alpha - 1 \) успехов и \( \beta - 1 \) неудач в виртуальных испытаниях.
• В байесовской статистике существует понятие «неинформативного» априорного распределения, которое часто не является сопряжённым. Например, для биномиального параметра \( p \) неинформативное распределение Джеффриса \( \text{Beta}(0.5, 0.5) \) является сопряжённым, а равномерное \( \text{Beta}(1, 1) \) — тоже.
• Сопряжённость не является обязательным свойством для байесовского анализа; с развитием методов Монте-Карло по схеме Марковских цепей (MCMC) и вариационного вывода аналитические решения стали менее критичны.

Источники

• Jeffreys, H. (1939). Theory of Probability. Oxford University Press.
• Gelman, A., Carlin, J. B., Stern, H. S., Dunson, D. B., Vehtari, A., Rubin, D. B. (2013). Bayesian Data Analysis (3rd ed.). CRC Press.
• DeGroot, M. H. (1970). Optimal Statistical Decisions. McGraw-Hill.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
• Robert, C. P. (2007). The Bayesian Choice (2nd ed.). Springer.