Открыть сервис
Главная → Блог → Экспоненциальное семейство

Экспоненциальное семейство

Экспоненциальное семейство (экспоненциальное семейство распределений) — это класс параметрических семейств вероятностных распределений, имеющих определённую функциональную форму, которая допускает удобную запись плотности или функции вероятности в виде произведения множителей, зависящих от параметров и данных. Экспоненциальные семейства играют фундаментальную роль в математической статистике, теории информации и машинном обучении благодаря своим математическим свойствам, включая существование достаточных статистик, простоту вычисления оценок максимального правдоподобия и возможность использования байесовского анализа с сопряжёнными априорными распределениями.

Определение и формальная запись

Семейство распределений называется экспоненциальным, если его функция плотности (для непрерывных случайных величин) или функция вероятности (для дискретных) может быть записана в канонической форме:

\[ p(x \mid \theta) = h(x) \exp\left( \eta(\theta)^\top T(x) - A(\theta) \right) \]

где:

  • \(x\) — наблюдение (случайная величина);
  • \(\theta\) — вектор параметров распределения;
  • \(h(x)\) — базовая мера (неотрицательная функция, не зависящая от параметров);
  • \(\eta(\theta)\) — вектор естественных (канонических) параметров;
  • \(T(x)\) — вектор достаточной статистики;
  • \(A(\theta)\) — логарифмическая нормирующая функция (кумулянтная функция), обеспечивающая, что интеграл или сумма вероятностей равна 1.

В случае, когда параметризация осуществляется через естественные параметры \(\eta\), запись упрощается:

\[ p(x \mid \eta) = h(x) \exp\left( \eta^\top T(x) - A(\eta) \right) \]

Функция \(A(\eta)\) связана с нормировочной константой: \(A(\eta) = \ln \int h(x) \exp(\eta^\top T(x)) \, dx\) (для непрерывного случая) или \(A(\eta) = \ln \sum_x h(x) \exp(\eta^\top T(x))\) (для дискретного).

Классификация

Экспоненциальные семейства делятся на два основных типа в зависимости от размерности параметра и достаточной статистики:

Также выделяют каноническую форму (параметризация через естественные параметры \(\eta\)) и неканоническую (через исходные параметры \(\theta\)).

Примеры распределений

Многие классические распределения принадлежат экспоненциальному семейству:

  • Нормальное распределение (с известным или неизвестным средним и дисперсией): \(p(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left( -\frac{(x-\mu)^2}{2\sigma^2} \right)\). В канонической форме: \(\eta = (\mu/\sigma^2, -1/(2\sigma^2))\), \(T(x) = (x, x^2)\).
  • Экспоненциальное распределение: \(p(x \mid \lambda) = \lambda e^{-\lambda x}\), \(\eta = -\lambda\), \(T(x) = x\), \(h(x) = 1\).
  • Распределение Пуассона: \(p(k \mid \lambda) = \frac{\lambda^k e^{-\lambda}}{k!}\), \(\eta = \ln \lambda\), \(T(k) = k\), \(h(k) = 1/k!\).
  • Биномиальное распределение (с фиксированным \(n\)): \(p(k \mid p) = \binom{n}{k} p^k (1-p)^{n-k}\), \(\eta = \ln(p/(1-p))\), \(T(k) = k\), \(h(k) = \binom{n}{k}\).
  • Гамма-распределение: \(p(x \mid \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)} x^{\alpha-1} e^{-\beta x}\), \(\eta = (\alpha-1, -\beta)\), \(T(x) = (\ln x, x)\).

Не все распределения являются экспоненциальными. Например, равномерное распределение (с неизвестными границами), распределение Стьюдента, распределение Коши и смеси распределений не принадлежат экспоненциальному семейству.

Свойства

Экспоненциальные семейства обладают рядом важных математических свойств:

  • Достаточность статистики: \(T(x)\) является достаточной статистикой для параметра \(\theta\). Это означает, что вся информация о параметре, содержащаяся в выборке, заключается в \(T(x)\).
  • Оценки максимального правдоподобия: для экспоненциальных семейств оценка максимального правдоподобия (ОМП) может быть найдена путём решения уравнения \(\mathbb{E}[T(X)] = \frac{1}{n} \sum_{i=1}^n T(x_i)\), что часто упрощает вычисления.
  • Сопряжённые априорные распределения: в байесовской статистике для экспоненциальных семейств существуют сопряжённые априорные распределения, которые также принадлежат экспоненциальному семейству. Это позволяет аналитически вычислять апостериорные распределения.
  • Выпуклость функции \(A(\eta)\): логарифмическая нормирующая функция \(A(\eta)\) является выпуклой, что гарантирует единственность оценки максимального правдоподобия (при условии идентифицируемости).
  • Информация Фишера: для экспоненциальных семейств информация Фишера может быть выражена через вторые производные \(A(\eta)\): \(I(\eta) = \nabla^2 A(\eta)\).
  • Кумулянты: производные функции \(A(\eta)\) дают кумулянты распределения: \(\mathbb{E}[T(X)] = \nabla A(\eta)\), \(\text{Cov}[T(X)] = \nabla^2 A(\eta)\).

Применение

Экспоненциальные семейства широко используются в различных областях:

  • Математическая статистика: построение оценок, проверка гипотез, теория достаточных статистик. Классические методы, такие как критерий отношения правдоподобия, часто опираются на свойства экспоненциальных семейств.
  • Машинное обучение: обобщённые линейные модели (GLM), такие как логистическая регрессия, пуассоновская регрессия, линейная регрессия (с нормальным распределением ошибок), основаны на экспоненциальных семействах. GLM позволяют моделировать отклики с различными типами распределений (бинарные, счётные, непрерывные).
  • Байесовская статистика: использование сопряжённых априорных распределений упрощает вычисление апостериорных распределений. Например, для нормального распределения с известной дисперсией сопряжённым априорным распределением для среднего является нормальное распределение.
  • Теория информации: экспоненциальные семейства связаны с принципом максимальной энтропии. Распределение, максимизирующее энтропию при заданных ограничениях на моменты, часто принадлежит экспоненциальному семейству.
  • Физика и статистическая механика: распределения Гиббса и канонические ансамбли имеют форму экспоненциального семейства, где \(T(x)\) — энергия системы, а параметр \(\eta\) — обратная температура.

История

Понятие экспоненциального семейства было введено в статистику в 1930-х годах в работах Рональда Фишера, который изучал свойства достаточных статистик и эффективных оценок. Фишер показал, что для распределений, принадлежащих экспоненциальному семейству, существует достаточная статистика фиксированной размерности, не зависящей от объёма выборки. Позднее, в 1940-х годах, Бруно де Финетти и другие исследователи развили теорию экспоненциальных семейств в контексте байесовской статистики. В 1960-х годах Эдвард Бартлетт и Дэвид Кокс применили экспоненциальные семейства для обобщённых линейных моделей. В XX веке теория экспоненциальных семейств стала основой для многих статистических методов, включая GLM (обобщённые линейные модели), которые были формализованы Джоном Нелдером и Робертом Веддерберном в 1972 году.

Критика и ограничения

Несмотря на широкое применение, экспоненциальные семейства имеют ограничения:

  • Не все распределения принадлежат этому классу (например, равномерное распределение с неизвестными границами, распределение Стьюдента).
  • Для сложных многопараметрических моделей вычисление нормировочной функции \(A(\eta)\) может быть затруднительным.
  • В некоторых случаях (например, при наличии выбросов) распределения, не принадлежащие экспоненциальному семейству, могут быть более устойчивыми.

Источники

  • Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation. Springer.
  • McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models. Chapman and Hall.
  • Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
  • Barndorff-Nielsen, O. (1978). Information and Exponential Families in Statistical Theory. Wiley.
  • Фишер, Р. А. (1934). Statistical Methods for Research Workers. Oliver and Boyd.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы