Вероятностные приоры

Вероятностные приоры (от лат. prior — предыдущий) — это априорные распределения вероятностей, которые выражают степень уверенности исследователя в значении некоторого параметра до получения эмпирических данных. В рамках байесовской статистики приоры являются ключевым элементом, позволяющим формализовать субъективные знания, экспертные оценки или результаты предыдущих исследований и объединить их с новыми наблюдениями для получения апостериорного распределения. Приоры противопоставляются апостериорным распределениям, которые обновляются с учётом данных.

История и философские основания

Концепция априорного знания восходит к работам Томаса Байеса (XVIII век), который впервые сформулировал теорему, позволяющую пересчитывать вероятности гипотез на основе новых свидетельств. Однако систематическое развитие байесовского подхода и, в частности, теории приоров началось в XX веке благодаря трудам таких статистиков, как Гарольд Джеффрис, Бруно де Финетти и Деннис Линдли. Джеффрис предложил инвариантные приоры, не зависящие от параметризации модели, что стало важным шагом к объективизации байесовского анализа.

Философски приоры разделяют два основных лагеря: субъективисты (например, де Финетти) считают, что вероятность — это степень личной уверенности, и приоры могут быть произвольными, отражая мнение конкретного исследователя. Объективисты (например, Джеффрис) стремятся к построению «неинформативных» приоров, которые минимизируют влияние субъективных предположений на результат. В современной практике выбор приора часто диктуется как удобством вычислений, так и содержательными соображениями.

Классификация вероятностных приоров

Приоры классифицируются по нескольким критериям: степени информативности, способу задания и математическим свойствам.

По степени информативности

• Информативные приоры — содержат значительную априорную информацию о параметре. Например, если известно, что средний рост взрослого мужчины в популяции составляет около 175 см со стандартным отклонением 10 см, можно задать приор в виде нормального распределения N(175, 100). Такие приоры полезны, когда данные скудны, а экспертные знания надёжны.
• Слабоинформативные приоры — задают широкие, но не бесконечные границы для параметра. Например, для вероятности успеха в биномиальном эксперименте можно использовать бета-распределение Beta(2, 2), которое имеет небольшой вес вблизи 0 и 1, но не накладывает жёстких ограничений. Они часто применяются в качестве «безопасной» альтернативы неинформативным приорам, чтобы избежать вырожденных случаев.
• Неинформативные (или объективные) приоры — стремятся отразить «незнание» о параметре. Наиболее известный пример — приор Джеффриса, который инвариантен относительно преобразований параметра. Для биномиального распределения приор Джеффриса имеет вид Beta(0.5, 0.5). Другой классический случай — равномерное распределение на ограниченном интервале, хотя оно не всегда является неинформативным с точки зрения теории информации.

По способу задания

• Параметрические приоры — задаются в виде известного распределения с фиксированными гиперпараметрами (например, нормальное, бета, гамма). Это наиболее распространённый тип, так как позволяет аналитически или численно вычислять апостериорное распределение.
• Непараметрические приоры — не сводятся к конечному набору параметров. Примером служит процесс Дирихле, используемый в байесовской непараметрике для моделирования неизвестных распределений. Такие приоры позволяют гибко адаптироваться к сложным структурам данных.
• Иерархические приоры — строятся в несколько уровней. Например, сначала задаётся приор для гиперпараметра, который затем определяет приор для основного параметра. Это позволяет моделировать неопределённость на разных уровнях иерархии и часто используется в многоуровневых (иерархических) байесовских моделях.

По математическим свойствам

• Сопряжённые приоры — такие, что апостериорное распределение принадлежит тому же семейству, что и приор. Например, для биномиального правдоподобия сопряжённым приором является бета-распределение, а для нормального правдоподобия с известной дисперсией — нормальное распределение. Сопряжённость упрощает аналитические вычисления.
• Инвариантные приоры — не меняют своей формы при перепараметризации модели. Приор Джеффриса является инвариантным, что делает его предпочтительным в объективном байесовском анализе.
• Собственные и несобственные приоры. Собственный приор интегрируется до единицы (является вероятностным распределением). Несобственный приор, например, равномерное распределение на всей числовой прямой, не имеет конечной интегральной площади, но может использоваться, если апостериорное распределение оказывается собственным. Применение несобственных приоров требует осторожности, так как может привести к некорректным апостериорным распределениям.

Применение вероятностных приоров

Приоры широко используются в различных областях науки и техники, где требуется объединение разнородной информации.

Статистическое моделирование и машинное обучение

В байесовской статистике приоры являются неотъемлемой частью вывода. Например, в линейной регрессии приоры на коэффициенты (например, лассо-приор, соответствующий распределению Лапласа) позволяют реализовать регуляризацию, предотвращающую переобучение. В байесовских нейронных сетях приоры на веса задают априорные предположения о сложности модели. В задачах классификации, таких как наивный байесовский классификатор, приоры на метки классов используются для учёта дисбаланса данных.

Обработка сигналов и изображений

В задачах восстановления изображений, сжатия и шумоподавления приоры задают статистические свойства сигнала. Например, приор на основе полного вариационного расхождения (TV-приор) предполагает, что изображение является кусочно-гладким, что позволяет эффективно удалять шум, сохраняя границы объектов. В спектроскопии и магнитно-резонансной томографии приоры используются для реконструкции сигналов по неполным данным.

Эконометрика и финансы

В экономическом моделировании приоры позволяют учитывать макроэкономические теории или результаты предыдущих исследований. Например, при оценке параметров модели общего равновесия (DSGE) используются информативные приоры, основанные на калибровках. В финансовой математике приоры на волатильность активов помогают улучшить прогнозы рисков и доходностей.

Медицина и эпидемиология

В клинических испытаниях байесовские методы с приорами позволяют объединять данные из разных фаз испытаний или из исторических контролей. Например, при оценке эффективности нового лекарства можно использовать приор, основанный на результатах аналогичных препаратов. В эпидемиологии приоры на скорость распространения инфекции (например, базовое репродуктивное число R0) помогают оценивать динамику вспышек.

Астрофизика и космология

В астрофизике приоры часто задаются на основе физических законов или предыдущих наблюдений. Например, при оценке параметров космологической модели (плотность тёмной материи, постоянная Хаббла) используются приоры, полученные из данных спутника Planck. В задаче обнаружения экзопланет приоры на орбитальные параметры позволяют отсеивать нефизичные решения.

Критика и ограничения

Основной источник критики байесовского подхода с приорами — субъективность выбора априорного распределения. Разные исследователи, используя разные приоры, могут получить разные апостериорные выводы, что подрывает воспроизводимость результатов. В ответ на это разработаны методы проверки чувствительности к приору (например, анализ с использованием нескольких альтернативных приоров) и построение объективных приоров.

Другая проблема — вычислительная сложность. Для сложных моделей с нестандартными приорами аналитическое вычисление апостериорного распределения невозможно, и требуются методы Монте-Карло по схеме Марковских цепей (MCMC), которые могут быть ресурсоёмкими. Однако развитие вычислительной техники и алгоритмов (например, вариационный вывод, HMC) существенно смягчило эту проблему.

Наконец, использование несобственных приоров может приводить к некорректным апостериорным распределениям (например, неинтегрируемым или не имеющим конечного математического ожидания). Поэтому при работе с такими приорами требуется тщательная проверка свойств получаемых распределений.

Интересные факты

• Приор Джеффриса для нормального распределения с неизвестным средним и дисперсией имеет вид 1/σ², что является несобственным приором, но приводит к корректным апостериорным распределениям.
• В байесовском анализе временных рядов часто используются приоры на основе процесса авторегрессии, которые позволяют моделировать стационарность.
• В современном машинном обучении популярны «глубокие» приоры, построенные с помощью генеративных моделей (например, вариационных автокодировщиков), которые обучаются на данных и затем используются как априорные распределения для новых задач.

Источники

• Gelman A., Carlin J. B., Stern H. S., Dunson D. B., Vehtari A., Rubin D. B. Bayesian Data Analysis. — 3rd ed. — CRC Press, 2013.
• Jeffreys H. Theory of Probability. — 3rd ed. — Oxford University Press, 1961.
• Bernardo J. M., Smith A. F. M. Bayesian Theory. — Wiley, 2000.
• Robert C. P. The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation. — 2nd ed. — Springer, 2007.
• MacKay D. J. C. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003.