Априорная вероятность

Априорная вероятность — это вероятность наступления события, оценённая до получения новых эмпирических данных, на основе общих соображений, логического анализа, симметрии или предыдущего опыта. В статистике и теории вероятностей априорная вероятность является исходной оценкой, которая затем может быть уточнена с помощью байесовского обновления на основе наблюдений, превращаясь в апостериорную вероятность. Термин широко используется в байесовской статистике, машинном обучении, философии науки и принятии решений.

Определение и формализация

Априорная вероятность обозначается как \( P(A) \) для события \( A \) и представляет собой степень уверенности в его наступлении до получения дополнительной информации. В классическом определении вероятности априорная вероятность часто вычисляется как отношение числа благоприятных исходов к общему числу равновозможных исходов (например, вероятность выпадения «орла» при подбрасывании симметричной монеты равна 1/2). В байесовском подходе априорная вероятность — это субъективная оценка, отражающая знания или убеждения исследователя, которая может быть выражена в виде распределения вероятностей для параметров модели.

История понятия

Истоки в классической теории вероятностей

Понятие априорной вероятности восходит к работам математиков XVII–XVIII веков, таких как Блез Паскаль, Пьер Ферма и Якоб Бернулли. В их трудах вероятность события определялась через отношение числа благоприятных исходов к общему числу равновозможных исходов, что предполагало априорное знание о симметрии или структуре случайного процесса. Например, в «Искусстве предположений» (1713) Бернулли сформулировал закон больших чисел, который связывал априорные вероятности с наблюдаемыми частотами.

Развитие в байесовской статистике

Ключевой вклад внёс Томас Байес, чья работа «Эссе к решению проблемы в доктрине шансов» (1763, опубликована посмертно) заложила основы байесовского вывода. Байес предложил метод обновления априорных вероятностей на основе новых данных с помощью теоремы Байеса. Пьер-Симон Лаплас в «Аналитической теории вероятностей» (1812) развил эти идеи, введя принцип недостаточного основания, согласно которому при отсутствии информации априорные вероятности всех возможных исходов считаются равными.

Критика и альтернативы

В XX веке концепция априорной вероятности подверглась критике со стороны сторонников частотной интерпретации вероятности, таких как Рональд Фишер и Ежи Нейман. Они утверждали, что вероятность должна определяться только на основе повторяемых экспериментов, а субъективные априорные оценки ненаучны. В ответ на это в 1930-х годах Бруно де Финетти и Фрэнк Рэмси разработали субъективную (персоналистскую) теорию вероятностей, где априорная вероятность рассматривается как мера личной уверенности, согласующаяся с аксиомами согласованности (когерентности). В современной науке априорные вероятности широко применяются в байесовских методах, особенно в задачах, где данных мало или они неполны.

Виды априорных распределений

В байесовской статистике априорная вероятность обычно задаётся в виде распределения вероятностей для параметров модели. Выделяют несколько типов:

• Неинформативные (объективные) априорные распределения — стремятся минимизировать влияние субъективных предположений. Примеры: равномерное распределение (принцип Лапласа), распределение Джеффриса (инвариантное к преобразованиям параметров). Используются, когда нет априорной информации.
• Информативные априорные распределения — основаны на предыдущих исследованиях, экспертных оценках или физических ограничениях. Например, в медицинской статистике априорное распределение для эффективности нового препарата может быть построено на основе данных клинических испытаний аналогичных лекарств.
• Сопряжённые априорные распределения — выбираются так, чтобы апостериорное распределение принадлежало тому же семейству, что и априорное. Это упрощает вычисления. Например, для биномиального распределения сопряжённым является бета-распределение, для нормального — нормальное распределение.
• Иерархические априорные распределения — задаются через несколько уровней параметров, что позволяет учитывать структуру данных (например, в анализе многоуровневых моделей).

Применение

Байесовский вывод

Основное применение априорной вероятности — в байесовском статистическом выводе. Согласно теореме Байеса, апостериорная вероятность \( P(A|B) \) вычисляется как: \[ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)}, \] где \( P(A) \) — априорная вероятность, \( P(B|A) \) — правдоподобие, \( P(B) \) — нормирующая константа. Этот подход позволяет последовательно обновлять оценки по мере поступления данных.

Машинное обучение

В машинном обучении априорные вероятности используются в байесовских классификаторах (например, наивный байесовский классификатор), где априорная вероятность класса вычисляется на основе обучающей выборки. В байесовских нейронных сетях априорные распределения на веса модели позволяют учитывать неопределённость и предотвращать переобучение.

Принятие решений и теория игр

В теории принятия решений априорные вероятности применяются для оценки ожидаемой полезности альтернатив. В байесовских играх (в экономике и теории игр) априорные распределения описывают общие знания игроков о типах друг друга.

Философия науки

В философии науки априорная вероятность обсуждается в контексте индукции, подтверждения гипотез и парадоксов (например, парадокс Гемпеля). Некоторые философы, такие как Карл Поппер, критиковали использование априорных вероятностей, считая их необоснованными, в то время как другие (например, Рудольф Карнап) разрабатывали логические теории вероятностей, основанные на априорных оценках.

Критика и ограничения

Основные возражения против априорной вероятности связаны с её субъективностью. Противники байесовского подхода, в частности частотники, указывают, что выбор априорного распределения может произвольно влиять на результаты, особенно при малом объёме данных. Например, использование равномерного априорного распределения для параметра, не имеющего естественных границ, может привести к несобственным (неинтегрируемым) распределениям. Кроме того, в некоторых задачах (например, в физике элементарных частиц) априорные вероятности сложно обосновать экспериментально.

В ответ на критику были разработаны методы проверки робастности результатов к выбору априорного распределения, а также объективные априорные распределения, такие как распределение Джеффриса. Тем не менее, дискуссия о статусе априорной вероятности продолжается в статистике, философии и науке.

Интересные факты

• В классической задаче о парадоксе Монти Холла априорная вероятность выбора автомобиля равна 1/3, но после открытия двери с козой апостериорная вероятность меняется, что демонстрирует важность обновления априорных оценок.
• В байесовском анализе априорное распределение может быть «слабо информативным», чтобы не доминировать над данными, но при этом обеспечивать численную стабильность (например, нормальное распределение с большой дисперсией).
• Понятие априорной вероятности тесно связано с принципом бритвы Оккама: более простые гипотезы часто получают более высокие априорные вероятности в байесовских моделях.

Источники

• Бернулли Я. Искусство предположений. — М.: Наука, 1986.
• Байес Т. Эссе к решению проблемы в доктрине шансов // Philosophical Transactions of the Royal Society. — 1763.
• Лаплас П.-С. Аналитическая теория вероятностей. — 1812.
• Де Финетти Б. Теория вероятностей. — М.: Мир, 1970.
• Гельман Э., Карлин Дж. Байесовский статистический анализ. — М.: ДМК Пресс, 2014.
• Джеффрис Г. Теория вероятностей. — М.: ИЛ, 1958.