Апостериорная вероятность

Апостериорная вероятность (от лат. a posteriori — «из последующего») — это условная вероятность случайного события, вычисленная после получения новой информации или данных, учитывающая эту информацию. В байесовской статистике апостериорная вероятность является ключевым понятием, представляющим собой пересмотренную оценку вероятности гипотезы после наблюдения эмпирических свидетельств. Она противопоставляется априорной вероятности, которая оценивается до получения данных.

Формальное определение

Пусть \( H \) — некоторая гипотеза, а \( E \) — наблюдённое свидетельство (данные). Апостериорная вероятность \( P(H|E) \) определяется как вероятность того, что гипотеза \( H \) истинна при условии, что событие \( E \) произошло. Формально она выражается через теорему Байеса:

\[ P(H|E) = \frac{P(E|H) \cdot P(H)}{P(E)} \]

где:

• \( P(H) \) — априорная вероятность гипотезы \( H \) до наблюдения \( E \);
• \( P(E|H) \) — правдоподобие, то есть вероятность наблюдения \( E \) при условии истинности \( H \);
• \( P(E) \) — полная вероятность наблюдения \( E \), вычисляемая как сумма по всем возможным гипотезам: \( P(E) = \sum_{i} P(E|H_i) P(H_i) \) (для дискретного случая) или интеграл (для непрерывного).

В непрерывном случае апостериорная вероятность задаётся апостериорным распределением, которое является результатом перемножения априорного распределения и функции правдоподобия с последующей нормировкой.

Свойства

Апостериорная вероятность обладает следующими основными свойствами:

• Нормировка: сумма (или интеграл) апостериорных вероятностей по всем возможным гипотезам равна 1.
• Зависимость от априорной информации: при отсутствии или слабой априорной информации апостериорная вероятность определяется преимущественно данными. При сильной априорной информации она может существенно отличаться от оценки, полученной только на основе данных.
• Обновление при поступлении новых данных: апостериорная вероятность, полученная после первого наблюдения, может служить априорной вероятностью для последующего анализа (байесовское обновление).
• Монотонность: при увеличении объёма данных апостериорная вероятность сходится к истинному значению параметра (при соблюдении условий регулярности).

Отличие от априорной вероятности

Априорная вероятность \( P(H) \) отражает степень уверенности в гипотезе до получения новых данных. Она может быть основана на предыдущих исследованиях, экспертных оценках или субъективных предположениях. Апостериорная вероятность \( P(H|E) \) является результатом корректировки априорной оценки с учётом наблюдённых данных. Например, если априорная вероятность редкого заболевания составляет 0,1 %, а положительный результат теста имеет высокую чувствительность, то апостериорная вероятность после положительного теста может возрасти до нескольких процентов, но не обязательно до 100 % из-за возможных ложноположительных результатов.

Применение

Байесовский вывод

Апостериорная вероятность является центральным элементом байесовского вывода — статистического метода, основанного на теореме Байеса. В этом подходе апостериорное распределение используется для точечного оценивания (например, как апостериорное среднее или мода), построения доверительных интервалов (кредибильных интервалов) и проверки гипотез. Байесовский вывод широко применяется в машинном обучении, биоинформатике, экономике, социологии и других областях.

Машинное обучение

В задачах классификации и регрессии апостериорная вероятность позволяет оценивать неопределённость предсказаний. Например, в наивном байесовском классификаторе апостериорная вероятность класса вычисляется по формуле:

\[ P(C_k | x) = \frac{P(C_k) \prod_{i=1}^{n} P(x_i | C_k)}{P(x)} \]

где \( C_k \) — класс, \( x \) — вектор признаков. Это позволяет не только предсказывать класс, но и оценивать уверенность модели.

Медицинская диагностика

В медицине апостериорная вероятность используется для интерпретации результатов диагностических тестов. Например, после получения положительного результата теста на заболевание врач вычисляет апостериорную вероятность наличия болезни у пациента, учитывая распространённость заболевания (априорную вероятность) и характеристики теста (чувствительность и специфичность). Это помогает избежать гипердиагностики и принимать обоснованные клинические решения.

Фильтрация спама

Байесовские фильтры спама вычисляют апостериорную вероятность того, что письмо является спамом, на основе частоты встречаемости слов в спам- и неспам-сообщениях. Если апостериорная вероятность превышает заданный порог (например, 0,9), письмо классифицируется как спам.

Эконометрика и финансы

В финансовом моделировании апостериорные распределения параметров (например, волатильности, доходности) используются для оценки рисков и прогнозирования. Байесовские методы позволяют объединять исторические данные с экспертной информацией, что особенно ценно при малых выборках.

Пример вычисления

Рассмотрим простой пример. Пусть имеется две монеты: одна честная (вероятность орла 0,5), другая — с двумя орлами (вероятность орла 1). Выбирается монета случайным образом (априорная вероятность каждой — 0,5). Затем монету подбрасывают, и выпадает орёл. Требуется найти апостериорную вероятность того, что была выбрана честная монета.

Обозначим:

• \( H_1 \) — выбрана честная монета;
• \( H_2 \) — выбрана монета с двумя орлами;
• \( E \) — выпал орёл.

Априорные вероятности: \( P(H_1) = P(H_2) = 0,5 \). Правдоподобия: \( P(E|H_1) = 0,5 \), \( P(E|H_2) = 1 \). Полная вероятность \( P(E) = 0,5 \cdot 0,5 + 0,5 \cdot 1 = 0,75 \).

Апостериорная вероятность \( P(H_1|E) = \frac{0,5 \cdot 0,5}{0,75} = \frac{0,25}{0,75} = \frac{1}{3} \approx 0,333 \).

Таким образом, после наблюдения орла вероятность того, что монета честная, снизилась с 0,5 до 0,333.

Критика и ограничения

Основная критика использования апостериорной вероятности связана с субъективностью выбора априорного распределения. Разные исследователи могут задать разные априорные вероятности, что приведёт к разным апостериорным выводам. В ответ на это сторонники байесовского подхода предлагают использовать неинформативные априорные распределения или проводить анализ чувствительности к выбору априорной информации.

Кроме того, в сложных многомерных моделях вычисление апостериорного распределения может быть вычислительно трудоёмким, что требует применения методов Монте-Карло по схеме марковской цепи (MCMC) или вариационного вывода.

Связь с другими понятиями

Апостериорная вероятность тесно связана с понятиями:

• Априорная вероятность — исходная оценка до получения данных.
• Правдоподобие — мера того, насколько данные согласуются с гипотезой.
• Маргинальная вероятность (полная вероятность) — нормировочная константа.
• Байесовский фактор — отношение апостериорных шансов к априорным, используемое для сравнения моделей.

Источники

• Байесовская статистика: принципы и практика / Э. Гельман, Дж. Карлин, Х. Стерн и др. — 3-е изд. — CRC Press, 2013.
• Теория вероятностей и математическая статистика / В. С. Пугачёв. — М.: Наука, 1979.
• Машинное обучение: вероятностный подход / К. Мёрфи. — MIT Press, 2012.
• Введение в байесовский вывод / А. А. Боровков. — СПб.: Лань, 2005.