Байесовская сеть¶

Байесовская сеть (байесовская сеть доверия, вероятностная ориентированная ациклическая графовая модель) — это математическая модель, представляющая собой ориентированный ациклический граф, вершины которого соответствуют случайным величинам, а рёбра — условным вероятностным зависимостям между ними. Байесовские сети позволяют компактно задавать совместное распределение вероятностей большого числа переменных, используя предположение о том, что каждая переменная непосредственно зависит только от ограниченного набора предшествующих (родительских) вершин. Модель широко применяется в машинном обучении, искусственном интеллекте, биоинформатике, медицине, экономике и других областях для моделирования неопределённости, прогнозирования и принятия решений.

¶История

Основы теории байесовских сетей были заложены в 1980-х годах. В 1985 году американский учёный Джуда Перл опубликовал работу «Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning», в которой впервые формализовал концепцию вероятностных графовых моделей. Перл предложил использовать ориентированные графы для представления причинно-следственных связей и разработал алгоритмы вероятностного вывода, такие как алгоритм распространения доверия (belief propagation). В 1988 году вышла его монография «Probabilistic Reasoning in Intelligent Systems», ставшая классической. В 1990-е годы развитие вычислительных мощностей и появление алгоритмов обучения (например, EM-алгоритм для неполных данных) позволили применять байесовские сети на практике. В 2011 году Джуда Перл получил премию Тьюринга, в том числе за вклад в развитие байесовских сетей.

¶Определение и формальная модель

Байесовская сеть задаётся парой \((G, P)\), где:

\(G = (V, E)\) — ориентированный ациклический граф, где \(V\) — множество вершин (случайных величин), а \(E\) — множество рёбер, указывающих на прямые зависимости.
\(P\) — набор условных распределений вероятностей для каждой вершины \(X_i\) при условии её родителей \(\text{Pa}(X_i)\): \(P(X_i \mid \text{Pa}(X_i))\).

Совместное распределение всех переменных \(X_1, X_2, \dots, X_n\) факторизуется как произведение условных распределений: \[ P(X_1, X_2, \dots, X_n) = \prod_{i=1}^n P(X_i \mid \text{Pa}(X_i)). \] Это свойство называется цепным правилом для байесовских сетей. Оно позволяет значительно сократить количество параметров по сравнению с полной таблицей совместного распределения.

¶Условная независимость

Байесовская сеть кодирует утверждения об условной независимости: если в графе отсутствует ребро между двумя вершинами, то при условии некоторых других переменных они могут быть независимы. Для проверки таких утверждений используется критерий d-разделения (d-separation), основанный на анализе путей в графе.

¶Классификация байесовских сетей

Байесовские сети можно классифицировать по нескольким признакам.

¶По типу переменных

Дискретные байесовские сети — все переменные принимают конечное число значений (например, бинарные или категориальные). Таблицы условных вероятностей задаются в виде матриц.
Гауссовские байесовские сети — все переменные непрерывны и имеют многомерное нормальное распределение. Зависимости описываются линейными уравнениями.
Смешанные байесовские сети — содержат как дискретные, так и непрерывные переменные.

¶По структуре графа

Наивные байесовские сети (наивный байесовский классификатор) — простая структура, где одна родительская вершина (класс) связана со всеми остальными (признаками), а признаки считаются условно независимыми при заданном классе.
Деревья и полидеревья — графы без циклов, допускающие эффективный вывод.
Сети общего вида — произвольные ориентированные ациклические графы.

¶По способу задания

Экспертные сети — структура и вероятности задаются вручную на основе знаний предметной области.
Обучаемые сети — структура и/или параметры извлекаются из данных с помощью алгоритмов машинного обучения.

¶Обучение байесовских сетей

Обучение байесовской сети включает две задачи: оценку параметров (условных вероятностей) и восстановление структуры графа.

¶Оценка параметров

Метод максимального правдоподобия — для полных данных вычисляются частотные оценки.
Байесовский подход — используются априорные распределения (например, распределение Дирихле) для сглаживания.
EM-алгоритм — применяется при наличии пропущенных данных или скрытых переменных.

¶Восстановление структуры

Поиск на основе оценок — перебор возможных графов с оптимизацией критерия (например, байесовский информационный критерий BIC, минимальная длина описания MDL).
Алгоритмы на основе ограничений — проверка условных независимостей с помощью статистических тестов (например, алгоритм PC).
Гибридные методы — комбинация поиска и проверки независимостей.

¶Вероятностный вывод

Вероятностный вывод в байесовской сети заключается в вычислении апостериорного распределения одних переменных при наблюдении других (свидетельств). Задача вывода является NP-трудной в общем случае, но для многих структур существуют эффективные алгоритмы.

¶Основные алгоритмы

Точный вывод:
Алгоритм устранения переменных (variable elimination).
Алгоритм распространения доверия (belief propagation) для деревьев и полидеревьев.
Алгоритм кластеризации (junction tree algorithm) — преобразование графа в дерево клик.
Приближённый вывод:
Метод выборки (sampling): прямое моделирование, выборка по важности, метод Гиббса.
Вариационный вывод (variational inference) — аппроксимация сложного распределения более простым.
Алгоритм Loopy Belief Propagation — распространение доверия на графах с циклами.

¶Применение

Байесовские сети находят применение в самых разных областях.

¶Медицина и диагностика

Системы поддержки принятия врачебных решений (например, модель для диагностики пневмонии или сердечно-сосудистых заболеваний).
Анализ генетических данных: выявление связей между генотипом и фенотипом.

¶Биоинформатика

Моделирование регуляторных сетей генов.
Предсказание структуры белков.

¶Экономика и финансы

Оценка кредитного риска.
Моделирование рыночных зависимостей.

¶Техника и промышленность

Диагностика неисправностей в сложных системах (например, в авиационных двигателях).
Управление качеством.

¶Информационная безопасность

Обнаружение аномалий и сетевых атак.

¶Экология и климатология

Моделирование экосистем и прогнозирование погоды.

¶Примеры

¶Наивный байесовский классификатор

Простейшая байесовская сеть для задачи классификации. Предполагается, что все признаки условно независимы при заданном классе. Несмотря на упрощение, модель часто даёт хорошие результаты на практике.