Условная независимость

Условная независимость — в теории вероятностей и статистике свойство случайных величин или событий, при котором они становятся независимыми друг от друга при условии наступления третьего события или при фиксации значения третьей случайной величины. В отличие от безусловной (маргинальной) независимости, условная независимость учитывает влияние дополнительных факторов, которые могут как порождать, так и разрушать взаимосвязи между изучаемыми объектами.

Определение и формализация

В математической статистике условная независимость определяется через условные вероятности. Два события \(A\) и \(B\) называются условно независимыми при условии события \(C\) (с \(P(C) > 0\)), если:

\[ P(A \cap B \mid C) = P(A \mid C) \cdot P(B \mid C) \]

Или, что эквивалентно, \(P(A \mid B \cap C) = P(A \mid C)\). Для случайных величин \(X\) и \(Y\) условная независимость при условии случайной величины \(Z\) означает, что их совместное условное распределение факторизуется:

\[ f_{X,Y \mid Z}(x, y \mid z) = f_{X \mid Z}(x \mid z) \cdot f_{Y \mid Z}(y \mid z) \]

для всех \(x, y, z\), где \(f\) обозначает плотность или функцию вероятности.

Отличие от безусловной независимости

Ключевая особенность условной независимости — её несовпадение с обычной независимостью. События могут быть безусловно независимыми, но условно зависимыми, и наоборот. Это явление известно как «парадокс Симпсона» или «эффект смешивания».

Примеры несовпадения

1. Безусловно независимы, но условно зависимы. Пусть \(A\) и \(B\) — результаты двух независимых подбрасываний монеты. Тогда \(A\) и \(B\) безусловно независимы. Однако если известно, что сумма выпавших орлов равна 1 (событие \(C\)), то \(A\) и \(B\) становятся условно зависимыми: знание того, что \(A\) — орёл, однозначно определяет, что \(B\) — решка.

1. Безусловно зависимы, но условно независимы. Рассмотрим три переменные: \(X\) — количество осадков, \(Y\) — включение оросительной системы, \(Z\) — влажность почвы. Безусловно, \(X\) и \(Y\) могут быть зависимы (например, в засушливый период систему включают чаще). Однако при фиксированном значении \(Z\) (влажности почвы) включение системы и количество осадков могут стать независимыми, так как система реагирует именно на влажность, а не на осадки напрямую.

Роль в причинно-следственном анализе

Условная независимость является фундаментальным понятием в каузальном (причинно-следственном) анализе, в частности в теории структурных причинных моделей (SCM) и графовых моделях. В байесовских сетях и направленных ациклических графах (DAG) условная независимость кодируется структурой графа: каждая вершина условно независима от своих непотомков при условии своих родителей.

Критерий d-разделения

Для проверки условной независимости в графовых моделях используется критерий d-разделения (d-separation). Путь в DAG считается d-разделённым множеством вершин \(Z\), если:

• на пути есть цепь \(X \rightarrow M \rightarrow Y\) или \(X \leftarrow M \rightarrow Y\), где \(M \in Z\);
• или на пути есть коллайдер \(X \rightarrow M \leftarrow Y\), где \(M \notin Z\) и ни один потомок \(M\) не входит в \(Z\).

Если все пути между \(X\) и \(Y\) d-разделены множеством \(Z\), то \(X\) и \(Y\) условно независимы при условии \(Z\).

Применение в статистике и машинном обучении

Фильтрация и сглаживание

В теории случайных процессов и фильтрации (например, фильтр Калмана) условная независимость используется для упрощения вычислений. Предполагается, что текущее состояние системы условно независимо от прошлых наблюдений при условии предыдущего состояния (марковское свойство).

Графические модели

В байесовских сетях и марковских случайных полях условная независимость позволяет эффективно представлять многомерные распределения. Например, в наивном байесовском классификаторе предполагается, что все признаки условно независимы при условии класса. Это сильное допущение, но оно часто даёт хорошие результаты на практике.

Оценка причинных эффектов

В причинном выводе условная независимость используется для идентификации причинных эффектов. Например, для оценки эффекта лечения \(T\) на исход \(Y\) при условии набора ковариат \(X\) требуется, чтобы \(T\) и \(Y\) были условно независимы при условии \(X\) (условие невмешательства или ignorability). Если это условие выполнено, то причинный эффект может быть оценён без смешивания.

Проверка условной независимости

На практике условная независимость редко известна априори и требует проверки по данным. Существуют несколько подходов:

Статистические тесты

• Тест на основе условной взаимной информации. Вычисляется \(I(X;Y \mid Z)\) и сравнивается с нулём.
• Тест на основе частичной корреляции. Для нормально распределённых величин условная независимость эквивалентна нулевой частичной корреляции.
• Непараметрические тесты. Используют ядерные оценки условных распределений или методы перестановок.

Графовые методы

Алгоритмы обучения структуры байесовских сетей (например, PC-алгоритм, алгоритм Кауфмана) проверяют условную независимость на каждом шаге для построения графа. Они последовательно тестируют гипотезы о независимости при различных условиях.

Примеры из реальной жизни

Медицина

Рассмотрим три переменные: \(X\) — приём лекарства, \(Y\) — выздоровление, \(Z\) — возраст пациента. Безусловно, \(X\) и \(Y\) могут быть зависимы (лекарство помогает). Однако при фиксированном возрасте \(Z\) эта зависимость может исчезнуть, если лекарство эффективно только для определённой возрастной группы. И наоборот, если лекарство неэффективно в целом, но помогает пожилым, то условная независимость при условии возраста может отсутствовать.

Экономика

В эконометрике условная независимость лежит в основе метода инструментальных переменных. Пусть \(X\) — эндогенная переменная, \(Y\) — зависимая переменная, \(Z\) — инструмент. Требуется, чтобы \(Z\) был условно независим от \(Y\) при условии \(X\) (исключающее ограничение) и коррелировал с \(X\).

Социальные науки

При изучении влияния образования (\(X\)) на доход (\(Y\)) с учётом способностей (\(Z\)) часто предполагается, что \(X\) и \(Y\) условно независимы при условии \(Z\). Если это не так, то оценка эффекта образования будет смещённой.

Критика и ограничения

Понятие условной независимости имеет ряд ограничений:

1. Неоднозначность выбора условия. Результаты анализа могут сильно зависеть от того, какие переменные включены в условие. Неправильный выбор может привести к парадоксам (например, парадокс Симпсона).
2. Трудность проверки. Для многомерных данных проверка условной независимости требует большого объёма выборки и может быть вычислительно сложной.
3. Неприменимость к нестационарным процессам. Временные ряды с трендами или сезонностью редко удовлетворяют условиям условной независимости.
4. Субъективность в каузальных моделях. В причинном выводе условная независимость часто постулируется на основе экспертных знаний, что может быть спорным.

Источники

• Pearl, J. (2009). Causality: Models, Reasoning, and Inference. Cambridge University Press.
• Dawid, A. P. (1979). Conditional Independence in Statistical Theory. Journal of the Royal Statistical Society: Series B.
• Spirtes, P., Glymour, C., & Scheines, R. (2000). Causation, Prediction, and Search. MIT Press.
• Koller, D., & Friedman, N. (2009). Probabilistic Graphical Models: Principles and Techniques. MIT Press.
• Ширяев, А. Н. (2004). Вероятность. М.: МЦНМО.