Ошибка Берксона¶

Ошибка Берксона (также известная как парадокс Берксона, смещение Берксона или коллайдер-смещение) — это статистический феномен, при котором в выборке, сформированной на основе определённого условия (например, госпитализации или участия в исследовании), возникает ложная корреляция между двумя независимыми в генеральной совокупности переменными. Ошибка возникает из-за того, что отбор по общему исходу (коллайдеру) искажает взаимосвязь между причинами этого исхода, создавая видимость зависимости там, где её нет. Термин назван в честь американского статистика и биолога Джозефа Берксона, который впервые описал это явление в 1946 году.

¶История

В 1946 году Джозеф Берксон, работавший в клинике Мейо (США), опубликовал статью «Limitations of the Application of Fourfold Table Analysis to Hospital Data» («Ограничения применения анализа четырёхпольных таблиц к больничным данным»). В ней он показал, что при изучении связи между двумя заболеваниями на основе госпитализированных пациентов может возникать ложная отрицательная корреляция. Например, если в популяции два заболевания (скажем, диабет и холецистит) независимы, то среди госпитализированных пациентов они могут казаться отрицательно связанными, поскольку вероятность попасть в больницу с одним заболеванием снижает вероятность попасть с другим. Это открытие стало важным предостережением для медицинской статистики и эпидемиологии.

Позднее феномен был переосмыслен в контексте теории графов и причинно-следственного анализа, особенно в работах Джуда Перла (1990-е годы), который ввёл понятие коллайдера — узла в причинно-следственной диаграмме, на который влияют две или более переменные. Условное рассмотрение коллайдера (например, отбор по нему) создаёт смещение, известное как коллайдер-смещение, частным случаем которого является ошибка Берксона.

¶Механизм возникновения

Ошибка Берксона возникает, когда выборка формируется не случайно, а на основе общего исхода (коллайдера). В генеральной совокупности две переменные A и B могут быть независимыми, но если отбор происходит по условию C (например, «попадание в больницу»), которое зависит от A и B, то в подвыборке A и B становятся зависимыми.

¶Причинно-следственная диаграмма

Рассмотрим простую модель:

• A и B — независимые причины (например, два заболевания).
• C — коллайдер (например, госпитализация), который возникает, если присутствует A или B (или оба).
• В генеральной совокупности A и B не коррелируют.
• Если мы отбираем только случаи, где C = истина (госпитализированные), то A и B становятся отрицательно связанными: наличие A уменьшает вероятность того, что B является причиной C, и наоборот.

¶Пример

Предположим, в популяции 1000 человек. Заболевание A встречается у 10% (100 человек), заболевание B — у 10% (100 человек), они независимы. Госпитализация происходит, если есть хотя бы одно из заболеваний. Тогда:

• Только A: 90 человек (90% от 100) госпитализированы.
• Только B: 90 человек.
• И A, и B: 10 человек.
• Ничего: 810 человек не госпитализированы.

Среди госпитализированных (190 человек) доля с A = (90+10)/190 ≈ 52,6%, с B = (90+10)/190 ≈ 52,6%. Но если мы посмотрим на связь A и B среди госпитализированных, то вероятность иметь B при наличии A = 10/100 = 10%, а при отсутствии A = 90/90 = 100%? Нет, это неверный расчёт. Правильно: среди госпитализированных с A (100 человек) 10 имеют B (10%), а среди госпитализированных без A (90 человек) все 90 имеют B (100%). Возникает сильная отрицательная корреляция, хотя в популяции A и B независимы.

¶Виды и классификация

Ошибка Берксона относится к классу смещений, связанных с отбором (selection bias). В статистике и эпидемиологии выделяют несколько её разновидностей:

• Классическая ошибка Берксона — возникает при анализе госпитальных данных, когда сравниваются частоты заболеваний среди госпитализированных.
• Коллайдер-смещение — более общий случай, когда отбор происходит по любому коллайдеру, а не только по госпитализации.
• Смещение, обусловленное стратификацией — возникает, когда исследователь контролирует (стратифицирует) по коллайдеру, что также может создавать ложные ассоциации.

¶Примеры в реальных исследованиях

¶Медицина

Ошибка Берксона часто встречается в эпидемиологических исследованиях, основанных на больничных данных. Например, в 1950-х годах изучалась связь между раком лёгких и курением. Если бы выборка формировалась только из госпитализированных пациентов, то можно было бы получить искажённые оценки, поскольку госпитализация сама по себе связана с множеством заболеваний. Современные исследования (например, работы Долла и Хилла) избегали этого смещения, используя популяционные выборки.

¶Спорт и успех

В популярной культуре известен пример: «Среди успешных людей много тех, кто бросил школу». Это может быть следствием ошибки Берксона: если рассматривать только успешных людей (коллайдер), то среди них доля бросивших школу может быть выше, чем в популяции, но это не означает, что бросание школы ведёт к успеху. В генеральной совокупности связь может быть обратной или отсутствовать.

¶Критика и ограничения

Некоторые исследователи указывают, что ошибка Берксона не всегда ведёт к ложным выводам, если корреляция изучается в контексте причинно-следственных моделей. В современной статистике для её предотвращения используются методы коррекции, такие как взвешивание по вероятности отбора или использование инструментальных переменных. Однако в наблюдательных исследованиях, особенно в ретроспективных, ошибка Берксона остаётся серьёзной проблемой.

¶Связь с другими статистическими парадоксами

Ошибка Берксона часто сравнивают с парадоксом Симпсона, где смещение возникает из-за стратификации по скрытой переменной. В отличие от парадокса Симпсона, ошибка Берксона связана с отбором по коллайдеру, а не с контролем конфандера. Оба явления демонстрируют, как некорректный отбор или анализ данных может привести к ошибочным выводам.

¶Значение в науке

Понимание ошибки Берксона важно для:

• Эпидемиологии — при проектировании исследований и интерпретации данных.
• Медицинской статистики — для избежания ложных ассоциаций в клинических испытаниях.
• Социологии и экономики — при анализе выборок, основанных на добровольном участии или регистрации.
• Машинного обучения — при обучении моделей на нерепрезентативных данных (например, в задачах с дисбалансом классов или отбором по признаку).

¶Интересные факты

• Джозеф Берксон (1899–1982) также известен своими работами в области биометрии и логистической регрессии.
• В 2010-х годах ошибка Берксона была популяризирована в блогах и книгах по статистике, таких как «The Book of Why» Джуда Перла.
• В некоторых учебниках ошибку Берксона называют «парадоксом госпитализации», хотя она применима к любым выборкам, сформированным по условию.

¶Источники

• Berkson, J. (1946). «Limitations of the Application of Fourfold Table Analysis to Hospital Data». Biometrics Bulletin, 2(3), 47–53.
• Pearl, J. (2009). Causality: Models, Reasoning, and Inference. Cambridge University Press.
• Rothman, K. J., Greenland, S., & Lash, T. L. (2008). Modern Epidemiology. Lippincott Williams & Wilkins.
• Westreich, D. (2012). «Berkson’s bias, selection bias, and missing data». Epidemiology, 23(1), 159–164.