Парадокс Симпсона¶

Парадокс Симпсона — это статистический феномен, при котором тенденция, проявляющаяся в нескольких отдельных группах данных, исчезает или меняется на противоположную при объединении этих групп в одну. Парадокс назван в честь британского статистика Эдварда Симпсона, впервые описавшего его в 1951 году, хотя аналогичные наблюдения делались и ранее (например, в работах Карла Пирсона и Удни Юла). Парадокс Симпсона иллюстрирует важность учёта скрытых переменных (латентных факторов) при анализе данных и часто возникает, когда размеры групп существенно различаются.

¶История открытия

Первое известное упоминание эффекта, позже названного парадоксом Симпсона, относится к 1899 году, когда британский статистик Карл Пирсон проанализировал данные о смертности в двух группах населения — вакцинированных и невакцинированных против тифа. Пирсон обнаружил, что в каждой возрастной подгруппе смертность среди вакцинированных была ниже, но в целом по всей выборке — выше. Он объяснил это неравномерным распределением возрастов: вакцинированные чаще были молодыми и здоровыми, а невакцинированные — пожилыми, что исказило общий результат.

В 1903 году британский статистик Джордж Удни Юл описал аналогичный случай в анализе данных о браках и разводах. Однако систематическое исследование феномена провёл Эдвард Симпсон в 1951 году в статье «The Interpretation of Interaction in Contingency Tables» (Интерпретация взаимодействия в таблицах сопряжённости). Симпсон показал, что условные вероятности могут быть обратными по отношению к маргинальным, и предложил математическую модель парадокса. В 1972 году американский статистик Колин Блит ввёл термин «парадокс Симпсона» в научный оборот.

¶Механизм возникновения

Парадокс Симпсона возникает из-за скрытой переменной (confounding variable), которая по-разному распределена между группами. Эта переменная влияет как на принадлежность к группе, так и на изучаемый исход. При объединении данных без учёта этой переменной возникает ложная корреляция.

¶Формальное описание

Пусть есть две группы данных \( A \) и \( B \), каждая из которых разбита на подгруппы \( i = 1, 2, \dots, k \). Для каждой подгруппы известны размеры \( n_{A,i} \) и \( n_{B,i} \) и доли успехов \( p_{A,i} \) и \( p_{B,i} \). Если для всех \( i \) выполняется \( p_{A,i} > p_{B,i} \) (в каждой подгруппе группа A лучше), то при объединении может оказаться, что общая доля успехов в A меньше, чем в B, из-за того, что \( n_{A,i} \) и \( n_{B,i} \) сильно различаются. Например, если группа A состоит преимущественно из маленьких подгрупп с высокими долями успехов, а группа B — из больших подгрупп с низкими долями, то при взвешивании по размерам подгрупп общая доля в A может оказаться ниже.

¶Условия возникновения

Парадокс Симпсона наблюдается, когда:

• Имеется минимум две группы, разбитые на подгруппы по третьему признаку.
• Доли успехов в подгруппах одной группы систематически выше, чем в соответствующих подгруппах другой группы.
• Размеры подгрупп между группами распределены неравномерно и противоположно направлению эффекта.

¶Примеры

¶Пример с поступлением в университет Беркли (1973)

Классический пример парадокса Симпсона — анализ поступления в аспирантуру Калифорнийского университета в Беркли в 1973 году. Общие данные показали, что из 8442 мужчин поступили 44%, а из 4321 женщины — 35%. Это создавало впечатление гендерной дискриминации. Однако при разбивке по факультетам оказалось, что в 4 из 6 крупных факультетов доля поступивших женщин была выше, чем мужчин. Парадокс объяснялся тем, что женщины чаще подавали заявления на факультеты с низкой долей поступления (например, английский язык), а мужчины — на факультеты с высокой долей (например, инженерное дело). Таким образом, скрытая переменная — выбор факультета — исказила общий результат.

¶Пример с эффективностью лекарства

Предположим, тестируется новое лекарство от болезни. В двух больницах (A и B) проводятся испытания. В больнице A лекарство получили 100 пациентов, из них выздоровели 80 (80%), а плацебо — 50 пациентов, из них выздоровели 30 (60%). В больнице B лекарство получили 50 пациентов, выздоровели 40 (80%), плацебо — 100 пациентов, выздоровели 60 (60%). В каждой больнице эффективность лекарства выше (80% против 60%). Однако при объединении: лекарство — 150 пациентов, 120 выздоровели (80%); плацебо — 150 пациентов, 90 выздоровели (60%). Парадокса нет, так как размеры групп одинаковы. Если же размеры групп различаются, например, в больнице A лекарство получили 200 человек (80% выздоровели), а плацебо — 50 (60%), а в больнице B — наоборот, то при объединении может возникнуть парадокс.

¶Пример с выживаемостью при COVID-19

В 2020 году в некоторых исследованиях наблюдался парадокс Симпсона при анализе смертности от COVID-19 по странам. Например, в Италии доля смертей среди пожилых была выше, чем в Германии, но общая смертность в Италии оказалась выше из-за более старой возрастной структуры населения. При поправке на возраст парадокс исчезал.

¶Значение и применение

¶В статистике и науке

Парадокс Симпсона подчёркивает необходимость стратификации данных — разбиения на однородные подгруппы перед анализом. В медицинских исследованиях это обязательное требование: при сравнении эффективности лечения учитываются возраст, пол, сопутствующие заболевания. В социальных науках парадокс часто выявляет скрытые предубеждения, например, в данных о зарплатах или судимостях.

¶В машинном обучении

Парадокс Симпсона может приводить к ошибочным выводам при обучении моделей на агрегированных данных. Например, если модель предсказывает риск заболевания на основе общего показателя, она может игнорировать важные подгрупповые различия. Для борьбы с этим применяются методы учёта скрытых переменных, такие как стратифицированная кросс-валидация и использование смешанных моделей.

¶В экономике и политике

Парадокс Симпсона используется для критики манипуляций со статистикой. Например, при сравнении экономических показателей разных стран или регионов без учёта демографических различий можно получить ложные выводы. В политике парадокс может проявляться в данных о голосовании: если в каждом округе одна партия набирает больше голосов, но в целом проигрывает из-за разного числа избирателей в округах.

¶Критика и ограничения

Парадокс Симпсона не является логическим противоречием — это математически корректное явление, возникающее из-за неправильного выбора способа агрегации данных. Критики указывают, что парадокс часто используется для оправдания предвзятости: например, утверждение «в каждой подгруппе лекарство эффективно, а в целом нет» может быть верным, но требует проверки на наличие скрытых переменных. Кроме того, парадокс не всегда устраняется простой стратификацией — если скрытая переменная неизвестна или не измерена, выводы могут оставаться неоднозначными.

¶Интересные факты

• Парадокс Симпсона иногда называют «парадоксом Юла — Симпсона» в честь обоих учёных.
• В 2017 году парадокс Симпсона был обнаружен в данных о гендерном разрыве в оплате труда в Google: в каждой должностной категории женщины получали в среднем больше мужчин, но в целом по компании — меньше, из-за того, что женщины занимали более низкие должности.
• Парадокс может возникать не только в статистике, но и в теории вероятностей: например, в задаче о двух конвертах (парадокс двух конвертов) — при выборе одного из двух конвертов с деньгами, где в одном в два раза больше, чем в другом, математическое ожидание выигрыша при смене выбора оказывается больше, чем при оставлении, что приводит к кажущемуся противоречию.

¶Источники

• Simpson, E. H. (1951). «The Interpretation of Interaction in Contingency Tables». Journal of the Royal Statistical Society, Series B, 13(2): 238–241.
• Blyth, C. R. (1972). «On Simpson’s Paradox and the Sure-Thing Principle». Journal of the American Statistical Association, 67(338): 364–366.
• Pearl, J. (2014). «Simpson’s Paradox: An Anatomy». UCLA Cognitive Systems Laboratory.
• Bickel, P. J., Hammel, E. A., O’Connell, J. W. (1975). «Sex Bias in Graduate Admissions: Data from Berkeley». Science, 187(4175): 398–404.
• Freedman, D., Pisani, R., Purves, R. (2007). «Statistics» (4th ed.). W. W. Norton & Company.