Эффект Симпсона в статистике¶

Эффект Симпсона — статистический парадокс, при котором зависимость между двумя переменными меняет своё направление (или величину) при объединении нескольких групп данных в одну. Иными словами, тенденция, наблюдаемая в каждой отдельной подгруппе, может исчезнуть или даже обратиться вспять, когда эти подгруппы анализируются совместно. Явление названо в честь британского статистика Эдварда Симпсона, описавшего его в 1951 году, хотя ранее, в 1899 году, аналогичный случай был зафиксирован Карлом Пирсоном.

¶Суть парадокса

Классическая иллюстрация эффекта Симпсона — пример с лечением почек, приведённый в 1986 году в работе Б. Хилфорда. В исследовании сравнивалась эффективность двух методов лечения: открытой операции и малоинвазивной (лапароскопической) процедуры. В общей таблице результатов открытая операция показывала более высокий процент успеха (78% против 83% у малоинвазивной). Однако при разделении пациентов на группы по размеру камней выяснялось обратное: при мелких камнях открытая операция успешна в 93% случаев, а малоинвазивная — в 87%; при крупных камнях — 73% против 69% соответственно. То есть открытая операция была лучше в каждой подгруппе, но хуже в сумме.

Причина парадокса — неравномерное распределение пациентов по группам. В группе открытой операции оказалось больше пациентов с крупными (сложными) камнями, где оба метода показывают низкую успешность. Малоинвазивный метод чаще применялся при лёгких случаях, что и подняло его суммарный показатель.

¶Условия возникновения

Для проявления эффекта Симпсона необходимо одновременное выполнение двух условий:

• Неравные размеры подгрупп. Доли объектов в группах должны существенно различаться между сравниваемыми совокупностями.
• Разная базовая сложность или склонность. Подгруппы должны различаться по скрытой переменной (латентному фактору), которая влияет на исход. В примере с камнями таким фактором был размер камня, влияющий на сложность операции.

Математически парадокс возникает из-за того, что взвешенное среднее по подгруппам не сохраняет порядок при изменении весов. Если в одной совокупности преобладают «тяжёлые» подгруппы с низким результатом, а в другой — «лёгкие» с высоким, суммарные показатели могут инвертироваться.

¶Примеры в реальных исследованиях

¶Приём лекарств и смертность

В 1990-х годах в США проводилось исследование эффективности бета-блокаторов после инфаркта миокарда. Общая статистика показывала, что среди принимавших препарат смертность выше, чем среди не принимавших. Однако при стратификации по тяжести состояния выяснилось: лекарство снижало смертность в каждой группе тяжести. Искажение возникало потому, что препарат чаще назначали наиболее тяжёлым пациентам, у которых базовая смертность была выше.

¶Пол и поступление в университет

В 1975 году Калифорнийский университет в Беркли исследовал данные о приёме абитуриентов. Общая статистика показывала, что мужчины поступают чаще, чем женщины (44% против 35%), что указывало на возможную дискриминацию. Однако при разбивке по факультетам выяснилось, что на большинстве факультетов женщины имеют равный или более высокий процент зачисления. Парадокс объяснялся тем, что женщины чаще подавали документы на факультеты с высокой конкуренцией (например, гуманитарные), где процент зачисления был низким для всех.

¶Практическое значение

Эффект Симпсона имеет критическое значение в следующих областях:

• Медицина. При сравнении эффективности лечения обязательна стратификация по возрасту, тяжести заболевания, сопутствующим патологиям. Неучтённый парадокс может привести к ошибочному отказу от полезного препарата или наоборот.
• Экономика и социология. При анализе доходов, уровня безработицы или преступности необходимо учитывать структуру населения. Например, средняя зарплата может расти, пока каждая возрастная группа получает меньше, — из-за изменения доли высокооплачиваемых возрастных когорт.
• A/B-тестирование в IT. При сравнении конверсии или удержания пользователей нужно сегментировать аудиторию по устройству, региону или источнику трафика, иначе агрегированные метрики вводят в заблуждение.
• Спортивная статистика. Сравнение средних показателей игроков за сезон может скрывать обратные тенденции по отдельным периодам (например, до и после травмы).

¶Методы борьбы

Для выявления и предотвращения эффекта Симпсона применяются:

• Стратификация — предварительное разделение данных на однородные подгруппы по потенциально влияющим факторам.
• Регрессионный анализ — включение скрытых переменных в модель в качестве ковариат.
• Рандомизация — в экспериментальных исследованиях случайное распределение объектов по группам, обеспечивающее сопоставимость подгрупп.
• Визуализация — построение графиков с разделением по категориям (фасетные графики) для визуального контроля направления трендов.

¶Критика и ограничения

Некоторые исследователи отмечают, что эффект Симпсона — не столько парадокс, сколько напоминание о необходимости корректного выбора единицы анализа. Вопрос «какой метод лучше» не всегда имеет однозначный ответ: для конкретного пациента с конкретным размером камня лучше открытая операция, но для популяции в целом — малоинвазивная, так как она применима к более широкому кругу пациентов. Таким образом, парадокс подчёркивает разницу между индивидуальным и популяционным уровнями принятия решений.

¶См. также

• Парадокс Берксона
• Ложная корреляция
• Смешивающая переменная