Ложная корреляция¶

Ложная корреляция (также известная как «фиктивная корреляция», «корреляция-артефакт» или «корреляция-обманка») — это статистический феномен, при котором между двумя переменными наблюдается математическая взаимосвязь, однако эта связь не является причинно-следственной и возникает по случайности, из-за влияния третьей, скрытой переменной (латентного фактора) или из-за особенностей выборки. В статистике ложная корреляция представляет собой ошибку интерпретации, когда исследователь или наблюдатель ошибочно принимает совпадение данных за доказательство причинно-следственной связи.

¶Природа явления

Корреляция — это мера статистической зависимости между двумя переменными, которая может быть положительной (рост одной переменной сопровождается ростом другой), отрицательной (рост одной переменной сопровождается падением другой) или нулевой (связь отсутствует). Ложная корреляция возникает, когда коэффициент корреляции (например, коэффициент Пирсона) оказывается значимым, но интерпретация этой значимости как причинно-следственной связи является ошибочной.

Основная причина ложной корреляции — вмешивающаяся переменная (confounding variable), которая влияет на обе исследуемые переменные. Например, наблюдается сильная положительная корреляция между количеством проданного мороженого и числом утоплений на пляже. Однако причиной здесь является не мороженое, а третий фактор — жаркая погода, которая одновременно увеличивает и продажи мороженого, и количество купающихся, а следовательно, и риск утоплений.

¶История изучения

Термин «ложная корреляция» ввёл в научный оборот английский статистик Карл Пирсон в начале XX века. Пирсон, разработавший коэффициент корреляции, предупреждал, что сама по себе корреляция не доказывает причинности. В 1920-х годах британский статистик Рональд Фишер развил идеи Пирсона, показав, что корреляция может быть артефактом выборки. В 1954 году американский психолог Пол Мил в работе «Корреляция и причинность» сформулировал критерии для различения истинных и ложных корреляций.

В 1960-х годах норвежский математик Эдвард Лоренц на примере теории хаоса показал, что даже в детерминированных системах ложные корреляции могут возникать из-за нелинейных взаимодействий. В 1970-х годах американский статистик Дэвид Фридман ввёл понятие «корреляции-артефакта» в контексте анализа временных рядов.

¶Классификация ложных корреляций

¶По источнику возникновения

1. Корреляция из-за вмешивающейся переменной — наиболее распространённый тип. Пример: корреляция между уровнем образования и продолжительностью жизни. Вмешивающаяся переменная — доход, который влияет и на доступ к образованию, и на качество медицинского обслуживания.

1. Корреляция из-за случайности — возникает при большом количестве проверяемых гипотез (проблема множественных сравнений). Если проверить 1000 случайных пар переменных, примерно 5% из них покажут статистически значимую корреляцию на уровне значимости 0,05.

1. Корреляция из-за автокорреляции — характерна для временных рядов. Если обе переменные имеют тренд (например, рост населения Земли и количество зарегистрированных НЛО), то между ними будет наблюдаться корреляция, хотя причинной связи нет.

1. Корреляция из-за неправильной выборки — возникает, когда данные отбираются неслучайно. Например, корреляция между ростом и интеллектом среди студентов университета может быть ложной, если выборка включает только людей с высоким ростом и высоким IQ.

¶По форме проявления

1. Прямая ложная корреляция — две переменные коррелируют, но не связаны причинно. Пример: количество аистов в регионе и рождаемость (в некоторых европейских странах в XIX веке наблюдалась положительная корреляция, объяснявшаяся тем, что в сельских районах с большим количеством аистов была выше рождаемость из-за традиционного уклада жизни).

1. Обратная ложная корреляция — переменные коррелируют отрицательно, но причинная связь отсутствует. Пример: количество пиратских кораблей в Карибском море и глобальная температура — отрицательная корреляция, объясняемая историческими периодами.

1. Корреляция-парадокс — корреляция в подгруппах противоположна корреляции в общей выборке (парадокс Симпсона). Пример: при поступлении в университет корреляция между полом и успешностью поступления может быть разной в разных факультетах.

¶Примеры ложных корреляций

¶Известные исторические примеры

1. Корреляция между потреблением шоколада и количеством нобелевских лауреатов — в 2012 году исследование показало сильную положительную корреляцию (r≈0,79) между потреблением шоколада на душу населения и числом нобелевских лауреатов на 10 миллионов человек. Причина — вмешивающаяся переменная «уровень экономического развития страны», который влияет и на доступ к шоколаду, и на качество образования.

1. Корреляция между количеством фильмов с участием Николаса Кейджа и числом утоплений в бассейнах — известный пример из проекта «Spurious Correlations» Тайлера Вигена. Обе переменные не связаны, но демонстрируют схожие тренды во времени.

1. Корреляция между длиной юбок и состоянием фондового рынка — в 1920-х годах наблюдалась корреляция между длиной женских юбок и индексом Доу-Джонса. Объяснение — экономический оптимизм влиял и на моду, и на рынок.

¶В медицине

1. Корреляция между потреблением кофе и риском рака поджелудочной железы — в 1980-х годах исследование показало корреляцию, но позже выяснилось, что вмешивающаяся переменная — курение (курильщики чаще пьют кофе и имеют повышенный риск рака).

1. Корреляция между вакцинацией и аутизмом — в 1998 году Эндрю Уэйкфилд опубликовал работу, утверждавшую корреляцию между вакциной MMR (корь, паротит, краснуха) и аутизмом. Позже работа была признана сфальсифицированной, а корреляция — ложной. ВОЗ и Минздрав РФ подтверждают безопасность вакцин.

¶В экономике

1. Корреляция между государственным долгом и экономическим ростом — в 2010 году исследование Рейнхарта и Рогоффа показало корреляцию между высоким долгом (более 90% ВВП) и низким ростом. Позже выяснилось, что корреляция была артефактом из-за ошибок в данных и выбора стран.

1. Корреляция между количеством абортов и уровнем преступности — в 2001 году Стивен Левитт и Джон Доножу предположили, что легализация абортов в США в 1970-х привела к снижению преступности в 1990-х. Корреляция оказалась спорной, так как не учитывала другие факторы (экономический рост, изменение полицейской практики).

¶Методы выявления ложных корреляций

¶Статистические методы

1. Контроль за вмешивающимися переменными — использование множественной регрессии, включение в модель потенциальных конфаундеров.

1. Анализ временных рядов — проверка на стационарность, устранение трендов и сезонности.

1. Тесты на причинность — тест Грейнджера (проверяет, предшествует ли одна переменная другой во времени), тест на причинность по Пирлу.

1. Бутстреп-анализ — оценка устойчивости корреляции при перевыборках данных.

¶Логические методы

1. Проверка на правдоподобие — существует ли механизм, объясняющий причинную связь? Если нет — корреляция, вероятно, ложная.

1. Проверка на воспроизводимость — повторяется ли корреляция на независимых выборках?

1. Проверка на направленность — может ли одна переменная физически влиять на другую? Например, количество аистов не может влиять на рождаемость, так как аисты не участвуют в репродуктивном процессе человека.

¶Значение и критика

Ложная корреляция является одной из самых распространённых ошибок в научных исследованиях, журналистике и повседневных рассуждениях. В 2010-х годах проект «Spurious Correlations» (Тайлер Виген, США) собрал более 30 000 примеров ложных корреляций, демонстрируя, что при большом количестве данных всегда можно найти случайные совпадения.

Критика концепции ложной корреляции связана с тем, что в некоторых случаях корреляция может быть истинной, но нелинейной, и её ложность выявляется только при более глубоком анализе. Например, корреляция между курением и раком лёгких в 1950-х годах первоначально считалась ложной, но позже была доказана причинная связь.

В современной науке для борьбы с ложными корреляциями используются пререгистрация исследований (заранее объявленные гипотезы), коррекция на множественные сравнения (например, поправка Бонферрони) и репликационные исследования.

¶См. также

• Корреляция
• Причинность
• Парадокс Симпсона
• Проблема множественных сравнений
• Конфаундер (статистика)

¶Источники

• Пирсон К. «О критерии того, что данная система отклонений от вероятного в случае коррелированной системы переменных такова, что её можно считать возникшей случайно» (1900)
• Фишер Р. «Статистические методы для исследователей» (1925)
• Мил П. «Корреляция и причинность» (1954)
• Фридман Д. «Статистические модели и причинность» (1970)
• Виген Т. «Spurious Correlations» (2015)
• ВОЗ. «Безопасность вакцин» (2020)
• Минздрав РФ. «Национальный календарь профилактических прививок» (2023)