Корреляция¶

Корреляция — статистическая связь между двумя или более случайными величинами, при которой изменение одной из них сопровождается систематическим изменением другой. Термин ввёл в употребление английский биолог и статистик Фрэнсис Гальтон в 1880-х годах при изучении наследственности роста. Корреляция не тождественна причинно-следственной связи: она лишь фиксирует совместное изменение величин, не объясняя его природы.

¶Коэффициент корреляции

Количественно связь характеризует коэффициент корреляции — числовая мера, принимающая значения от −1 до +1. Наиболее распространён коэффициент линейной корреляции Пирсона (r), вычисляемый по формуле:

$$r = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum (x_i - \bar{x})^2 \sum (y_i - \bar{y})^2}}$$

где $\bar{x}$ и $\bar{y}$ — средние значения соответствующих величин.

Значения, близкие к нулю, не означают отсутствия любой связи — возможна нелинейная зависимость, которую коэффициент Пирсона не улавливает. Для оценки монотонных, но нелинейных связей применяют коэффициент корреляции Спирмена и корреляцию Кендалла, основанные на ранжировании данных.

¶Виды корреляции

• Положительная — рост одной величины сопровождается ростом другой (например, рост и вес человека).
• Отрицательная — рост одной величины сопровождается уменьшением другой (температура воздуха и объём продаж тёплой одежды).
• Нулевая — систематической связи не наблюдается.
• Линейная и нелинейная — по форме зависимости между величинами.
• Простая, частная и множественная — по числу анализируемых пар или групп величин.

¶Ограничения и ловушки

Главное ограничение корреляционного анализа — невозможность делать причинные выводы. Классический пример: корреляция между числом пожаров и числом пожарных машин на месте вызова не означает, что пожарные вызывают пожары; обе величины зависят от масштаба возгорания.

Другие распространённые ошибки:

1. Эффект Симпсона — общая корреляция может быть обратна корреляциям внутри отдельных подгрупп.
2. Ложная корреляция — обе величины могут зависеть от третьего фактора (скрытой переменной).
3. Выбросы — единичные аномальные значения способны резко изменить коэффициент.
4. Малая выборка — на небольших объёмах данных случайные связи выглядят устойчивыми.

Статистическая значимость корреляции оценивают с помощью t-теста или доверительных интервалов; для этого проверяют гипотезу о равенстве истинного коэффициента нулю.

¶Применение

Корреляционный анализ применяется практически во всех областях, работающих с данными:

• Медицина и эпидемиология — поиск факторов риска заболеваний, оценка связи между привычками и состоянием здоровья.
• Экономика и финансы — анализ взаимосвязей макроэкономических показателей, диверсификация инвестиционных портфелей (модель Марковица).
• Психология и педагогика — изучение взаимосвязей черт личности, успеваемости, мотивации.
• Промышленность — контроль качества, анализ влияния параметров процесса на свойства продукта.
• Метеорология — установление статистических закономерностей между атмосферными показателями.

В машинном обучении корреляция используется для отбора признаков: сильно скоррелированные друг с другом переменные нередко исключают из модели, чтобы избежать мультиколлинеарности.

¶Историческая справка

Методы корреляционного анализа разрабатывались в XIX веке. Фрэнсис Гальтон ввёл понятие «корреляция» и разработал метод линейной регрессии. Его ученик Карл Пирсон создал формальное математическое определение коэффициента корреляции, опубликованное в 1896 году. Развитие теории связей с именами Уильяма Госсета (распределение Стьюдента), Рональда Фишера и Джереми Уилкса. В СССР корреляционные методы активно применялись в психологии (работы Б. Г. Ананьева), генетике и экономической кибернетике.

¶Источники

• Гмурман В. Е. «Теория вероятностей и математическая статистика»
• Ивлев Ю. Ф. «Статистические методы»
• Пирсон К. «Математическая теория эволюции»
• Гальтон Ф. «Наследственный гений»
• Статья «Корреляция и регрессия» в энциклопедическом справочнике по статистике