Корреляция в статистике и науке¶

Корреляция — статистическая взаимосвязь двух или нескольких случайных величин, при которой изменение одной величины сопровождается закономерным изменением другой. Количественной мерой такой связи служит коэффициент корреляции — безразмерная величина, принимающая значения в диапазоне от −1 до +1. Корреляция не подразумевает причинно-следственной связи: она фиксирует лишь согласованность изменений, а не их причину.

¶Общее понятие

Термин происходит от латинского correlatio — «соотнесение, взаимосвязь». В математической статистике корреляция описывает степень, с которой две переменные связаны линейной или иной монотонной зависимостью. Если при росте одной величины вторая в среднем также растёт, говорят о положительной корреляции; если убывает — об отрицательной. Значение, близкое к нулю, указывает на отсутствие линейной связи, хотя нелинейная зависимость при этом возможна.

Корреляционный анализ широко применяется в экономике, социологии, биологии, метеорологии, медицине и технике. Он позволяет выявлять закономерности там, где прямой эксперимент невозможен или затруднён.

¶Коэффициенты корреляции

Существует несколько мер связи, выбор которых зависит от типа данных и предполагаемой формы зависимости.

¶Коэффициент Пирсона

Наиболее известен линейный коэффициент корреляции Пирсона (r), предложенный Карлом Пирсоном в конце XIX века на основе работ Фрэнсиса Гальтона. Он вычисляется как отношение ковариации двух величин к произведению их стандартных отклонений. Коэффициент применим к количественным данным, распределённым приблизительно нормально, и измеряет именно линейную связь.

¶Ранговые коэффициенты

Для порядковых данных и при отклонениях от нормальности используют ранговые меры:

• Коэффициент Спирмена — корреляция между рангами значений, устойчив к выбросам и нелинейным монотонным зависимостям.
• Коэффициент Кендалла — мера согласованности пар, часто применяется при малых выборках.

¶Другие меры

Для бинарных и категориальных признаков применяются коэффициент точечно-бисериальной корреляции, тетрахорический коэффициент, а также коэффициент Крамера для таблиц сопряжённости.

¶Свойства и интерпретация

Коэффициент корреляции обладает рядом свойств:

Величина коэффициента не зависит от единиц измерения и масштаба переменных. Однако высокая корреляция не доказывает причинности — это фундаментальный принцип статистики, известный как «корреляция не означает causation».

¶Корреляция и причинность

Совпадение изменений двух величин может объясняться несколькими причинами: первая действительно влияет на вторую; вторая влияет на первую; обе зависят от третьего, скрытого фактора; либо связь случайна. Классический пример — рост продаж мороженого и числа утоплений летом: обе величины определяются температурой, а не друг другом. Ошибочное принятие корреляции за причинность ведёт к ложным выводам, поэтому в науке для установления причинности применяют контролируемые эксперименты и методы регрессионного анализа.

¶Ложные корреляции

При анализе больших массивов данных часто обнаруживаются статистически значимые, но бессмысленные связи — так называемые ложные или случайные корреляции. Чем больше переменных рассматривается одновременно, тем выше вероятность найти пару с высоким коэффициентом purely случайно. Это явление называют проблемой множественных сравнений; для борьбы с ним применяют поправки на множественность и проверку гипотез на независимых выборках.

¶Применение

В экономике корреляционный анализ используют для изучения связей между показателями рынка, в финансах — для оценки диверсификации активов и построения портфелей. В медицине корреляции помогают выявлять факторы риска, в метеорологии — связывать климатические индексы с погодными аномалиями. В машинном обучении корреляция служит для отбора признаков и выявления мультиколлинеарности, которая искажает регрессионные модели.

В России корреляционные методы активно применяются в эконометрике, социологических исследованиях, обработке данных дистанционного зондирования Земли и анализе больших данных. Соответствующие разделы входят в курсы теории вероятностей и математической статистики технических и экономических вузов.

¶Ограничения

Корреляция чувствительна к выбросам, требует достаточного объёма выборки и корректного учёта типа данных. Она описывает только парные связи и не отражает сложные многофакторные зависимости, для которых применяют множественную регрессию, факторный анализ и методы машинного обучения. Кроме того, статистическая значимость коэффициента зависит от размера выборки: на малых выборках даже высокое значение может быть неустойчивым.

¶Источники

• Гмурман В. Е. Теория вероятностей и математическая статистика.
• Кобзарь А. И. Прикладная математическая статистика.
• Pearson K. Mathematical Contributions to the Theory of Evolution.
• Kendall M., Stuart A. The Advanced Theory of Statistics.
• Тюрин Ю. Н., Макаров А. А. Статистический анализ данных на компьютере.