Коэффициент корреляции

Коэффициент корреляции — это статистический показатель, который количественно описывает силу и направление взаимосвязи (зависимости) между двумя переменными величинами. Он изменяется в диапазоне от -1 до +1, где крайние значения указывают на строгую линейную зависимость (положительную или отрицательную), а значение 0 — на полное отсутствие линейной связи. Коэффициент корреляции является одним из ключевых инструментов корреляционного анализа, широко применяемого в науке, экономике, социологии и других областях для выявления закономерностей и построения прогностических моделей.

История

Понятие корреляции в его современном виде начало формироваться в конце XIX века. Основоположником корреляционного анализа считается английский учёный Фрэнсис Гальтон, который в 1888 году ввёл термин «корреляция» (от лат. correlatio — соотношение) для описания взаимосвязи между ростом родителей и детей. Гальтон заметил, что дети высоких родителей в среднем выше среднего, но не обязательно настолько же высоки, как их родители, — явление, названное им «регрессией к среднему».

Дальнейшее развитие метод получил благодаря ученику Гальтона, математику Карлу Пирсону. В 1895 году Пирсон опубликовал работу, в которой формализовал коэффициент корреляции, основанный на методе наименьших квадратов. Этот показатель, известный сегодня как коэффициент корреляции Пирсона (или произведение моментов Пирсона), стал стандартным инструментом для оценки линейной связи между непрерывными переменными. Позднее, в начале XX века, британский статистик Чарльз Спирмен разработал ранговый коэффициент корреляции (коэффициент Спирмена), применимый для порядковых данных и непараметрических тестов.

Виды коэффициентов корреляции

Существует несколько разновидностей коэффициентов корреляции, различающихся по типу данных и характеру предполагаемой связи. Основные из них:

Коэффициент линейной корреляции Пирсона (r)

Наиболее распространённый показатель, обозначаемый латинской буквой r. Он измеряет степень линейной зависимости между двумя непрерывными (интервальными или относительными) переменными, распределёнными по нормальному закону. Формула Пирсона:

\[ r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n} (x_i - \bar{x})^2 \cdot \sum_{i=1}^{n} (y_i - \bar{y})^2}} \]

где \(x_i\) и \(y_i\) — значения переменных, \(\bar{x}\) и \(\bar{y}\) — их средние арифметические, \(n\) — количество наблюдений. Значение r = +1 означает идеальную положительную линейную связь (рост одной переменной сопровождается пропорциональным ростом другой), r = -1 — идеальную отрицательную связь (рост одной переменной соответствует убыванию другой), r = 0 — отсутствие линейной связи.

Ранговый коэффициент корреляции Спирмена (ρ)

Непараметрический показатель, обозначаемый греческой буквой ρ (ро). Он основан на рангах (порядковых номерах) значений, а не на самих значениях. Используется, когда данные не подчиняются нормальному распределению, или когда переменные измерены в порядковой шкале. Коэффициент Спирмена также изменяется от -1 до +1 и интерпретируется аналогично коэффициенту Пирсона, но характеризует монотонную (не обязательно линейную) зависимость.

Коэффициент корреляции Кендалла (τ)

Ещё один непараметрический ранговый коэффициент, обозначаемый τ (тау). Он оценивает разницу между вероятностью того, что пары наблюдений имеют согласованный порядок (конкордантность), и вероятностью несогласованного порядка (дискордантность). Коэффициент Кендалла часто считается более устойчивым к выбросам, чем коэффициент Спирмена, и используется при небольшом объёме выборки.

Другие виды

• Точечный бисериальный коэффициент корреляции — применяется для оценки связи между одной непрерывной и одной дихотомической (бинарной) переменной.
• Коэффициент корреляции Фи (φ) — используется для двух дихотомических переменных, часто в анализе таблиц сопряжённости 2×2.
• Коэффициент детерминации (R²) — квадрат коэффициента корреляции Пирсона, показывающий долю дисперсии одной переменной, которая объясняется вариацией другой.

Интерпретация значений

Значение коэффициента корреляции не имеет абсолютной шкалы «хорошо/плохо»; его интерпретация зависит от контекста исследования. Тем не менее, существуют общепринятые эмпирические градации для коэффициента Пирсона (по модулю):

• 0,0–0,1 — пренебрежимо слабая связь (или её отсутствие);
• 0,1–0,3 — слабая связь;
• 0,3–0,5 — умеренная связь;
• 0,5–0,7 — заметная (средняя) связь;
• 0,7–0,9 — сильная (тесная) связь;
• 0,9–1,0 — очень сильная связь.

Важно понимать, что корреляция не означает причинно-следственную связь (каузальность). Высокий коэффициент корреляции может быть обусловлен случайностью, наличием третьей (латентной) переменной или неправильным выбором модели. Например, положительная корреляция между продажами мороженого и числом утоплений летом не означает, что мороженое вызывает утопления — обе переменные зависят от температуры воздуха.

Применение

Коэффициент корреляции широко используется в различных областях:

• Экономика и финансы: для анализа взаимосвязи между доходностью активов, инфляцией и безработицей, а также для построения портфельных моделей (например, диверсификация рисков на основе корреляции).
• Медицина: для выявления связей между факторами риска (курение, уровень холестерина) и заболеваниями (инфаркт, инсульт). Однако в клинических исследованиях корреляционный анализ часто предваряет более строгие методы (регрессионный анализ, когортные исследования).
• Социология и психология: для оценки взаимосвязи между тестовыми баллами, социально-экономическими показателями и поведенческими характеристиками.
• Естественные науки: в физике, химии, биологии — для проверки гипотез о линейной зависимости между измеряемыми параметрами (например, зависимость скорости реакции от температуры).
• Машинное обучение: на этапе предварительного анализа данных (EDA) для отбора признаков (feature selection) — признаки с высокой корреляцией друг с другом могут быть избыточными.

Ограничения и критика

Несмотря на широкую распространённость, коэффициент корреляции имеет ряд ограничений:

1. Чувствительность к выбросам: даже одно экстремальное значение может существенно исказить коэффициент Пирсона, особенно на малых выборках.
2. Линейность: коэффициент Пирсона оценивает только линейную связь. Если зависимость нелинейная (например, параболическая или синусоидальная), значение r может быть близким к нулю, хотя реальная связь существует.
3. Гомоскедастичность: для корректной интерпретации коэффициента Пирсона желательно, чтобы дисперсия одной переменной была постоянной при всех значениях другой (гомоскедастичность). В противном случае оценка может быть ненадёжной.
4. Неустойчивость при малых выборках: при n < 30 коэффициент корреляции может быть статистически незначимым, даже если его значение велико.
5. Экологическая ошибка: корреляция, вычисленная на агрегированных данных (например, по регионам), может не отражать связь на уровне отдельных индивидов.

Для преодоления этих ограничений исследователи часто дополняют корреляционный анализ визуализацией (диаграммы рассеяния), проверкой статистической значимости (p-значение) и использованием робастных методов (например, корреляция Спирмена).

Интересные факты

• В 2013 году группа учёных под руководством Джеффри Лича (Университет Бристоля) провела масштабное исследование, в котором показала, что корреляция между потреблением шоколада на душу населения и количеством нобелевских лауреатов в стране составляет r = 0,79. Этот пример стал классической иллюстрацией ложной корреляции, не имеющей причинно-следственного обоснования.
• В психологии и социологии принято считать, что коэффициент корреляции выше 0,7 в исследованиях человеческого поведения встречается редко из-за высокой вариативности индивидуальных различий.
• В финансовой математике корреляция между активами используется в модели Марковица для оптимизации портфеля: чем ниже корреляция между активами, тем эффективнее диверсификация.

Источники

• Кендалл М., Стьюарт А. «Статистические выводы и связи». — М.: Наука, 1973.
• Гмурман В. Е. «Теория вероятностей и математическая статистика». — 12-е изд. — М.: Юрайт, 2010.
• Pearson K. «Notes on regression and inheritance in the case of two parents» // Proceedings of the Royal Society of London. — 1895. — Vol. 58. — P. 240–242.
• Spearman C. «The proof and measurement of association between two things» // American Journal of Psychology. — 1904. — Vol. 15. — P. 72–101.
• Cohen J. «Statistical Power Analysis for the Behavioral Sciences». — 2nd ed. — Lawrence Erlbaum Associates, 1988.