Корреляционный анализ

Корреляционный анализ — это совокупность статистических методов, предназначенных для выявления, оценки и проверки наличия статистической связи между двумя или более случайными величинами (признаками). Основная цель корреляционного анализа — установить, существует ли взаимосвязь между изучаемыми переменными, какова её сила (теснота) и направление (положительная или отрицательная), но не выявить причинно-следственные зависимости. Корреляционный анализ является одним из фундаментальных разделов математической статистики и широко применяется в естественных, технических, социально-экономических и гуманитарных науках, а также в практической деятельности — от медицины и психологии до финансового анализа и маркетинга.

История развития

Первые попытки количественного измерения взаимосвязей между переменными относятся к концу XIX века. Основоположником корреляционного анализа считается английский статистик и биолог Фрэнсис Гальтон, который в 1880-х годах ввёл понятие «корреляция» (от лат. correlatio — соотношение) и разработал первые методы её оценки в рамках изучения наследственности. Гальтон исследовал связь между ростом родителей и детей, обнаружив явление «регрессии к среднему».

Дальнейшее развитие метод получил в работах ученика Гальтона — Карла Пирсона. В 1896 году Пирсон опубликовал формулу коэффициента корреляции (ныне известного как коэффициент корреляции Пирсона), который измеряет линейную связь между двумя количественными переменными. Пирсон также заложил основы теории корреляции и регрессии.

В 1904 году британский психолог Чарльз Спирмен предложил ранговый коэффициент корреляции (коэффициент Спирмена), предназначенный для анализа порядковых переменных. В 1936 году американский статистик Морис Кендалл разработал ещё один ранговый коэффициент — тау Кендалла. В 1948 году Герман Хотеллинг ввёл понятие канонической корреляции для анализа связей между двумя наборами переменных. В XX веке корреляционный анализ стал неотъемлемой частью статистического инструментария, а с развитием вычислительной техники — доступным методом для массового применения.

Основные понятия и термины

Корреляционный анализ оперирует несколькими ключевыми понятиями:

• Корреляционная связь — статистическая зависимость между переменными, при которой изменение одной величины приводит к изменению распределения другой. В отличие от функциональной связи, корреляционная связь не является строгой: одному значению одной переменной может соответствовать множество значений другой.
• Коэффициент корреляции — числовая мера тесноты и направления связи. Значения коэффициента обычно лежат в интервале от -1 до +1. Знак указывает на направление: положительная корреляция (рост одной переменной сопровождается ростом другой) или отрицательная (рост одной переменной сопровождается убыванием другой). Абсолютная величина характеризует силу связи: чем ближе к 1, тем связь сильнее.
• Корреляционное поле (диаграмма рассеяния) — графическое представление пар значений двух переменных на плоскости. Позволяет визуально оценить наличие, характер и форму связи.
• Статистическая значимость — оценка того, насколько полученный коэффициент корреляции отличается от нуля с учётом случайных колебаний. Проверяется с помощью статистических гипотез (обычно нулевая гипотеза H₀: ρ = 0).

Виды коэффициентов корреляции

Выбор конкретного коэффициента корреляции зависит от типа данных (количественные, порядковые, номинальные) и характера предполагаемой связи.

Коэффициент корреляции Пирсона (r)

Наиболее распространённый коэффициент, измеряющий силу линейной связи между двумя количественными переменными, распределёнными нормально или близко к нормальному. Вычисляется как отношение ковариации переменных к произведению их стандартных отклонений. Чувствителен к выбросам и нелинейным зависимостям. Применяется в биологии, экономике, психологии, физике.

Ранговые коэффициенты корреляции

Используются для порядковых переменных или для количественных данных, не удовлетворяющих условиям нормальности. Основные виды:

• Коэффициент Спирмена (ρ) — основан на рангах значений. Менее чувствителен к выбросам, чем коэффициент Пирсона. Оценивает монотонную (не обязательно линейную) связь.
• Коэффициент Кендалла (τ) — также основан на рангах, но вычисляется через количество согласованных и несогласованных пар наблюдений. Более устойчив к выбросам, чем коэффициент Спирмена, но сложнее в интерпретации при больших выборках.

Коэффициент корреляции для номинальных данных

Для переменных, измеренных в номинальной шкале (например, пол, цвет, категория), применяются другие меры связи:

• Коэффициент φ (фи) — для таблиц сопряжённости 2×2.
• Коэффициент V Крамера — для таблиц произвольной размерности.
• Коэффициент контингенции — для оценки связи между двумя номинальными признаками.

Частная корреляция

Измеряет связь между двумя переменными при исключении (контроле) влияния одной или нескольких других переменных. Позволяет выявить «чистую» взаимосвязь, свободную от посторонних воздействий.

Этапы проведения корреляционного анализа

Типовая процедура корреляционного анализа включает следующие шаги:

1. Формулировка задачи и сбор данных. Определяются переменные, подлежащие анализу, и формируется выборка. Важно обеспечить репрезентативность и достаточный объём данных.
2. Визуализация данных. Построение диаграммы рассеяния для предварительной оценки формы и силы связи, а также выявления возможных выбросов.
3. Выбор коэффициента корреляции. В зависимости от типа шкал и характера распределения (например, для нормально распределённых количественных данных — Пирсона, для порядковых или ненормальных — Спирмена или Кендалла).
4. Расчёт коэффициента и проверка значимости. Вычисляется числовое значение коэффициента и проверяется гипотеза о его отличии от нуля с помощью t-критерия Стьюдента или других методов. Уровень значимости (обычно α = 0,05 или 0,01) задаётся заранее.
5. Интерпретация результатов. На основе полученного коэффициента делается вывод о наличии, силе и направлении связи. Важно помнить, что корреляция не означает причинности.

Применение корреляционного анализа

Корреляционный анализ используется в самых разных областях:

• Медицина и биология: изучение связи между факторами риска (например, курение и заболеваемость раком лёгких), между физиологическими показателями (рост и вес, давление и возраст).
• Экономика и финансы: анализ взаимосвязи между макроэкономическими показателями (ВВП и инфляция), между доходностью активов (диверсификация портфеля), между ценами на товары.
• Психология и социология: исследование корреляции между личностными чертами и поведением, между социально-экономическим статусом и уровнем образования.
• Техника и инженерия: контроль качества (связь между параметрами технологического процесса и характеристиками продукции), анализ данных с датчиков.
• Маркетинг: изучение связи между рекламными расходами и продажами, между удовлетворённостью клиентов и повторными покупками.

Ограничения и критика

Корреляционный анализ имеет ряд существенных ограничений, которые необходимо учитывать:

• Корреляция не равна причинности. Наличие статистической связи между двумя переменными не доказывает, что одна из них является причиной другой. Возможны ложные корреляции, обусловленные третьей (скрытой) переменной или случайностью.
• Чувствительность к выбросам. Особенно это касается коэффициента Пирсона. Одно-два аномальных наблюдения могут существенно исказить результат.
• Линейность. Коэффициент Пирсона измеряет только линейную связь. Если зависимость нелинейная (например, квадратичная или логарифмическая), значение r может быть близко к нулю, даже если связь сильная.
• Требования к данным. Для корректного применения параметрических методов (Пирсона) требуется нормальное распределение переменных, хотя на практике допускаются умеренные отклонения.
• Проблема множественных сравнений. При одновременном анализе большого числа пар переменных возрастает вероятность получить статистически значимые результаты случайно. Требуется коррекция уровня значимости (например, поправка Бонферрони).

Интересные факты

• В 2012 году в журнале Journal of Irreproducible Results была опубликована пародийная статья, демонстрирующая ложную корреляцию между числом утонувших в бассейнах и количеством фильмов с участием актёра Николаса Кейджа. Это наглядный пример того, как случайные данные могут давать высокие коэффициенты корреляции.
• Корреляционный анализ лежит в основе многих методов машинного обучения, в частности, при отборе признаков и построении корреляционных матриц.
• В психологии и социологии часто используется корреляция Пирсона для оценки надёжности тестов (метод расщепления) и валидности.