Теория корреляции¶

Теория корреляции — это раздел математической статистики, изучающий статистическую взаимосвязь между двумя или более случайными величинами. В отличие от функциональной зависимости, при которой каждому значению одной переменной соответствует строго определённое значение другой, корреляционная связь проявляется в том, что при изменении одной величины изменяется среднее значение другой. Основной целью корреляционного анализа является выявление наличия, направления и силы такой связи, а также её статистической значимости. Теория корреляции широко применяется в естественных и социальных науках, медицине, экономике, технике и других областях для анализа данных и построения прогнозов.

¶История развития

Первые попытки количественного измерения взаимосвязи между переменными относятся к XIX веку. Английский учёный Фрэнсис Гальтон, изучая наследственность, в 1880-х годах ввёл понятие «корреляция» (от лат. correlatio — соотношение) и разработал графический метод оценки связи — корреляционное поле. В 1896 году Карл Пирсон, ученик Гальтона, предложил математическую формулу для вычисления коэффициента корреляции, известного как коэффициент корреляции Пирсона (или коэффициент Пирсона). Этот коэффициент стал основой параметрического корреляционного анализа.

В начале XX века Чарльз Спирмен разработал непараметрический коэффициент ранговой корреляции, который позволяет оценивать связь без предположения о нормальном распределении данных. В 1930-х годах Морис Кендалл предложил свой коэффициент ранговой корреляции (тау Кендалла). Дальнейшее развитие теории корреляции связано с работами Рональда Фишера, который ввёл методы проверки статистической значимости корреляции и преобразование Фишера для построения доверительных интервалов. В XX веке теория корреляции была интегрирована в многомерный статистический анализ, регрессионный анализ и факторный анализ.

¶Основные понятия

¶Корреляционная связь

Корреляционная связь — это статистическая зависимость, при которой изменение одной переменной влечёт изменение математического ожидания другой. Например, увеличение температуры воздуха может сопровождаться ростом продаж мороженого, но не обязательно для каждого отдельного случая. Корреляция может быть:

• положительной (прямой) — обе переменные изменяются в одном направлении;
• отрицательной (обратной) — переменные изменяются в противоположных направлениях;
• нулевой — связь отсутствует.

¶Коэффициент корреляции

Коэффициент корреляции — это числовая мера, принимающая значения от −1 до +1. Знак указывает на направление связи, абсолютное значение — на её силу. Чем ближе модуль коэффициента к 1, тем сильнее связь; чем ближе к 0, тем слабее. Значения 0,1–0,3 обычно считаются слабой связью, 0,3–0,7 — умеренной, 0,7–1,0 — сильной (границы условны и зависят от области исследования).

¶Виды коэффициентов корреляции

¶Параметрические коэффициенты

Коэффициент корреляции Пирсона (r) — наиболее распространённый параметрический показатель. Он оценивает линейную связь между двумя непрерывными переменными, распределёнными по нормальному закону. Вычисляется как отношение ковариации переменных к произведению их стандартных отклонений. Формула: \[ r = \frac{\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n}(x_i - \bar{x})^2 \sum_{i=1}^{n}(y_i - \bar{y})^2}} \] где \(x_i\) и \(y_i\) — значения переменных, \(\bar{x}\) и \(\bar{y}\) — их средние арифметические, \(n\) — объём выборки.

¶Непараметрические коэффициенты

Применяются, когда данные не удовлетворяют условиям нормальности или имеют порядковую шкалу.

• Коэффициент ранговой корреляции Спирмена (ρ) — основан на рангах (порядковых номерах) значений. Не требует нормального распределения, оценивает монотонную связь.
• Коэффициент корреляции Кендалла (τ) — также использует ранги, но учитывает согласованность пар наблюдений. Более устойчив к выбросам, чем коэффициент Спирмена.
• Коэффициент корреляции Пирсона для точечно-бисериальной связи — применяется, когда одна переменная дихотомическая (принимает два значения), а другая — непрерывная.

¶Условия применения и ограничения

Для корректного использования коэффициента Пирсона необходимо выполнение следующих условий:

1. Переменные измерены в интервальной или относительной шкале.
2. Наблюдения независимы.
3. Связь между переменными линейна (проверяется по графику рассеяния).
4. Распределение переменных приближается к нормальному (особенно при малых выборках).
5. Отсутствие значительных выбросов, искажающих результат.

Нарушение этих условий может привести к занижению или завышению оценки корреляции. Непараметрические методы менее чувствительны к отклонениям от нормальности и выбросам, но менее мощны при малых выборках.

¶Проверка статистической значимости

Для оценки того, насколько полученный коэффициент корреляции отличается от нуля с учётом случайности, используется проверка гипотез. Нулевая гипотеза \(H_0\): истинный коэффициент корреляции равен нулю. Альтернативная гипотеза \(H_1\): коэффициент отличен от нуля. Для проверки применяют t-критерий Стьюдента (для коэффициента Пирсона) или z-преобразование Фишера. Если p-значение меньше заданного уровня значимости (обычно 0,05), нулевая гипотеза отвергается, и корреляция считается статистически значимой.

¶Частная и множественная корреляция

В многомерном анализе выделяют:

• Частную корреляцию — меру связи между двумя переменными при фиксированных значениях других переменных. Позволяет исключить влияние третьих факторов.
• Множественную корреляцию — меру связи одной переменной с набором других переменных. Оценивается коэффициентом множественной корреляции (R), который принимает значения от 0 до 1.

¶Применение в различных областях

¶Экономика и финансы

Теория корреляции используется для анализа взаимосвязи между экономическими показателями (например, ВВП и уровень безработицы), оценки диверсификации портфелей активов, выявления факторов риска. В финансах корреляция между доходностями акций помогает в построении оптимальных инвестиционных портфелей.

¶Медицина и биология

В медицине корреляционный анализ применяется для изучения связи между факторами риска и заболеваниями (например, курение и рак лёгких), оценки эффективности лекарств, анализа генетических данных. В биологии — для изучения взаимосвязей между признаками организмов.

¶Социология и психология

В социологии корреляция используется для анализа опросов, выявления связей между социальными характеристиками (образование и доход). В психологии — для изучения корреляции между личностными чертами, тестовыми баллами и поведением.

¶Естественные науки

В физике, химии, геологии корреляционный анализ помогает выявлять зависимости между физическими величинами, например, между температурой и давлением, концентрацией реагентов и скоростью реакции.

¶Критика и ограничения

Основное ограничение корреляционного анализа — он не устанавливает причинно-следственные связи. Высокая корреляция может быть ложной (спуриозной), обусловленной влиянием третьей, неучтённой переменной. Например, корреляция между числом аистов и рождаемостью в некоторых регионах может быть вызвана общей тенденцией урбанизации. Кроме того, корреляция чувствительна к выбросам, а нелинейные связи могут быть не выявлены стандартными коэффициентами. Для корректной интерпретации необходимо учитывать контекст и использовать дополнительные методы анализа, такие как регрессионный анализ и экспериментальные исследования.

¶Интересные факты

• Термин «корреляция» ввёл Фрэнсис Гальтон, который также основал евгенику — движение, признанное в ряде стран псевдонаучным и дискредитированным.
• Коэффициент корреляции Пирсона часто путают с причинностью, что приводит к распространённым ошибкам в интерпретации данных.
• В современной науке для анализа сложных многомерных данных используются методы машинного обучения, такие как корреляционные матрицы и тепловые карты.

¶Источники

1. Гмурман В. Е. Теория вероятностей и математическая статистика. — М.: Высшая школа, 2003.
2. Кендалл М., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.
3. Спирмен Ч. Доказательство и измерение ассоциации между двумя вещами // American Journal of Psychology, 1904.
4. Пирсон К. Математические вклады в теорию эволюции. III. Регрессия, наследственность и панмиксия // Philosophical Transactions of the Royal Society, 1896.
5. Фишер Р. А. Статистические методы для исследователей. — М.: Госстатиздат, 1958.