Корреляционная матрица¶
Корреляционная матрица — квадратная матрица, элементы которой представляют коэффициенты корреляции между парами признаков (переменных) одномерного набора данных. Размерность матрицы равна числу признаков, а диагональные элементы всегда равны единице, поскольку переменная коррелирует с самой собой идеально. Корреляционная матрица является центральным инструментом статистического анализа данных, факторного анализа, машинного обучения и оценки финансовых портфелей.
¶Определение и обозначения
Пусть имеется набор из $n$ наблюдений и $p$ признаков. Корреляционная матрица $\mathbf{R}$ имеет размерность $p \times p$, а её элемент $r_{ij}$ вычисляется по формуле:
$$r_{ij} = \frac{\operatorname{cov}(X_i, X_j)}{\sigma_{X_i} \sigma_{X_j}},$$
где $\operatorname{cov}(X_i, X_j)$ — ковариация признаков $X_i$ и $X_j$, а $\sigma_{X_i}$, $\sigma_{X_j}$ — их стандартные отклонения.
Корреляционная матрица связана с ковариационной матрицей $\mathbf{C}$ соотношением $\mathbf{R} = \mathbf{D}^{-1/2} \mathbf{C} \mathbf{D}^{-1/2}$, где $\mathbf{D}$ — диагональная матрица дисперсий. В отличие от ковариационной матрицы, корреляционная матрица не зависит от единиц измерения признаков, что делает её удобной для сравнения силы связей между разнородными переменными.
¶Свойства
Корреляционная матрица обладает рядом математических свойств:
- Симметричность: $r_{ij} = r_{ji}$, поскольку корреляция не зависит от порядка аргументов.
- Единичная диагональ: $r_{ii} = 1$ для всех $i$.
- Ограниченность значений: $-1 \leq r_{ij} \leq 1$.
- Положительная полуопределённость: для любого вектора $\mathbf{x}$ выполнено $\mathbf{x}^\top \mathbf{R} \mathbf{x} \geq 0$. Это свойство важно при использовании матрицы в численных алгоритмах.
- Нормированность: все элементы матрицы лежат в единичном интервале, что упрощает интерпретацию.
При $p$ признаках матрица содержит $p(p+1)/2$ независимых элементов (учитывая симметрию и единичную диагональ).
¶Оценка по выборке
На практике корреляционная матрица вычисляется по выборке. Для коэффициента Пирсона оценка имеет вид:
$$\hat{r}_{ij} = \frac{\sum_{k=1}^{n}(x_{ki} - \bar{x}_i)(x_{kj} - \bar{x}_j)}{\sqrt{\sum_{k=1}^{n}(x_{ki} - \bar{x}_i)^2 \sum_{k=1}^{n}(x_{kj} - \bar{x}_j)^2}}.$$
Выборочная корреляционная матрица почти всегда является положительно определённой, однако при малом объёме выборки ($n \leq p$) она вырождается и становится сингулярной. В таких случаях применяют методы регуляризации — например, добавление к диагонали небольшой константы (shrinkage-оценка Ledoit–Wolf) или усечение малых собственных значений.
¶Типы коэффициентов корреляции
В зависимости от характера данных в матрице могут использоваться разные коэффициенты:
| Коэффициент | Область применения |
|---|---|
| Пирсона | Линейная связь между непрерывными нормально распределёнными переменными |
| Спирмена | Монотонная связь, ранговые данные |
| Кендалла | Ранговые данные, малые выборки |
| Фи | Категориальные переменные (номинальные) |
| Полихорическая | Категориальные переменные, лежащие в основе латентной непрерывной |
¶Применение
¶Статистический анализ
Корреляционная матрица используется для выявления мультиколлинеарности — сильной линейной зависимости между признаками регрессионной модели. Значения $|r_{ij}| > 0{,}8$ обычно считаются признаком серьёзной мультиколлинеарности, что может приводить к неустойчивости оценок коэффициентов линейной регрессии.
¶Многомерный статистический анализ
В факторном анализе корреляционная матрица служит входными данными для выделения скрытых факторов. Метод главных компонент (PCA) применяется именно к корреляционной матрице, если признаки имеют разные единицы измерения. Собственные векторы матрицы определяют направления максимальной дисперсии, а собственные значения — вклад каждого фактора.
¶Финансовые рынки
В теории портфеля Марковица корреляционная матрица активов определяет диверсификацию: низкие значения $r_{ij}$ между активами позволяют снижать риск портфеля без потери доходности. На практике оценка корреляций между финансовыми рядами нестабильна во времени, что требует применения моделей с расширенной памятью (DCC-GARCH).
¶Машинное обучение
Корреляционная матрица применяется для отбора признаков (feature selection): признаки с высокой корреляцией с целевой переменной считаются информативными, а сильно коррелирующие между собой признаки — избыточными. Также матрица используется в кластеризации признаков и в методах понижения размерности.
¶Численные особенности
При работе с корреляционной матрицей возникают ряд численных проблем:
- Сингулярность: при $n \leq p$ матрица вырождается, что делает невозможным обращение. Решается регуляризацией.
- Выбросы: коэффициент Пирсона чувствителен к выбросам, что искажает элементы матрицы. Альтернатива — устойчивые оценки корреляции (например, корреляция Спирмена или оценки на основе копул).
- Нормальность: коэффициент Пирсона измеряет именно линейную зависимость; нелинейные связи могут быть не отражены в матрице.
¶Историческая справка
Понятие корреляции ввёл Фрэнсис Гальтон в 1880-х годах в связи с исследованиями наследственности. Карл Пирсон разработал коэффициент корреляции и его статистические свойства в 1890-х годах. Корреляционная матрица как инструмент многомерного анализа получила широкое распространение в XX веке вместе с развитием факторного анализа (Чарлз Спирмен, 1904) и теории портфеля (Гарри Марковиц, 1952).
¶Источники
- Марковиц Г. «Выбор портфеля» (1952)
- Джонсон Р., Вичерн Д. «Прикладной многомерный статистический анализ»
- Хайкин С. «Нейронные сети: полный курс»
- Штейнгер М., Ледуа О. «Матричный анализ»
- Классические работы Карла Пирсона по теории корреляции
