Ковариационная матрица

Ковариационная матрица (также матрица ковариаций, ковариационная матрица случайного вектора) — это квадратная симметричная матрица, элементы которой представляют собой попарные ковариации компонентов многомерного случайного вектора. Она обобщает понятие дисперсии на многомерный случай: на главной диагонали располагаются дисперсии отдельных компонент, а внедиагональные элементы — ковариации между соответствующими парами компонент. Ковариационная матрица является центральным понятием в многомерном статистическом анализе, теории вероятностей, эконометрике, машинном обучении и обработке сигналов.

Определение и формальное представление

Пусть X = (X₁, X₂, …, Xₙ)ᵀ — случайный вектор-столбец размерности n, каждая компонента которого Xᵢ является случайной величиной с конечным математическим ожиданием. Ковариационная матрица Σ (или Cov(X)) определяется как матрица размера n×n, где элемент (i, j) равен:

Σᵢⱼ = Cov(Xᵢ, Xⱼ) = E[(Xᵢ − E[Xᵢ])(Xⱼ − E[Xⱼ])]

В матричной форме это записывается как:

Σ = E[(X − E[X])(X − E[X])ᵀ]

где E[X] — вектор математических ожиданий компонент, а T обозначает транспонирование. Для вещественнозначных случайных векторов ковариационная матрица всегда симметрична (Σᵢⱼ = Σⱼᵢ) и неотрицательно определена.

Свойства

Ковариационная матрица обладает рядом фундаментальных свойств:

• Симметричность: Σ = Σᵀ для вещественных случайных векторов.
• Неотрицательная определённость: для любого ненулевого вектора a ∈ ℝⁿ выполняется aᵀΣa ≥ 0. Это следует из того, что aᵀΣa = Var(aᵀX) ≥ 0.
• Линейность преобразования: если Y = AX + b, где A — матрица констант, а b — вектор констант, то Cov(Y) = A Σ Aᵀ.
• Размерность: для случайного вектора размерности n ковариационная матрица имеет размер n×n и содержит n(n+1)/2 уникальных элементов (с учётом симметрии).
• Диагональные элементы: Σᵢᵢ = Var(Xᵢ) ≥ 0.
• Корреляция: если ковариационная матрица диагональна (все внедиагональные элементы равны нулю), то компоненты вектора некоррелированы. Обратное в общем случае неверно: некоррелированность не гарантирует независимость.

Интерпретация элементов

• Дисперсии (диагональные элементы) показывают разброс каждой отдельной случайной величины относительно её среднего значения. Большая дисперсия указывает на высокую изменчивость компоненты.
• Ковариации (внедиагональные элементы) характеризуют линейную связь между двумя компонентами. Положительная ковариация означает, что при увеличении одной компоненты другая в среднем также увеличивается; отрицательная — что они изменяются в противоположных направлениях. Абсолютная величина ковариации зависит от масштаба переменных, поэтому для оценки силы связи часто используют корреляционную матрицу, где элементы нормированы на произведение стандартных отклонений.

Оценка по выборке

На практике истинная ковариационная матрица неизвестна, и её оценивают по выборочным данным. Пусть имеется выборка объёмом m из n-мерного распределения: x₁, x₂, …, xₘ (каждый xₖ — вектор-столбец). Выборочная ковариационная матрица S вычисляется как:

S = (1/(m−1)) Σₖ₌₁ᵐ (xₖ − x̄)(xₖ − x̄)ᵀ

где x̄ = (1/m) Σₖ₌₁ᵐ xₖ — выборочное среднее. Деление на m−1 (а не на m) даёт несмещённую оценку дисперсии и ковариации. Матрица S также симметрична и неотрицательно определена. При больших m она сходится по вероятности к истинной Σ (состоятельность).

Применение

Ковариационная матрица используется во многих областях:

Многомерный статистический анализ

• Главные компоненты (PCA): собственные векторы и собственные значения ковариационной матрицы позволяют найти направления наибольшей дисперсии данных, что используется для снижения размерности.
• Линейный дискриминантный анализ (LDA): ковариационные матрицы классов применяются для построения разделяющих гиперплоскостей.
• Многомерное нормальное распределение: его плотность полностью определяется вектором средних и ковариационной матрицей.

Эконометрика и финансы

• Портфельная теория Марковица: ковариационная матрица доходностей активов используется для расчёта риска портфеля (дисперсии портфеля) и оптимизации его состава.
• Моделирование временных рядов: в моделях VAR (векторная авторегрессия) ковариационная матрица ошибок отражает одновременные корреляции между переменными.

Машинное обучение

• Метод главных компонент и факторный анализ опираются на спектральное разложение ковариационной матрицы.
• Методы кластеризации (например, гауссовы смеси) используют ковариационные матрицы для описания формы кластеров.
• Регуляризация: при малом объёме выборки относительно размерности (m << n) выборочная ковариационная матрица может быть вырожденной или плохо обусловленной, что требует регуляризации (например, с помощью гребневой оценки или сжатия).

Обработка сигналов и изображений

• Фильтрация и обнаружение: ковариационная матрица шума используется в оптимальных фильтрах (например, фильтр Винера).
• Анализ независимых компонент (ICA): предварительное обеление данных (приведение к единичной ковариационной матрице) упрощает поиск независимых источников.

Пример

Рассмотрим двумерный случайный вектор (X, Y) с дисперсиями σ²ₓ и σ²ᵧ и ковариацией σₓᵧ. Ковариационная матрица имеет вид:

Σ = [[σ²ₓ, σₓᵧ], [σₓᵧ, σ²ᵧ]]

Если, например, σ²ₓ = 4, σ²ᵧ = 9, σₓᵧ = 3, то матрица будет:

Σ = [[4, 3], [3, 9]]

Её собственные значения: λ₁ ≈ 10.16, λ₂ ≈ 2.84. Первый собственный вектор указывает направление наибольшего разброса данных.

Связь с корреляционной матрицей

Корреляционная матрица R получается нормировкой ковариационной матрицы на стандартные отклонения:

R = D⁻¹/² Σ D⁻¹/²

где D — диагональная матрица с дисперсиями на диагонали. Элементы R — коэффициенты корреляции Пирсона, лежащие в диапазоне [−1, 1]. Корреляционная матрица удобна для сравнения силы связей между переменными разных масштабов.

Ограничения и особенности

• Чувствительность к выбросам: выборочная ковариационная матрица сильно искажается при наличии аномальных наблюдений. Для устойчивости применяют робастные оценки (например, MCD — минимальная ковариационная детерминанта).
• Размерность: при n > m выборочная ковариационная матрица вырождена (ранг меньше n), что затрудняет обращение и использование в многомерных методах. В таких случаях применяют регуляризацию или методы снижения размерности.
• Неотрицательная определённость: выборочная ковариационная матрица всегда неотрицательно определена, но при численных ошибках или пропущенных данных может стать отрицательно определённой, что требует коррекции.

Источники

• Андерсон Т. Введение в многомерный статистический анализ. — М.: Физматгиз, 1963.
• Хартли Р. Многомерный статистический анализ. — М.: Мир, 1979.
• Johnson R. A., Wichern D. W. Applied Multivariate Statistical Analysis. — 6th ed. — Pearson, 2007.
• Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. — 2nd ed. — Springer, 2009.
• Ширяев А. Н. Вероятность. — М.: МЦНМО, 2011.