Ковариация

Ковариация — это мера линейной зависимости двух случайных величин, показывающая, насколько согласованно они изменяются относительно своих математических ожиданий. Ковариация является обобщением понятия дисперсии на многомерный случай: дисперсия случайной величины представляет собой её ковариацию с самой собой. В статистике и теории вероятностей ковариация используется для оценки направления и силы связи между переменными, однако её численное значение зависит от масштаба измерений, что ограничивает её интерпретацию по сравнению с коэффициентом корреляции.

Определение и математическая запись

Пусть \(X\) и \(Y\) — две случайные величины, определённые на одном вероятностном пространстве, с математическими ожиданиями \(\mathbb{E}[X] = \mu_X\) и \(\mathbb{E}[Y] = \mu_Y\) соответственно. Ковариация \(\operatorname{Cov}(X, Y)\) определяется как математическое ожидание произведения отклонений этих величин от своих средних значений:

\[ \operatorname{Cov}(X, Y) = \mathbb{E}\left[(X - \mu_X)(Y - \mu_Y)\right]. \]

Для дискретных случайных величин ковариация вычисляется как сумма по всем возможным значениям:

\[ \operatorname{Cov}(X, Y) = \sum_{i} \sum_{j} (x_i - \mu_X)(y_j - \mu_Y) p_{ij}, \]

где \(p_{ij}\) — совместная вероятность событий \(X = x_i\) и \(Y = y_j\). Для непрерывных величин используется двойной интеграл по совместной плотности распределения \(f(x, y)\):

\[ \operatorname{Cov}(X, Y) = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} (x - \mu_X)(y - \mu_Y) f(x, y) \, dx \, dy. \]

На практике, при наличии выборки объёмом \(n\), выборочная ковариация оценивается по формуле:

\[ \operatorname{Cov}_{\text{выб}}(X, Y) = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y}), \]

где \(\bar{x}\) и \(\bar{y}\) — выборочные средние. Деление на \(n-1\) (а не на \(n\)) обеспечивает несмещённость оценки.

Свойства ковариации

Ковариация обладает рядом фундаментальных свойств, вытекающих из её определения:

• Симметричность: \(\operatorname{Cov}(X, Y) = \operatorname{Cov}(Y, X)\).
• Линейность по каждому аргументу: для любых констант \(a, b, c, d\) и случайных величин \(X, Y, Z\) выполняется:

\[ \operatorname{Cov}(aX + b, cY + d) = ac \cdot \operatorname{Cov}(X, Y). \]

• Связь с дисперсией: \(\operatorname{Cov}(X, X) = \operatorname{Var}(X)\).
• Аддитивность: \(\operatorname{Cov}(X + Y, Z) = \operatorname{Cov}(X, Z) + \operatorname{Cov}(Y, Z)\).
• Ограниченность: абсолютное значение ковариации не превосходит произведения стандартных отклонений:

\[ |\operatorname{Cov}(X, Y)| \leq \sqrt{\operatorname{Var}(X) \cdot \operatorname{Var}(Y)}. \] Это неравенство является следствием неравенства Коши — Буняковского.

• Независимость и нулевая ковариация: если \(X\) и \(Y\) независимы, то \(\operatorname{Cov}(X, Y) = 0\). Обратное, вообще говоря, неверно: нулевая ковариация не гарантирует независимости, а лишь отсутствие линейной зависимости.

Интерпретация

Знак ковариации указывает на направление линейной связи между величинами:

• Положительная ковариация (\(\operatorname{Cov}(X, Y) > 0\)) означает, что при отклонении одной величины от среднего в большую сторону другая в среднем также отклоняется в большую сторону. Например, рост и вес человека в популяции обычно имеют положительную ковариацию.
• Отрицательная ковариация (\(\operatorname{Cov}(X, Y) < 0\)) указывает на обратную зависимость: увеличение одной величины сопровождается в среднем уменьшением другой. Пример — цена и объём спроса на товар (при прочих равных условиях).
• Нулевая ковариация (\(\operatorname{Cov}(X, Y) = 0\)) свидетельствует об отсутствии линейной зависимости, но не исключает нелинейных связей (например, параболической).

Абсолютное значение ковариации зависит от масштаба измерения величин, поэтому его трудно интерпретировать как меру силы связи. Для сравнения степени зависимости между разными парами переменных используют нормированную версию — коэффициент корреляции Пирсона:

\[ \rho_{X,Y} = \frac{\operatorname{Cov}(X, Y)}{\sigma_X \sigma_Y}, \]

где \(\sigma_X\) и \(\sigma_Y\) — стандартные отклонения. Коэффициент корреляции принимает значения от \(-1\) до \(1\) и лишён размерности.

Ковариация и дисперсия суммы

Ковариация играет ключевую роль при вычислении дисперсии суммы случайных величин:

\[ \operatorname{Var}(X + Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2 \operatorname{Cov}(X, Y). \]

Для суммы \(n\) величин:

\[ \operatorname{Var}\left(\sum_{i=1}^{n} X_i\right) = \sum_{i=1}^{n} \operatorname{Var}(X_i) + 2 \sum_{i < j} \operatorname{Cov}(X_i, X_j). \]

Эта формула широко применяется в финансовой математике для оценки риска портфеля активов, в теории измерений и при анализе временных рядов.

Ковариационная матрица

Для набора из \(m\) случайных величин \(X_1, X_2, \ldots, X_m\) определяется ковариационная матрица (матрица ковариаций) — квадратная симметричная матрица \(\Sigma\) размера \(m \times m\), элементы которой:

\[ \Sigma_{ij} = \operatorname{Cov}(X_i, X_j). \]

На главной диагонали этой матрицы находятся дисперсии: \(\Sigma_{ii} = \operatorname{Var}(X_i)\). Ковариационная матрица является положительно полуопределённой, что отражает неотрицательность дисперсии любой линейной комбинации исходных величин. Она является центральным объектом в многомерном статистическом анализе, методе главных компонент, факторном анализе и теории гауссовских случайных векторов.

Примеры вычисления

Пример 1: Дискретный случай

Пусть две случайные величины \(X\) и \(Y\) принимают значения с равной вероятностью: \((X, Y) = (1, 2), (2, 3), (3, 1)\). Выборочное среднее: \(\bar{x} = 2\), \(\bar{y} = 2\). Выборочная ковариация:

\[ \operatorname{Cov}_{\text{выб}} = \frac{1}{3-1} \left[(1-2)(2-2) + (2-2)(3-2) + (3-2)(1-2)\right] = \frac{1}{2} \left[0 + 0 + (-1)\right] = -0.5. \]

Отрицательное значение указывает на слабую обратную линейную связь.

Пример 2: Непрерывный случай

Рассмотрим двумерное нормальное распределение с параметрами \(\mu_X = 0\), \(\mu_Y = 0\), \(\sigma_X = 1\), \(\sigma_Y = 2\) и коэффициентом корреляции \(\rho = 0.5\). Тогда ковариация равна:

\[ \operatorname{Cov}(X, Y) = \rho \sigma_X \sigma_Y = 0.5 \cdot 1 \cdot 2 = 1. \]

Применение

Ковариация и ковариационная матрица используются в различных областях:

• Финансы: для оценки ковариации доходностей активов при построении оптимального портфеля по Марковицу. Ковариационная матрица позволяет минимизировать риск портфеля при заданной ожидаемой доходности.
• Эконометрика: в регрессионном анализе ковариация между регрессорами и ошибкой связана с условиями состоятельности оценок. Ковариационная матрица оценок параметров используется для построения доверительных интервалов.
• Обработка сигналов: ковариационная матрица случайного вектора применяется в алгоритмах адаптивной фильтрации и обнаружения сигналов.
• Машинное обучение: метод главных компонент (PCA) основан на спектральном разложении ковариационной матрицы данных для снижения размерности.
• Геостатистика: ковариационная функция (вариограмма) описывает пространственную зависимость между измерениями в разных точках.

Ограничения и критика

Основной недостаток ковариации как меры связи — её зависимость от масштаба. Например, если изменить единицы измерения одной из величин (перевести из метров в сантиметры), ковариация изменится, хотя фактическая зависимость останется прежней. Поэтому для сравнения разных пар величин предпочтительнее использовать коэффициент корреляции.

Кроме того, ковариация улавливает только линейную зависимость. Для нелинейных, но детерминированных связей (например, \(Y = X^2\) при симметричном распределении \(X\)) ковариация может быть равна нулю, что может ввести в заблуждение. В таких случаях требуются другие меры, такие как взаимная информация или корреляция рангов.

История

Понятие ковариации было введено в статистику в конце XIX — начале XX века. Английский статистик Карл Пирсон в 1895 году предложил коэффициент корреляции, который нормирует ковариацию на произведение стандартных отклонений. Сама идея измерения совместной изменчивости восходит к работам Фрэнсиса Гальтона по регрессии и корреляции. Матричная форма ковариации получила развитие в трудах Гарольда Хотеллинга и других учёных в 1930-х годах в контексте многомерного анализа.

Источники

• Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969.
• Крамер Г. Математические методы статистики. — М.: Мир, 1975.
• Андерсон Т. Введение в многомерный статистический анализ. — М.: Физматгиз, 1963.
• Ширяев А. Н. Вероятность. — М.: МЦНМО, 2011.