Расстояние Махаланобиса

Расстояние Махаланобиса — это статистическая мера расстояния между точкой и распределением вероятностей, или между двумя выборками из одного распределения, предложенная индийским статистиком Прашантой Чандра Махаланобисом в 1936 году. В отличие от евклидова расстояния, расстояние Махаланобиса учитывает корреляционную структуру данных, что делает его инвариантным к масштабу и форме распределения. Оно широко применяется в задачах многомерного анализа, классификации, обнаружения выбросов и кластеризации.

Определение и формула

Расстояние Махаланобиса \( D_M \) между точкой \( \mathbf{x} = (x_1, x_2, \dots, x_p) \) и распределением с вектором средних \( \boldsymbol{\mu} = (\mu_1, \mu_2, \dots, \mu_p) \) и ковариационной матрицей \( \mathbf{\Sigma} \) (размером \( p \times p \)) определяется как:

\[ D_M(\mathbf{x}) = \sqrt{(\mathbf{x} - \boldsymbol{\mu})^T \mathbf{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})} \]

где \( \mathbf{\Sigma}^{-1} \) — обратная ковариационная матрица. Если ковариационная матрица является единичной (то есть все переменные некоррелированы и имеют единичную дисперсию), расстояние Махаланобиса сводится к евклидову расстоянию. В общем случае оно измеряет расстояние в единицах стандартных отклонений вдоль главных осей данных.

Для двух точек \( \mathbf{x} \) и \( \mathbf{y} \) из одного распределения расстояние Махаланобиса вычисляется как:

\[ D_M(\mathbf{x}, \mathbf{y}) = \sqrt{(\mathbf{x} - \mathbf{y})^T \mathbf{\Sigma}^{-1} (\mathbf{x} - \mathbf{y})} \]

где \( \mathbf{\Sigma} \) — ковариационная матрица распределения.

Свойства

Инвариантность к масштабу и корреляции

Расстояние Махаланобиса не зависит от единиц измерения переменных и корреляций между ними. Это достигается за счёт нормировки на ковариационную матрицу: преобразование данных через матрицу \( \mathbf{\Sigma}^{-1/2} \) приводит их к пространству, где все переменные становятся некоррелированными и имеют единичную дисперсию.

Связь с многомерным нормальным распределением

Если данные следуют многомерному нормальному распределению, квадрат расстояния Махаланобиса \( D_M^2 \) имеет распределение хи-квадрат с \( p \) степенями свободы. Это свойство используется для проверки гипотез о принадлежности точки к распределению и для обнаружения выбросов: точки с \( D_M^2 \) больше критического значения хи-квадрат (например, при уровне значимости 0,05) считаются аномальными.

Положительная определённость

Расстояние Махаланобиса является метрикой, то есть удовлетворяет аксиомам неотрицательности, симметричности и неравенства треугольника, при условии, что ковариационная матрица положительно определена (невырождена). В случае вырожденной матрицы (например, при мультиколлинеарности) расстояние может быть неопределённым или требовать регуляризации.

История

Расстояние Махаланобиса было введено Прашантой Чандра Махаланобисом в 1936 году в статье «On the generalized distance in statistics», опубликованной в журнале «Proceedings of the National Institute of Sciences of India». Махаланобис, основатель Индийского статистического института, разработал эту меру для решения задач антропометрии, в частности для классификации черепов по этническим группам на основе множества измерений. До этого использовалось евклидово расстояние, которое не учитывало корреляции между признаками, что приводило к искажённым результатам.

Метод получил широкое распространение в 1950-х годах с развитием многомерного статистического анализа и вычислительной техники. В СССР и России расстояние Махаланобиса активно применялось в геологии, биологии и технике, однако в открытых публикациях оно часто упоминалось как «обобщённое расстояние» или «расстояние Махаланобиса».

Применение

Обнаружение выбросов и аномалий

В задачах анализа данных расстояние Махаланобиса используется для идентификации точек, значительно отклоняющихся от основного распределения. Например, в промышленном контроле качества оно позволяет выявить дефектные изделия по многомерным измерениям (температура, давление, размеры). В финансовом анализе — для обнаружения мошеннических транзакций.

Классификация и дискриминантный анализ

В линейном дискриминантном анализе (LDA) расстояние Махаланобиса лежит в основе правила классификации: объект относится к классу, центр которого (вектор средних) находится на минимальном расстоянии Махаланобиса от объекта. Этот подход используется в медицине для диагностики заболеваний по многомерным биомаркерам, в криминалистике — для идентификации образцов.

Кластеризация

В алгоритмах кластеризации, таких как K-средних или иерархическая кластеризация, расстояние Махаланобиса может заменять евклидово расстояние для учёта формы кластеров. Это особенно полезно, когда кластеры имеют эллипсоидальную форму (например, в данных с коррелированными признаками).

Обработка изображений и компьютерное зрение

В задачах распознавания образов расстояние Махаланобиса используется для сравнения цветовых гистограмм, текстурных признаков и других многомерных дескрипторов. Оно устойчиво к изменениям освещения и шумам благодаря учёту ковариации.

Геология и экология

В геологии расстояние Махаланобиса применяется для классификации горных пород по химическому составу, в экологии — для оценки сходства видовых сообществ по многомерным экологическим факторам.

Пример

Рассмотрим двумерный набор данных с переменными \( X_1 \) и \( X_2 \), имеющими средние \( \mu_1 = 0 \), \( \mu_2 = 0 \) и ковариационную матрицу: \[ \mathbf{\Sigma} = \begin{pmatrix} 1 & 0.8 \\ 0.8 & 1 \end{pmatrix} \] Точка \( \mathbf{x} = (2, 2) \) имеет евклидово расстояние \( \sqrt{2^2 + 2^2} = 2.83 \). Однако из-за сильной положительной корреляции (0.8) данные вытянуты вдоль линии \( X_1 = X_2 \). Расстояние Махаланобиса: \[ \mathbf{\Sigma}^{-1} = \frac{1}{1 - 0.8^2} \begin{pmatrix} 1 & -0.8 \\ -0.8 & 1 \end{pmatrix} = \frac{1}{0.36} \begin{pmatrix} 1 & -0.8 \\ -0.8 & 1 \end{pmatrix} \] \[ D_M = \sqrt{(2, 2) \cdot \frac{1}{0.36} \begin{pmatrix} 1 & -0.8 \\ -0.8 & 1 \end{pmatrix} \cdot \begin{pmatrix} 2 \\ 2 \end{pmatrix}} = \sqrt{\frac{1}{0.36} (2 \cdot 2 + 2 \cdot 2 - 0.8 \cdot 2 \cdot 2 - 0.8 \cdot 2 \cdot 2)} = \sqrt{\frac{1}{0.36} \cdot 0.8} \approx 1.49 \] Таким образом, точка (2, 2) находится на расстоянии 1.49 стандартных отклонений от центра, что меньше евклидова расстояния, так как она лежит вдоль главной оси распределения.

Критика и ограничения

Основным недостатком расстояния Махаланобиса является его чувствительность к выбросам при оценке ковариационной матрицы. Если в данных присутствуют аномальные точки, они могут сильно исказить матрицу, что приведёт к неправильным расстояниям. Для решения этой проблемы используются робастные оценки ковариации, такие как минимальная ковариационная детерминанта (MCD) или метод усечённых средних.

Другое ограничение — требование невырожденности ковариационной матрицы. При мультиколлинеарности (когда переменные сильно коррелированы) матрица становится плохо обусловленной, и её обращение приводит к численной нестабильности. В таких случаях применяют регуляризацию (например, гребневую оценку) или понижение размерности через метод главных компонент.

Кроме того, расстояние Махаланобиса предполагает, что данные имеют многомерное нормальное распределение, что не всегда выполняется на практике. При отклонениях от нормальности интерпретация расстояния в терминах хи-квадрат становится некорректной.

Связанные понятия

• Евклидово расстояние — частный случай расстояния Махаланобиса при единичной ковариационной матрице.
• Метрика Махаланобиса — обобщение на случай произвольной положительно определённой матрицы.
• Расстояние Кульбака-Лейблера — мера различия между распределениями, связанная с расстоянием Махаланобиса для нормальных распределений.
• Линейный дискриминантный анализ — метод классификации, основанный на расстоянии Махаланобиса.

Источники

• Mahalanobis, P. C. (1936). On the generalized distance in statistics. Proceedings of the National Institute of Sciences of India, 2(1), 49-55.
• De Maesschalck, R., Jouan-Rimbaud, D., & Massart, D. L. (2000). The Mahalanobis distance. Chemometrics and Intelligent Laboratory Systems, 50(1), 1-18.
• Айвазян, С. А., Бухштабер, В. М., Енюков, И. С., & Мешалкин, Л. Д. (1989). Прикладная статистика: Классификация и снижение размерности. Москва: Финансы и статистика.