Медианное абсолютное отклонение

Медианное абсолютное отклонение (MAD, от англ. median absolute deviation) — это статистическая мера разброса значений набора данных, определяемая как медиана абсолютных отклонений каждого элемента выборки от медианы этой же выборки. В отличие от дисперсии и стандартного отклонения, MAD является устойчивой (робастной) оценкой рассеяния, то есть малочувствительной к выбросам и аномальным значениям. Она широко применяется в анализе данных, статистическом контроле качества и обработке сигналов.

Определение и математическая формулировка

Для набора данных \( X = \{x_1, x_2, \dots, x_n\} \) медианное абсолютное отклонение вычисляется по формуле:

\[ \text{MAD} = \operatorname{med}\left( |x_i - \operatorname{med}(X)| \right) \]

где \(\operatorname{med}(X)\) — медиана исходного набора, а \(\operatorname{med}\) — медиана абсолютных разностей.

В отличие от среднего арифметического, медиана является робастной оценкой центра распределения, поэтому MAD не зависит от экстремальных значений, которые могут сильно исказить, например, среднеквадратическое отклонение (СКО). Для нормального распределения MAD связана со стандартным отклонением \(\sigma\) через константу: \(\sigma \approx 1,4826 \cdot \text{MAD}\). Эта константа получается из условия, что для нормального распределения медиана абсолютных отклонений равна \(\Phi^{-1}(0,75) \cdot \sigma \approx 0,6745 \sigma\), откуда обратный коэффициент — \(1 / 0,6745 \approx 1,4826\).

Свойства

• Робастность: MAD не подвержена влиянию выбросов, так как использует медиану, а не среднее. Это делает её предпочтительной в задачах, где данные содержат аномалии.
• Масштабная инвариантность: при умножении всех элементов набора на константу \(c\) MAD также умножается на \(|c|\).
• Неотрицательность: MAD всегда больше или равна нулю; нулевое значение означает, что все элементы выборки равны медиане.
• Сравнение с другими мерами: MAD всегда меньше или равна среднему абсолютному отклонению (MAD ≤ среднее абсолютное отклонение) для любого набора данных, что следует из свойства медианы минимизировать сумму абсолютных отклонений.

История

Понятие медианного абсолютного отклонения было введено в статистическую практику в середине XX века. Одним из первых, кто предложил использовать медиану абсолютных отклонений как устойчивую меру разброса, был американский математик и статистик Фрэнк Хэмпел (Frank Hampel) в 1970-х годах в рамках развития робастной статистики. Однако формальное определение и обоснование свойств MAD были даны ранее, в работах по теории устойчивых оценок, в частности, в трудах Питера Хьюбера (Peter Huber). В современной статистике MAD стала стандартным инструментом благодаря своей простоте и эффективности при работе с зашумлёнными данными.

Применение

Обнаружение выбросов

MAD широко используется для идентификации аномальных наблюдений. Критерий, основанный на MAD, формулируется так: точка \(x_i\) считается выбросом, если

\[ \frac{|x_i - \operatorname{med}(X)|}{\text{MAD}} > k, \]

где \(k\) — пороговое значение (обычно 2,5 или 3). Этот метод более устойчив, чем правило «трёх сигм», основанное на среднем и стандартном отклонении.

Робастная статистика

В регрессионном анализе и анализе временных рядов MAD применяется как альтернатива дисперсии для оценки разброса остатков. Например, в методе наименьших абсолютных отклонений (LAD) вместо суммы квадратов минимизируется сумма абсолютных отклонений, что эквивалентно использованию медианы.

Контроль качества

В промышленности MAD используется для построения контрольных карт, особенно когда данные содержат редкие, но сильные выбросы. Например, в металлургии или химической промышленности, где измерения могут быть искажены из-за нестабильности процесса.

Обработка сигналов и изображений

В цифровой обработке сигналов MAD применяется для оценки уровня шума. Например, в алгоритмах фильтрации изображений (медианный фильтр) MAD помогает адаптивно подбирать порог подавления шума.

Финансовая аналитика

В финансах MAD используется для оценки волатильности активов, особенно в условиях рыночных аномалий (например, «чёрных лебедей»). Она менее чувствительна к резким скачкам цен, чем стандартное отклонение.

Пример вычисления

Рассмотрим набор данных: \( X = \{1, 2, 3, 4, 100\} \).

1. Медиана набора: \(\operatorname{med}(X) = 3\).
2. Абсолютные отклонения: \(|1-3|=2\), \(|2-3|=1\), \(|3-3|=0\), \(|4-3|=1\), \(|100-3|=97\).
3. Упорядочим отклонения: \(0, 1, 1, 2, 97\). Медиана этих значений равна 1.

Таким образом, \(\text{MAD} = 1\). Для сравнения, стандартное отклонение этого набора составляет около 43,3, что сильно искажено выбросом 100. MAD же даёт адекватную оценку разброса основной массы данных.

Ограничения

• Эффективность для нормального распределения: при отсутствии выбросов MAD имеет меньшую статистическую эффективность (около 37% по сравнению с дисперсией), то есть для достижения той же точности требуется больше наблюдений.
• Неоднозначность для малых выборок: при очень маленьких объёмах данных (n < 5) MAD может быть неинформативной.
• Зависимость от симметрии: MAD наиболее адекватна для симметричных распределений; для асимметричных распределений её интерпретация может быть затруднена.

Связь с другими робастными мерами

MAD является частным случаем более общего класса M-оценок разброса. Другие робастные меры, такие как интерквартильный размах (IQR) или Qn-оценка, также устойчивы к выбросам, но MAD проще в вычислении и интерпретации. В отличие от IQR, MAD использует медиану, а не квартили, что делает её более робастной при наличии нескольких выбросов с одной стороны распределения.

Источники

• Huber, P. J. (1981). Robust Statistics. Wiley.
• Hampel, F. R., Ronchetti, E. M., Rousseeuw, P. J., & Stahel, W. A. (1986). Robust Statistics: The Approach Based on Influence Functions. Wiley.
• Rousseeuw, P. J., & Croux, C. (1993). Alternatives to the Median Absolute Deviation. Journal of the American Statistical Association, 88(424), 1273–1283.
• Wilcox, R. R. (2012). Introduction to Robust Estimation and Hypothesis Testing. Academic Press.