M-оценки Хубера

M-оценки Хубера — это класс робастных (устойчивых к выбросам) статистических оценок, предложенных швейцарским математиком Петером Хубером в 1964 году. Они представляют собой обобщение метода максимального правдоподобия и используются для оценивания параметров распределения в условиях, когда данные содержат аномальные наблюдения (выбросы), способные исказить классические оценки, такие как среднее арифметическое. Основная идея M-оценок заключается в минимизации суммы некоторой функции от остатков, что позволяет снизить влияние выбросов на результат.

История и предпосылки возникновения

До появления работ Хубера в статистике доминировали методы, основанные на предположении о нормальном распределении данных. Однако на практике выборки часто содержат выбросы, вызванные ошибками измерений, неоднородностью данных или редкими событиями. Классические оценки, такие как среднее арифметическое, крайне чувствительны к таким аномалиям: даже одно экстремальное значение может существенно сместить оценку.

В 1960-х годах Петер Хубер, работавший в Цюрихском университете и Массачусетском технологическом институте, разработал теорию робастной статистики. В 1964 году он опубликовал статью «Robust Estimation of a Location Parameter», где ввёл понятие M-оценок. Термин «M-оценка» происходит от «maximum likelihood-type estimate» (оценка типа максимального правдоподобия), поскольку эти оценки обобщают метод максимального правдоподобия, заменяя логарифмическую функцию правдоподобия на более общую функцию потерь.

Определение и математическая формулировка

Пусть имеется выборка \( x_1, x_2, \dots, x_n \) из независимых одинаково распределённых случайных величин с функцией распределения \( F(x; \theta) \), где \( \theta \) — неизвестный параметр (например, параметр сдвига). M-оценка \( \hat{\theta} \) определяется как решение уравнения:

\[ \sum_{i=1}^{n} \psi(x_i; \hat{\theta}) = 0, \]

где \( \psi(x; \theta) \) — некоторая функция, называемая функцией влияния (или score function). В случае оценки параметра сдвига \( \theta \) (например, медианы или среднего) функция \( \psi \) обычно зависит от остатков \( r_i = x_i - \theta \):

\[ \sum_{i=1}^{n} \psi(x_i - \hat{\theta}) = 0. \]

Эквивалентно, M-оценка может быть получена минимизацией суммы:

\[ \hat{\theta} = \arg\min_{\theta} \sum_{i=1}^{n} \rho(x_i - \theta), \]

где \( \rho(r) \) — функция потерь, такая что \( \psi(r) = \rho'(r) \). Выбор функций \( \rho \) и \( \psi \) определяет свойства оценки: устойчивость к выбросам, асимптотическую эффективность и вычислительную сложность.

Функция Хубера

Наиболее известной и широко применяемой является M-оценка Хубера, использующая функцию потерь \( \rho_H(r) \) и соответствующую функцию влияния \( \psi_H(r) \):

\[ \rho_H(r) = \begin{cases} \frac{1}{2} r^2, & \text{если } |r| \leq k, \\ k |r| - \frac{1}{2} k^2, & \text{если } |r| > k, \end{cases} \]

\[ \psi_H(r) = \begin{cases} r, & \text{если } |r| \leq k, \\ k \cdot \text{sign}(r), & \text{если } |r| > k, \end{cases} \]

где \( k \) — положительный параметр настройки (обычно выбирается в диапазоне от 1 до 2, часто \( k = 1.345 \) для 95% эффективности при нормальном распределении). Функция \( \psi_H \) ведёт себя как линейная для малых остатков (как в методе наименьших квадратов) и как константа для больших остатков, что ограничивает влияние выбросов.

Свойства M-оценок Хубера

Робастность

M-оценки Хубера обладают свойством робастности, то есть устойчивости к выбросам. Количественно робастность характеризуется точкой развала (breakdown point) — максимальной долей выбросов в выборке, при которой оценка остаётся ограниченной. Для M-оценок Хубера точка развала составляет около 50% при правильном выборе параметра \( k \), что делает их одними из самых устойчивых оценок сдвига.

Эффективность

При нормальном распределении данных M-оценки Хубера с \( k = 1.345 \) имеют асимптотическую эффективность около 95% по сравнению с выборочным средним (оптимальной оценкой для нормального закона). Это означает, что потеря точности в «хороших» данных незначительна, в то время как выигрыш в устойчивости при наличии выбросов может быть огромным.

Асимптотическая нормальность

При выполнении определённых регулярных условий M-оценки Хубера асимптотически нормальны, что позволяет строить доверительные интервалы и проверять гипотезы. Асимптотическая дисперсия оценки зависит от функции \( \psi \) и неизвестного распределения данных.

Выбор параметра настройки \( k \)

Параметр \( k \) определяет компромисс между робастностью и эффективностью. Меньшие значения \( k \) (например, 1) делают оценку более устойчивой к выбросам, но снижают эффективность при нормальном распределении. Большие значения \( k \) (например, 2) приближают оценку к среднему арифметическому, повышая эффективность, но снижая робастность. На практике часто используют \( k = 1.345 \), что даёт 95% эффективности при нормальном распределении, или \( k = 1.5 \), что является стандартным выбором в некоторых пакетах статистического программного обеспечения.

Алгоритмы вычисления

M-оценки Хубера не имеют аналитического решения и вычисляются итерационно. Наиболее распространённый метод — итеративно перевзвешенные наименьшие квадраты (IRLS, Iteratively Reweighted Least Squares). На каждом шаге алгоритма вычисляются веса \( w_i = \psi(r_i) / r_i \), и задача сводится к взвешенному методу наименьших квадратов. Итерации продолжаются до сходимости (обычно за 5–10 итераций).

Применение

M-оценки Хубера широко применяются в различных областях, где данные могут содержать выбросы:

• Обработка сигналов и изображений: фильтрация шумов, удаление импульсных помех.
• Финансовая статистика: оценка волатильности, доходности активов при наличии аномальных торгов.
• Геофизика и метеорология: анализ данных с датчиков, подверженных сбоям.
• Биостатистика и медицина: обработка клинических данных, где могут встречаться ошибки измерений.
• Промышленность: контроль качества продукции, где выбросы могут указывать на дефекты.

Сравнение с другими робастными оценками

M-оценки Хубера занимают промежуточное положение между классическими оценками (среднее арифметическое) и более устойчивыми, но менее эффективными оценками, такими как медиана. По сравнению с медианой, M-оценки Хубера имеют более высокую эффективность при нормальном распределении, но несколько меньшую точку развала (50% против 50% у медианы). По сравнению с оценками Тьюки (бивес) или Эндрюса, функция Хубера проще в вычислительном отношении и имеет более гладкую функцию влияния, что облегчает теоретический анализ.

Ограничения и критика

Несмотря на достоинства, M-оценки Хубера имеют ограничения. Они предполагают, что распределение данных симметрично, и плохо работают при асимметричных распределениях. Кроме того, выбор параметра \( k \) субъективен и может влиять на результаты. В некоторых случаях, когда выбросы очень большие, функция Хубера может не полностью подавлять их влияние, и требуются более агрессивные робастные методы, такие как оценки с красной чертой (redescending M-estimators).

Программная реализация

M-оценки Хубера реализованы во многих статистических пакетах и языках программирования:

• R: функция rlm из пакета MASS (Robust Linear Regression) с параметром psi = psi.huber.
• Python: функция huber из модуля scipy.stats; в statsmodels — класс RLM с методом HuberT.
• MATLAB: функция robustfit с опцией 'huber'.
• Julia: пакет RobustStats.jl.

Источники

1. Huber, P. J. (1964). Robust Estimation of a Location Parameter. The Annals of Mathematical Statistics, 35(1), 73–101.
2. Huber, P. J., & Ronchetti, E. M. (2009). Robust Statistics (2nd ed.). Wiley.
3. Hampel, F. R., Ronchetti, E. M., Rousseeuw, P. J., & Stahel, W. A. (1986). Robust Statistics: The Approach Based on Influence Functions. Wiley.
4. Maronna, R. A., Martin, R. D., & Yohai, V. J. (2006). Robust Statistics: Theory and Methods. Wiley.