Несмещённость

Несмещённость — это свойство статистической оценки, при котором её математическое ожидание равно истинному значению оцениваемого параметра генеральной совокупности. В математической статистике несмещённость является одним из ключевых требований к «хорошей» точечной оценке наряду с состоятельностью и эффективностью. Оценка, не обладающая этим свойством, называется смещённой, и её использование может приводить к систематическим ошибкам в выводах.

Определение и формальное свойство

Пусть \( \theta \) — неизвестный параметр распределения, который требуется оценить по выборке \( X_1, X_2, \dots, X_n \). Оценка \( \hat{\theta} = \hat{\theta}(X_1, \dots, X_n) \) называется несмещённой, если для любого допустимого значения \( \theta \) выполняется равенство:

\[ \mathbb{E}[\hat{\theta}] = \theta, \]

где \( \mathbb{E}[\cdot] \) — математическое ожидание, вычисленное по распределению выборки при фиксированном \( \theta \). Если это равенство нарушается, то разность \( \mathbb{E}[\hat{\theta}] — \theta \) называется смещением (bias) оценки.

Несмещённость гарантирует, что при многократном повторении эксперимента среднее арифметическое полученных оценок будет стремиться к истинному значению параметра. Однако это свойство не гарантирует точности в каждом конкретном случае — отдельная оценка может сильно отклоняться от истины из-за случайности.

Примеры несмещённых и смещённых оценок

Выборочное среднее

Классический пример несмещённой оценки — выборочное среднее \( \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \) для математического ожидания \( \mu \). Поскольку \( \mathbb{E}[\bar{X}] = \mu \), эта оценка несмещённа для любого распределения с конечным математическим ожиданием.

Выборочная дисперсия

Оценка дисперсии \( \sigma^2 \) по формуле \( \frac{1}{n}\sum_{i=1}^n (X_i — \bar{X})^2 \) является смещённой: её математическое ожидание равно \( \frac{n-1}{n}\sigma^2 \), то есть она систематически занижает истинную дисперсию. Для устранения смещения применяют исправленную выборочную дисперсию:

\[ S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i — \bar{X})^2, \]

которая является несмещённой оценкой для \( \sigma^2 \). Поправка на \( n-1 \) (вместо \( n \)) называется поправкой Бесселя.

Оценка стандартного отклонения

Корень квадратный из несмещённой оценки дисперсии \( S \) не является несмещённой оценкой стандартного отклонения \( \sigma \). Из-за нелинейности преобразования математическое ожидание \( \mathbb{E}[S] \) не равно \( \sigma \), хотя смещение обычно мало для больших выборок. Для точного несмещённого оценивания стандартного отклонения используются специальные поправочные коэффициенты, зависящие от объёма выборки.

Свойства и значение

Состоятельность

Несмещённость не гарантирует, что оценка приближается к истинному значению при увеличении объёма выборки. Например, оценка \( \hat{\theta} = X_1 \) (первый элемент выборки) является несмещённой для \( \mu \), но не состоятельна — её точность не улучшается с ростом \( n \). Поэтому на практике несмещённость обычно сочетают с состоятельностью.

Эффективность

Среди всех несмещённых оценок предпочтение отдаётся той, которая имеет наименьшую дисперсию. Такая оценка называется эффективной или несмещённой оценкой с минимальной дисперсией (UMVUE — uniformly minimum-variance unbiased estimator). Для многих классических распределений (нормальное, пуассоновское, биномиальное) существуют эффективные несмещённые оценки.

Асимптотическая несмещённость

Некоторые оценки являются смещёнными при конечных выборках, но их смещение стремится к нулю при \( n \to \infty \). Такие оценки называются асимптотически несмещёнными. Например, оценка максимального правдоподобия для дисперсии нормального распределения \( \frac{1}{n}\sum (X_i — \bar{X})^2 \) асимптотически несмещённа, хотя при малых \( n \) даёт смещение.

Критика и ограничения

Требование несмещённости не всегда является оптимальным. В некоторых задачах допустимо небольшое смещение, если оно позволяет значительно уменьшить дисперсию оценки. Например, в регрессионном анализе гребневая регрессия (ридж-регрессия) вводит смещение для снижения среднеквадратичной ошибки предсказания. Кроме того, для некоторых параметров (например, отношения двух нормальных средних) несмещённых оценок может не существовать вовсе.

В байесовской статистике несмещённость не играет центральной роли — там предпочтение отдаётся оценкам, минимизирующим апостериорный риск, которые часто оказываются смещёнными.

Применение

Несмещённость широко используется в прикладной статистике, эконометрике, биометрии и других областях, где требуется получение объективных оценок параметров. В частности, в регрессионном анализе метод наименьших квадратов даёт несмещённые оценки коэффициентов при выполнении классических предположений Гаусса — Маркова. В теории выборочных обследований несмещённые оценки используются для расчёта средних и долей по данным опросов.

Интересные факты

• Понятие несмещённости ввёл Рональд Фишер в 1920-х годах в рамках развития теории статистического оценивания.
• Для нормального распределения выборочное среднее и исправленная выборочная дисперсия являются независимыми случайными величинами, что доказано теоремой Кокрена.
• В некоторых задачах (например, оценка параметра сдвига распределения Коши) несмещённых оценок с конечной дисперсией не существует.

Источники

• Крамер Г. Математические методы статистики. — М.: Мир, 1975.
• Боровков А. А. Математическая статистика: Оценка параметров. Проверка гипотез. — М.: Физматлит, 2007.
• Lehmann E. L., Casella G. Theory of Point Estimation. — 2nd ed. — Springer, 1998.
• Фишер Р. А. Статистические методы для исследователей. — М.: Госстатиздат, 1958.