Несмещённая оценка

Несмещённая оценка — это точечная статистическая оценка неизвестного параметра распределения, математическое ожидание которой точно равно оцениваемому параметру для любого объёма выборки. Несмещённость является одним из ключевых свойств качества оценок наряду с состоятельностью и эффективностью. Оценка, не обладающая этим свойством, называется смещённой.

Определение

Пусть \(X_1, X_2, \dots, X_n\) — случайная выборка из распределения, зависящего от неизвестного параметра \(\theta\). Оценка \(\hat{\theta} = \hat{\theta}(X_1, \dots, X_n)\) называется несмещённой оценкой параметра \(\theta\), если для всех допустимых значений \(\theta\) выполняется равенство:

\[ \mathbb{E}[\hat{\theta}] = \theta, \]

где \(\mathbb{E}\) — математическое ожидание.

Если же \(\mathbb{E}[\hat{\theta}] \neq \theta\), то разность \(\mathbb{E}[\hat{\theta}] - \theta\) называется смещением (систематической ошибкой) оценки.

Свойства и значение

Несмещённость гарантирует отсутствие систематической ошибки при многократном повторении эксперимента: в среднем оценка «попадает» в истинное значение параметра. Однако это свойство не гарантирует малой дисперсии оценки — несмещённая оценка может иметь большую случайную ошибку. Поэтому на практике часто используют компромисс между несмещённостью и минимальной дисперсией, стремясь к наилучшей несмещённой оценке (оценке с минимальной дисперсией среди всех несмещённых).

Состоятельность и несмещённость

Несмещённость и состоятельность — разные понятия. Состоятельная оценка сходится по вероятности к истинному значению параметра при увеличении объёма выборки, но может быть смещённой на конечных выборках. Например, выборочная дисперсия с делением на \(n\) является смещённой, но состоятельной оценкой дисперсии генеральной совокупности.

Примеры несмещённых оценок

Оценка математического ожидания

Выборочное среднее \(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\) является несмещённой оценкой математического ожидания \(\mu\) для любого распределения с конечным математическим ожиданием, так как \(\mathbb{E}[\bar{X}] = \mu\).

Оценка дисперсии

Выборочная дисперсия с поправкой Бесселя:

\[ S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2 \]

является несмещённой оценкой дисперсии генеральной совокупности \(\sigma^2\) для выборок из распределений с конечной дисперсией. Деление на \(n-1\) вместо \(n\) компенсирует смещение, возникающее из-за того, что выборочное среднее само оценивается по тем же данным.

Оценка доли (биномиальное распределение)

Для биномиального распределения с параметрами \(n\) (число испытаний) и \(p\) (вероятность успеха) доля успехов \(\hat{p} = \frac{k}{n}\), где \(k\) — число успехов в \(n\) испытаниях, является несмещённой оценкой \(p\), так как \(\mathbb{E}[\hat{p}] = p\).

Оценка параметра экспоненциального распределения

Для экспоненциального распределения с плотностью \(f(x) = \lambda e^{-\lambda x}\) (\(x \geq 0\)) оценка \(\hat{\lambda} = \frac{1}{\bar{X}}\) является смещённой. Несмещённой оценкой параметра \(\lambda\) служит \(\frac{n-1}{n\bar{X}}\) (при \(n > 1\)).

Смещённые оценки и их коррекция

Многие интуитивно понятные оценки оказываются смещёнными. Например:

• Выборочная дисперсия с делением на \(n\): \(S_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2\) — смещена вниз: \(\mathbb{E}[S_n^2] = \frac{n-1}{n}\sigma^2 < \sigma^2\).
• Оценка стандартного отклонения: \(\sqrt{S^2}\) — смещённая оценка стандартного отклонения \(\sigma\) (даже если \(S^2\) несмещена для \(\sigma^2\), квадратный корень вносит смещение).
• Оценка параметра в равномерном распределении: для равномерного распределения \(U[0, \theta]\) оценка максимального правдоподобия \(\hat{\theta} = \max(X_1, \dots, X_n)\) смещена: \(\mathbb{E}[\hat{\theta}] = \frac{n}{n+1}\theta\). Несмещённая оценка: \(\frac{n+1}{n}\max(X_i)\).

Коррекция смещения часто достигается умножением смещённой оценки на поправочный коэффициент (как в случае с дисперсией) или использованием более сложных процедур (например, метода «складного ножа» — jackknife).

Несмещённость и функция потерь

В теории статистических решений несмещённость не всегда является оптимальным свойством. При квадратичной функции потерь риск оценки равен сумме дисперсии и квадрата смещения. Смещённая оценка с малой дисперсией может иметь меньший среднеквадратичный риск, чем несмещённая с большой дисперсией. Например, в задаче оценки дисперсии нормального распределения оценка с делением на \(n+1\) имеет меньший среднеквадратичный риск, чем несмещённая оценка \(S^2\), хотя и смещена.

Критика и ограничения

• Несмещённость не является инвариантным свойством: если \(\hat{\theta}\) — несмещённая оценка \(\theta\), то \(g(\hat{\theta})\) не обязательно несмещена для \(g(\theta)\) (кроме линейных преобразований).
• Для некоторых параметров несмещённых оценок не существует (например, для параметра \(\theta\) в распределении Коши с неизвестным центром).
• В малых выборках несмещённость может приводить к оценкам, лежащим вне области допустимых значений параметра (например, отрицательная оценка дисперсии в некоторых моделях).

Источники

• Боровков А. А. Математическая статистика. — М.: Наука, 1984.
• Кендалл М., Стьюарт А. Теория распределений. — М.: Наука, 1966.
• Леман Э. Теория точечного оценивания. — М.: Мир, 1991.
• Крамер Г. Математические методы статистики. — М.: Мир, 1975.