Дисперсия оценки

Дисперсия оценки — это статистический показатель, характеризующий разброс значений точечной оценки параметра генеральной совокупности относительно её математического ожидания, вычисленный по разным выборкам одного и того же объёма. В математической статистике дисперсия оценки является одной из ключевых характеристик качества оценки наряду со смещением и среднеквадратической ошибкой. Чем меньше дисперсия оценки, тем более стабильной и точной считается оценка при фиксированном объёме выборки.

Определение и формальная запись

Пусть \( \hat{\theta} \) — точечная оценка неизвестного параметра \( \theta \), полученная по случайной выборке объёма \( n \). Дисперсия оценки \( \hat{\theta} \) определяется как математическое ожидание квадрата отклонения оценки от её математического ожидания:

\[ D(\hat{\theta}) = \mathbb{E}\left[(\hat{\theta} - \mathbb{E}[\hat{\theta}])^2\right] \]

где \( \mathbb{E}[\hat{\theta}] \) — математическое ожидание оценки. Если оценка является несмещённой, то \( \mathbb{E}[\hat{\theta}] = \theta \), и дисперсия совпадает со среднеквадратической ошибкой (MSE). В общем случае MSE = \( D(\hat{\theta}) + (\text{смещение})^2 \).

Свойства дисперсии оценки

Зависимость от объёма выборки

Дисперсия оценки, как правило, обратно пропорциональна объёму выборки \( n \). Для большинства стандартных оценок (например, выборочного среднего) дисперсия убывает как \( 1/n \). Это свойство лежит в основе закона больших чисел: с увеличением объёма выборки оценка становится более стабильной.

Состоятельность

Оценка называется состоятельной, если её дисперсия стремится к нулю при неограниченном увеличении объёма выборки, а смещение — к нулю. Формально: \( \lim_{n \to \infty} D(\hat{\theta}_n) = 0 \) и \( \lim_{n \to \infty} \mathbb{E}[\hat{\theta}_n] = \theta \). Состоятельность — минимальное требование к хорошей оценке.

Эффективность

Среди всех несмещённых оценок данного параметра наиболее эффективной считается та, которая имеет наименьшую дисперсию. Такая оценка называется несмещённой оценкой с минимальной дисперсией (UMVUE). Для её нахождения часто используется неравенство Рао — Крамера, которое задаёт нижнюю границу дисперсии для несмещённых оценок.

Примеры дисперсии для различных оценок

Выборочное среднее

Пусть \( X_1, X_2, \dots, X_n \) — независимые одинаково распределённые случайные величины с математическим ожиданием \( \mu \) и дисперсией \( \sigma^2 \). Оценка \( \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i \) является несмещённой оценкой \( \mu \). Её дисперсия:

\[ D(\bar{X}) = \frac{\sigma^2}{n} \]

Таким образом, дисперсия выборочного среднего прямо пропорциональна дисперсии генеральной совокупности и обратно пропорциональна объёму выборки.

Выборочная дисперсия

Для оценки дисперсии генеральной совокупности \( \sigma^2 \) используются две основные формулы:

• Смещённая оценка: \( S_n^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2 \). Её дисперсия сложна, но известно, что \( \mathbb{E}[S_n^2] = \frac{n-1}{n}\sigma^2 \), а дисперсия самой оценки зависит от четвёртого момента распределения.
• Несмещённая оценка: \( s^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2 \). Для нормального распределения дисперсия этой оценки равна \( \frac{2\sigma^4}{n-1} \).

Оценка доли (биномиальное распределение)

Для оценки вероятности успеха \( p \) в схеме Бернулли используется выборочная доля \( \hat{p} = \frac{m}{n} \), где \( m \) — число успехов в \( n \) испытаниях. Её дисперсия:

\[ D(\hat{p}) = \frac{p(1-p)}{n} \]

Эта дисперсия максимальна при \( p = 0.5 \) и стремится к нулю при \( p \to 0 \) или \( p \to 1 \).

Методы уменьшения дисперсии

Увеличение объёма выборки

Самый очевидный способ — сбор большего количества данных. Однако это может быть дорого или невозможно.

Использование достаточных статистик

Оценки, основанные на достаточных статистиках, как правило, имеют меньшую дисперсию, чем оценки, не использующие всю информацию из выборки. Теорема Рао — Блэквелла показывает, что любая несмещённая оценка может быть улучшена (в смысле уменьшения дисперсии) путём усреднения по достаточной статистике.

Методы редукции дисперсии в моделировании

В методе Монте-Карло применяются специальные приёмы для снижения дисперсии оценок при ограниченном числе симуляций:

• Метод антитетических переменных: использование пар отрицательно коррелированных случайных величин.
• Метод контрольных переменных: введение вспомогательной переменной с известным математическим ожиданием.
• Метод стратифицированной выборки: разбиение области на подмножества и независимая выборка из каждого.
• Метод важности: изменение распределения выборки для увеличения частоты «важных» событий.

Связь с другими статистическими понятиями

Среднеквадратическая ошибка (MSE)

MSE объединяет дисперсию и смещение: \( \text{MSE}(\hat{\theta}) = D(\hat{\theta}) + (\text{Bias}(\hat{\theta}))^2 \). Для несмещённых оценок MSE = дисперсия. Выбор между смещённой и несмещённой оценкой часто делается на основе компромисса между смещением и дисперсией (bias-variance tradeoff).

Доверительные интервалы

Дисперсия оценки используется для построения доверительных интервалов. Например, для нормального распределения доверительный интервал для среднего имеет вид \( \bar{X} \pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}} \), где \( \sigma/\sqrt{n} \) — корень из дисперсии выборочного среднего.

Асимптотическая нормальность

Многие оценки (например, оценки максимального правдоподобия) при больших выборках асимптотически нормальны с дисперсией, равной обратной информационной матрице Фишера. Это позволяет строить асимптотические доверительные интервалы.

Критика и ограничения

Дисперсия оценки чувствительна к выбросам в данных, особенно для оценок, основанных на моментах распределения (например, выборочной дисперсии). В таких случаях предпочтительнее использовать робастные оценки, такие как медиана или межквартильный размах, которые имеют меньшую дисперсию при наличии выбросов. Кроме того, дисперсия не всегда является адекватной мерой разброса для асимметричных распределений или для оценок, не имеющих конечных моментов (например, для отношения двух нормальных случайных величин).

Источники

1. Крамер Г. Математические методы статистики. — М.: Мир, 1975.
2. Боровков А. А. Математическая статистика. — М.: Наука, 1984.
3. Кендалл М., Стьюарт А. Теория распределений. — М.: Наука, 1966.
4. Ивченко Г. И., Медведев Ю. И. Математическая статистика. — М.: Высшая школа, 1984.
5. Casella G., Berger R. L. Statistical Inference. — 2nd ed. — Duxbury Press, 2002.