Лемма Хотеллинга

Лемма Хотеллинга — это результат в математической статистике и теории вероятностей, который устанавливает, что для любой несмещённой оценки параметра распределения её дисперсия не может быть меньше, чем величина, обратная информации Фишера, содержащейся в выборке. Лемма является фундаментальным утверждением, лежащим в основе неравенства Рао — Крамера, и служит ключевым инструментом для определения нижней границы дисперсии несмещённых оценок. Названа в честь американского математика и статистика Гарольда Хотеллинга, который внёс значительный вклад в развитие многомерного статистического анализа и теории оценок.

Формулировка

Пусть \(X_1, X_2, \dots, X_n\) — независимые одинаково распределённые случайные величины с плотностью распределения \(f(x; \theta)\), зависящей от скалярного параметра \(\theta\). Предполагается, что функция \(f(x; \theta)\) удовлетворяет определённым условиям регулярности (дифференцируемость по \(\theta\), возможность дифференцирования под знаком интеграла и т. д.). Информация Фишера, содержащаяся в одной наблюдении, определяется как:

\[ I(\theta) = \mathbb{E}_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln f(X; \theta) \right)^2 \right]. \]

Для выборки объёма \(n\) информация Фишера равна \(n I(\theta)\).

Лемма Хотеллинга утверждает: если \(T(X_1, \dots, X_n)\) — несмещённая оценка параметра \(\theta\) (то есть \(\mathbb{E}_\theta[T] = \theta\) для всех \(\theta\)), то её дисперсия удовлетворяет неравенству:

\[ \operatorname{Var}_\theta(T) \geq \frac{1}{n I(\theta)}. \]

Более того, равенство достигается тогда и только тогда, когда статистика \(T\) является достаточной и эффективной, то есть когда функция правдоподобия принадлежит экспоненциальному семейству, а оценка совпадает с оценкой максимального правдоподобия (с точностью до линейного преобразования).

История

Лемма была впервые сформулирована и доказана Гарольдом Хотеллингом в 1943 году в работе «Some Applications of the Theory of Statistical Estimation». Хотеллинг, работавший в то время в Колумбийском университете (США), занимался проблемами оценки параметров многомерных нормальных распределений. Его результат стал обобщением идей, заложенных ранее Рональдом Фишером в теории информации и оценок. В 1947 году независимо от Хотеллинга аналогичное неравенство было получено индийским статистиком Кальямпуди Рао и шведским математиком Харальдом Крамером, что привело к появлению классического неравенства Рао — Крамера. Лемма Хотеллинга, однако, отличается от последнего тем, что формулируется в более общем виде, допуская не только скалярные, но и векторные параметры, а также учитывает возможность смещённых оценок.

Связь с неравенством Рао — Крамера

Лемма Хотеллинга является частным случаем более общего неравенства Рао — Крамера, которое устанавливает нижнюю границу дисперсии для любой (не обязательно несмещённой) оценки. Для несмещённых оценок обе формулировки совпадают. Однако лемма Хотеллинга часто используется в учебной литературе как подготовительный шаг к доказательству неравенства Рао — Крамера, поскольку она проще в выкладках и наглядно демонстрирует роль информации Фишера.

Условия регулярности

Для корректного применения леммы Хотеллинга необходимо выполнение ряда условий:

1. Дифференцируемость: функция плотности \(f(x; \theta)\) должна быть дифференцируема по \(\theta\) для почти всех \(x\).
2. Интегрируемость: производная \(\frac{\partial}{\partial \theta} \ln f(x; \theta)\) должна быть интегрируема с квадратом по мере \(\theta\).
3. Перестановочность операций: допустимо дифференцирование под знаком интеграла для математического ожидания.
4. Носитель не зависит от параметра: область определения \(f(x; \theta)\) не должна зависеть от \(\theta\) (иначе информация Фишера может быть бесконечной, и неравенство теряет смысл).

Нарушение этих условий (например, для равномерного распределения \(U[0, \theta]\), где носитель зависит от \(\theta\)) приводит к тому, что нижняя граница дисперсии может быть меньше, чем предсказывает лемма, или вовсе не определена.

Примеры

Пример 1: Нормальное распределение

Пусть \(X_1, \dots, X_n \sim \mathcal{N}(\mu, \sigma^2)\) с известной дисперсией \(\sigma^2\). Параметр \(\mu\) оценивается выборочным средним \(\bar{X}\). Информация Фишера для одного наблюдения: \(I(\mu) = 1 / \sigma^2\). Тогда лемма Хотеллинга даёт:

\[ \operatorname{Var}(\bar{X}) = \frac{\sigma^2}{n} \geq \frac{1}{n \cdot (1/\sigma^2)} = \frac{\sigma^2}{n}. \]

Равенство достигается, так как \(\bar{X}\) — несмещённая и эффективная оценка.

Пример 2: Распределение Пуассона

Пусть \(X_1, \dots, X_n \sim \operatorname{Pois}(\lambda)\). Параметр \(\lambda\) оценивается выборочным средним \(\bar{X}\). Информация Фишера: \(I(\lambda) = 1 / \lambda\). Тогда:

\[ \operatorname{Var}(\bar{X}) = \frac{\lambda}{n} \geq \frac{1}{n \cdot (1/\lambda)} = \frac{\lambda}{n}. \]

Равенство снова достигается, что подтверждает эффективность оценки.

Пример 3: Равномерное распределение (нарушение условий)

Для \(X_1, \dots, X_n \sim U[0, \theta]\) несмещённая оценка \(\hat{\theta} = \frac{n+1}{n} \max(X_i)\) имеет дисперсию \(\frac{\theta^2}{n(n+2)}\). Информация Фишера формально не определена из-за зависимости носителя от \(\theta\), поэтому лемма Хотеллинга неприменима. Фактическая дисперсия оказывается меньше, чем \(1/(n I(\theta))\) (если бы её можно было вычислить), что демонстрирует границы применимости леммы.

Значение и применение

Лемма Хотеллинга играет ключевую роль в:

• Теории оценивания: позволяет проверять, является ли данная несмещённая оценка оптимальной (с минимальной дисперсией). Если дисперсия оценки равна нижней границе, то оценка называется эффективной.
• Планировании экспериментов: зная информацию Фишера, можно рассчитать минимальный объём выборки, необходимый для достижения заданной точности оценки.
• Асимптотической теории: лемма служит основой для доказательства асимптотической нормальности и эффективности оценок максимального правдоподобия.
• Многомерном анализе: обобщение леммы на векторные параметры (матрица информации Фишера) используется в факторном анализе, дискриминантном анализе и эконометрике.

Критика и ограничения

Основные ограничения леммы Хотеллинга связаны с жёсткими условиями регулярности. В реальных задачах (например, при оценивании параметров смесей распределений или при наличии цензурированных данных) эти условия часто не выполняются. Кроме того, лемма даёт нижнюю границу только для несмещённых оценок; для смещённых оценок (например, байесовских) граница может быть иной. В российской статистической школе (работы А. Н. Колмогорова, Ю. В. Линника, В. Н. Вапника) также отмечалось, что лемма не всегда применима к задачам с непараметрическими или полупараметрическими моделями.

Источники

• Хотеллинг Г. «Some Applications of the Theory of Statistical Estimation» (1943).
• Крамер Х. «Математические методы статистики» (1946, русский перевод 1975).
• Рао К. «Линейные статистические методы и их применения» (1965, русский перевод 1968).
• Боровков А. А. «Математическая статистика» (4-е издание, 2010).
• Леман Э. «Теория точечного оценивания» (1983, русский перевод 1991).