Неравенство Рао — Крамера

Неравенство Рао — Крамера (также известное как неравенство Крамера — Рао) — фундаментальное неравенство в математической статистике, устанавливающее нижнюю границу дисперсии несмещённой оценки неизвестного параметра. Оно названо в честь индийского математика Кальямпуди Рао и шведского статистика Харальда Крамера, которые независимо друг от друга опубликовали его в 1945—1946 годах. Неравенство играет ключевую роль в теории оценивания, позволяя определить, насколько эффективной может быть та или иная оценка, и служит критерием для сравнения различных методов оценивания.

Определение и формулировка

Пусть \( X = (X_1, X_2, \dots, X_n) \) — случайная выборка из распределения, зависящего от неизвестного скалярного параметра \(\theta \in \Theta\), где \(\Theta\) — открытое подмножество \(\mathbb{R}\). Предположим, что функция правдоподобия \(L(x; \theta) = f(x_1, \theta) \cdot f(x_2, \theta) \cdots f(x_n, \theta)\) удовлетворяет условиям регулярности, в частности, она дифференцируема по \(\theta\) и носитель распределения не зависит от \(\theta\). Тогда для любой несмещённой оценки \(\hat{\theta}(X)\) параметра \(\theta\) выполняется неравенство:

\[ \mathrm{Var}(\hat{\theta}) \geq \frac{1}{I_n(\theta)}, \]

где \(I_n(\theta)\) — информация Фишера, содержащаяся в выборке объёма \(n\), определяемая как:

\[ I_n(\theta) = \mathbb{E}_\theta \left[ \left( \frac{\partial}{\partial \theta} \ln L(X; \theta) \right)^2 \right] = -\mathbb{E}_\theta \left[ \frac{\partial^2}{\partial \theta^2} \ln L(X; \theta) \right]. \]

Для независимых одинаково распределённых наблюдений информация Фишера аддитивна: \(I_n(\theta) = n I_1(\theta)\), где \(I_1(\theta)\) — информация Фишера, содержащаяся в одном наблюдении.

Условия регулярности

Неравенство справедливо при выполнении следующих условий:

• Множество \(\Theta\) является открытым интервалом на \(\mathbb{R}\).
• Функция правдоподобия \(L(x; \theta)\) дважды дифференцируема по \(\theta\) для почти всех \(x\).
• Интеграл \(\int L(x; \theta) \, dx\) можно дифференцировать под знаком интеграла по \(\theta\).
• Информация Фишера \(I_n(\theta)\) конечна и положительна.

Многомерный случай

Для векторного параметра \(\theta = (\theta_1, \theta_2, \dots, \theta_k)^T\) неравенство Рао — Крамера обобщается на матричный случай. Пусть \(\hat{\theta}\) — несмещённая оценка \(\theta\). Тогда ковариационная матрица оценки удовлетворяет:

\[ \mathrm{Cov}(\hat{\theta}) \succeq I_n^{-1}(\theta), \]

где \(I_n(\theta)\) — матрица информации Фишера размерности \(k \times k\), элемент \((i, j)\) которой равен:

\[ [I_n(\theta)]_{ij} = \mathbb{E}_\theta \left[ \frac{\partial}{\partial \theta_i} \ln L(X; \theta) \cdot \frac{\partial}{\partial \theta_j} \ln L(X; \theta) \right]. \]

Символ \(\succeq\) означает, что разность \(\mathrm{Cov}(\hat{\theta}) - I_n^{-1}(\theta)\) является неотрицательно определённой матрицей.

Эффективные оценки

Оценка, для которой неравенство Рао — Крамера обращается в равенство, называется эффективной. Такая оценка достигает минимально возможной дисперсии среди всех несмещённых оценок и, следовательно, является оптимальной в смысле среднеквадратичной ошибки. Эффективная оценка существует тогда и только тогда, когда функция правдоподобия может быть представлена в виде:

\[ \frac{\partial}{\partial \theta} \ln L(x; \theta) = I_n(\theta) \cdot (T(x) - \theta), \]

где \(T(x)\) — некоторая статистика. В этом случае \(T(x)\) и является эффективной оценкой \(\theta\).

Примеры эффективных оценок:

• Выборочное среднее \(\bar{X}\) для оценки математического ожидания нормального распределения \(N(\mu, \sigma^2)\) при известной дисперсии.
• Выборочная доля для оценки вероятности успеха в схеме Бернулли.

История

Неравенство было впервые опубликовано в 1945 году индийским статистиком Кальямпуди Рао в статье «Information and the accuracy attainable in the estimation of statistical parameters» в журнале Bulletin of the Calcutta Mathematical Society. В 1946 году шведский статистик Харальд Крамер опубликовал аналогичный результат в своей книге «Mathematical Methods of Statistics». Оба автора работали независимо, хотя Крамер ссылался на более ранние работы Р. А. Фишера, который в 1925 году ввёл понятие информации Фишера и сформулировал идею нижней границы дисперсии. В советской и российской статистической литературе неравенство часто называют неравенством Крамера — Рао, а в англоязычной — Cramér–Rao bound.

Связь с другими понятиями

Достаточные статистики

Неравенство Рао — Крамера тесно связано с концепцией достаточных статистик. Если существует достаточная статистика \(T(X)\) для параметра \(\theta\), то информация Фишера, содержащаяся в выборке, равна информации, содержащейся в \(T\). Более того, если оценка \(\hat{\theta}\) является функцией от достаточной статистики, то она может быть эффективной.

Теорема Рао — Блэквелла

Теорема Рао — Блэквелла утверждает, что любую несмещённую оценку можно улучшить (уменьшить её дисперсию), усредняя её по достаточной статистике. В сочетании с неравенством Рао — Крамера это даёт метод построения эффективных оценок: сначала найти достаточную статистику, затем построить несмещённую оценку, зависящую только от неё.

Неравенство Фреше — Даремуа — Крамера

Существует обобщение неравенства на случай смещённых оценок, известное как неравенство Фреше — Даремуа — Крамера. Для оценки \(\hat{\theta}\) со смещением \(b(\theta) = \mathbb{E}_\theta[\hat{\theta}] - \theta\) выполняется:

\[ \mathrm{Var}(\hat{\theta}) \geq \frac{(1 + b'(\theta))^2}{I_n(\theta)}. \]

Это неравенство показывает, что смещение может как уменьшать, так и увеличивать минимально достижимую дисперсию.

Ограничения и критика

Неравенство Рао — Крамера применимо только при выполнении условий регулярности, которые могут нарушаться в ряде практически важных случаев:

• Если носитель распределения зависит от параметра (например, равномерное распределение \(U(0, \theta)\)), то информация Фишера может быть бесконечной, а неравенство — неинформативным.
• Для негладких функций правдоподобия (например, распределение Лапласа) производные могут не существовать.
• В некоторых задачах эффективные оценки не существуют, и нижняя граница не достигается.

В таких случаях используют другие подходы, например, теорию асимптотической эффективности или байесовские методы.

Применение

Неравенство Рао — Крамера широко применяется в:

• Теории оценивания — для проверки оптимальности предложенных оценок.
• Обработке сигналов — для оценки параметров сигналов на фоне шума (например, в радиолокации и телекоммуникациях).
• Эконометрике — для анализа эффективности методов оценивания регрессионных моделей.
• Биостатистике — при планировании экспериментов и анализе данных клинических испытаний.

Пример

Рассмотрим выборку из нормального распределения \(N(\mu, \sigma^2)\) с известной дисперсией \(\sigma^2\). Функция правдоподобия для одного наблюдения:

\[ \ln f(x; \mu) = -\frac{1}{2} \ln(2\pi\sigma^2) - \frac{(x - \mu)^2}{2\sigma^2}. \]

Вторая производная по \(\mu\) равна \(-\frac{1}{\sigma^2}\), поэтому информация Фишера для одного наблюдения \(I_1(\mu) = \frac{1}{\sigma^2}\). Для выборки объёма \(n\) имеем \(I_n(\mu) = \frac{n}{\sigma^2}\). Неравенство Рао — Крамера даёт:

\[ \mathrm{Var}(\hat{\mu}) \geq \frac{\sigma^2}{n}. \]

Выборочное среднее \(\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i\) является несмещённой оценкой \(\mu\) с дисперсией \(\sigma^2/n\), то есть достигает нижней границы. Следовательно, \(\bar{X}\) — эффективная оценка.

Источники

• Крамер Г. Математические методы статистики. — М.: Мир, 1975. — 648 с.
• Рао К. Р. Линейные статистические методы и их применения. — М.: Наука, 1968. — 548 с.
• Боровков А. А. Математическая статистика. — 4-е изд. — СПб.: Лань, 2010. — 704 с.
• Ивченко Г. И., Медведев Ю. И. Введение в математическую статистику. — М.: Издательство ЛКИ, 2010. — 600 с.