Добротность — понятие теории вероятностей¶

Добротность (англ. goodness, обозначается обычно $G$) — понятие теории вероятностей и математической статистики, характеризующее степень различимости двух статистических гипотез (или двух вероятностных распределений) по наблюдаемым данным. Добротность тесно связана с понятием мощности критерия и с расстоянием между распределениями: чем выше добротность, тем легче отличить одно распределение от другого по выборке.

¶Определение и постановка задачи

Рассмотрим задачу проверки простой статистической гипотезы $H_0: P = P_0$ против альтернативы $H_1: P = P_1$, где $P_0$ и $P_1$ — два известных вероятностных распределения на пространстве выборки. Пусть $\varphi$ — критерий (то есть случайная величина, принимающая значения 0 и 1 с вероятностями, определяющими правило отвержения нулевой гипотезы). Тогда:

• Уровень значимости критерия — вероятность ошибки первого рода: $\alpha = E_{P_0}[\varphi]$.
• Добротность критерия — вероятность правильного отвержения ложной нулевой гипотезы: $\beta = E_{P_1}[\varphi]$.

Таким образом, добротность — это вероятность обнаружить (отвергнуть) нулевую гипотезу, когда действительно действует альтернатива. В русскоязычной статистической литературе термин «добротность» введён А. Н. Колмогоровым и получил распространение в курсах, связанных с школой А. Я. Хинчина и А. Н. Колмогорова; в западной литературе аналогичное понятие обозначается как power (мощность) статистического критерия.

¶Связь с другими характеристиками

Добротность неразрывно связана с несколькими ключевыми понятиями математической статистики:

• Мощность критерия — в большинстве западных учебников это синоним добротности. Иногда под мощностью понимают функцию мощности $\beta(\theta) = E_\theta[\varphi]$ как функцию от параметра $\theta$ из области альтернативы, а добротностью называют её значения в конкретных точках.
• Ошибка второго рода — вероятность принять нулевую гипотезу, когда она ложна; добротность есть дополнение этой вероятности к единице: $\beta = 1 - (\text{вероятность ошибки второго рода})$.
• Разделимость распределений — добротность максимального правдоподобного критерия (критерия отношения правдоподобий) при фиксированном уровне значимости монотонно возрастает с ростом расстояния между $P_0$ и $P_1$ (например, расстояния Кульбака — Лейблера или расстояния Тсибина).

¶Добротность критерия отношения правдоподобий

Наиболее важный пример — критерий отношения правдоподобий (Неймана — Пирсона). Для гипотезы $H_0: \theta = \theta_0$ против $H_1: \theta = \theta_1$ при наблюдении $X_1, \dots, X_n$ критерий отвергает $H_0$, если

$$\lambda = \frac{L(\theta_0; X_1, \dots, X_n)}{L(\theta_1; X_1, \dots, X_n)} < c,$$

где порог $c$ подбирается так, чтобы уровень значимости не превышал заданного $\alpha$. Теорема Неймана — Пирсона утверждает, что такой критерий обладает максимальной добротностью среди всех критериев того же уровня значимости.

Для нормального распределения $N(\mu, \sigma^2)$ с известной дисперсией добротность критерия Стьюдента и его односторонних аналогов вычисляется явно через функцию распределения стандартного нормального закона и растёт с ростом объёма выборки $n$ и с ростом модуля отклонения среднего от нулевого значения.

¶Асимптотическая добротность

При увеличении объёма выборки $n \to \infty$ добротность любого корректного критерия при фиксированном ненулевом отклонении параметра стремится к единице. Это следует из законов больших чисел и центральной предельной теоремы: распределения $P_0^{(n)}$ и $P_1^{(n)}$ выборочных статистик «раздвигаются», и их разделимость растёт.

Классическая формула для добротности одностороннего $z$-критерия при объёме выборки $n$, известной дисперсии $\sigma^2$ и отклонении параметра на величину $\delta$:

$$\beta \approx \Phi\left(\frac{|\delta|\sqrt{n}}{\sigma} - z_{1-\alpha}\right),$$

где $\Phi$ — функция распределения стандартного нормального закона, $z_{1-\alpha}$ — квантиль нормального распределения. Из этой формулы получается классическая задача оценки объёма выборки: чтобы обеспечить добротность не менее $1-\beta_0$ при заданных $\alpha$, $\beta_0$ и $\delta$, требуется

$$n \ge \frac{(z_{1-\alpha} + z_{1-\beta_0})^2 \sigma^2}{\delta^2}.$$

¶Применение

Понятие добротности используется при:

• проектировании статистических экспериментов (выбор объёма выборки);
• сравнении конкурирующих статистических критериев;
• оценке качества дискриминантных правил в задачах классификации;
• анализе чувствительности медицинских, технических и социологических тестов (в прикладной статистике добротность теста — вероятность правильно классифицировать действительно больного или действительно отвечающего на критерий субъекта).

¶История

Понятие добротности сформировалось в работах Е. Пирсона и А. Неймана в 1930-е годы в связи с построением теории статистических критериев. В русской литературе термин «добротность» закрепился в переводах и оригинальных курсах математической статистики советского периода (Б. В. Гнеденко, Ю. В. Линник, И. В. Романовский и др.).

¶Источники

• Гнеденко Б. В. Курс теории вероятностей.
• Крамер Г. Математические методы статистики.
• Ван дер Варден Б. Л. Математическая статистика.
• Лехнер В., Пёшель Т., Рёдер Т. Математическая статистика.