Правило Неймана — Пирсона

Правило Неймана — Пирсона (также известное как лемма Неймана — Пирсона) — это фундаментальное утверждение в теории статистических решений и проверке статистических гипотез. Оно определяет наиболее мощный критерий для различения двух простых гипотез при заданном уровне значимости (вероятности ошибки первого рода). Правило было сформулировано и доказано польско-американскими математиками Ежи Нейманом и Эгоном Пирсоном в 1933 году.

Основные понятия

В контексте проверки гипотез рассматриваются две конкурирующие гипотезы:

• Нулевая гипотеза (H₀): основное предположение, которое проверяется (например, «среднее значение равно нулю»).
• Альтернативная гипотеза (H₁): противоположное утверждение (например, «среднее значение больше нуля»).

Правило Неймана — Пирсона решает задачу поиска оптимального решающего правила, которое минимизирует вероятность ошибки второго рода (принятие ложной нулевой гипотезы) при условии, что вероятность ошибки первого рода (отвержение верной нулевой гипотезы) не превышает заданного уровня α (обычно 0,05 или 0,01).

Формулировка леммы

Пусть имеется выборка X = (x₁, x₂, ..., xₙ) из распределения с плотностью f(x|θ). Рассматриваются две простые гипотезы:

• H₀: θ = θ₀
• H₁: θ = θ₁

Для заданного уровня значимости α (0 < α < 1) существует критическая область C, которая является наиболее мощной (то есть имеет максимальную мощность 1 — β, где β — вероятность ошибки второго рода). Эта область определяется отношением правдоподобия:

\[ \frac{L(\theta_1 | X)}{L(\theta_0 | X)} \geq k \]

где:

• L(θ|X) — функция правдоподобия для выборки X при данном значении параметра θ;
• k — пороговое значение, выбираемое таким образом, чтобы вероятность попадания в критическую область при верной H₀ была равна α.

Если отношение правдоподобия превышает k, то нулевая гипотеза H₀ отвергается в пользу H₁. Если отношение меньше k, то H₀ принимается. В случае равенства решение может приниматься произвольно (например, с помощью рандомизации).

Доказательство и обоснование

Доказательство леммы основано на использовании неравенства Неймана — Пирсона, которое устанавливает, что для любого другого критерия с уровнем значимости не выше α его мощность не может превышать мощность критерия, основанного на отношении правдоподобия. Формально, если C — критическая область, определяемая условием L(θ₁|X) ≥ k·L(θ₀|X), а C' — любая другая область с P(X ∈ C' | H₀) ≤ α, то:

P(X ∈ C | H₁) ≥ P(X ∈ C' | H₁)

Доказательство использует свойства интегралов и разбиение пространства выборок на области, где отношение правдоподобия больше или меньше порога.

Применение в статистике

Правило Неймана — Пирсона является теоретической основой для построения многих статистических тестов. Оно применяется в следующих областях:

• Проверка гипотез о параметрах распределений: например, тест Стьюдента для среднего, тест Фишера для дисперсий.
• Обнаружение сигналов: в радиолокации, связи и обработке сигналов для различения сигнала от шума.
• Медицинская диагностика: для оценки эффективности диагностических тестов (чувствительность и специфичность).
• Машинное обучение: в задачах классификации, где требуется минимизировать ошибки первого и второго рода (например, в детекторах мошенничества).

Пример

Рассмотрим задачу проверки гипотезы о среднем нормального распределения с известной дисперсией σ² = 1. Пусть:

• H₀: μ = 0
• H₁: μ = 1

Выборка состоит из одного наблюдения x. Отношение правдоподобия:

\[ \frac{L(1|x)}{L(0|x)} = \frac{\frac{1}{\sqrt{2\pi}} e^{-(x-1)^2/2}}{\frac{1}{\sqrt{2\pi}} e^{-x^2/2}} = e^{x - 0.5} \]

Условие L(θ₁|x) ≥ k эквивалентно e^{x - 0.5} ≥ k, или x ≥ 0.5 + ln(k). Для заданного уровня значимости α = 0.05 пороговое значение x₀ находится из условия P(x ≥ x₀ | H₀) = 0.05. Для стандартного нормального распределения x₀ ≈ 1.645. Таким образом, критическая область: x ≥ 1.645. Этот критерий является наиболее мощным для данного уровня значимости.

Ограничения и критика

Правило Неймана — Пирсона имеет ряд ограничений:

• Применимость только к простым гипотезам: лемма строго доказана для случая, когда обе гипотезы являются простыми (то есть задают единственное значение параметра). Для сложных гипотез (например, H₀: μ ≤ 0 против H₁: μ > 0) правило не даёт прямого ответа, хотя на его основе строятся обобщённые критерии (например, равномерно наиболее мощные критерии).
• Необходимость знания распределения: для применения правила требуется точное знание функций плотности распределения, что на практике часто недоступно.
• Чувствительность к выбору порога: порог k определяется уровнем значимости α, который выбирается субъективно. Разные α могут приводить к разным выводам.
• Асимптотические свойства: при малых выборках мощность критерия может быть низкой, что ограничивает его практическую ценность.

Исторический контекст

Правило было опубликовано в 1933 году в статье «On the Problem of the Most Efficient Tests of Statistical Hypotheses» в журнале Philosophical Transactions of the Royal Society A. Нейман и Пирсон развили идеи Рональда Фишера, который ввёл понятие проверки гипотез, но не дал общего метода построения оптимальных критериев. Их работа стала основой для современной теории статистических решений, развитой впоследствии Абрахамом Вальдом (теория последовательного анализа) и другими учёными.

Связь с другими концепциями

• Критерий отношения правдоподобия: обобщение правила Неймана — Пирсона для сложных гипотез, основанное на максимизации отношения правдоподобия.
• Байесовский подход: в отличие от правила Неймана — Пирсона, байесовские методы учитывают априорные вероятности гипотез и минимизируют средний риск.
• ROC-анализ: графическое представление зависимости мощности (чувствительности) от уровня значимости (1 — специфичность), тесно связанное с правилом Неймана — Пирсона.

Источники

1. Нейман, Е., Пирсон, Э. (1933). «On the Problem of the Most Efficient Tests of Statistical Hypotheses». Philosophical Transactions of the Royal Society A, 231, 289–337.
2. Леман, Э. (1959). Testing Statistical Hypotheses. Wiley.
3. Кендалл, М., Стюарт, А. (1979). Теория статистических выводов. Наука.
4. Боровков, А. А. (1998). Математическая статистика. Наука.