Нулевая гипотеза

Нулевая гипотеза (обозначается как H₀) — это фундаментальное понятие статистической проверки гипотез, представляющее собой утверждение об отсутствии эффекта, связи, различия или закономерности в генеральной совокупности. Нулевая гипотеза формулируется как предположение, которое исследователь стремится опровергнуть (отвергнуть) в пользу альтернативной гипотезы (H₁). Она служит отправной точкой для статистического вывода, позволяя оценить, насколько наблюдаемые в выборке данные согласуются с предположением об отсутствии эффекта.

История возникновения и развития

Концепция нулевой гипотезы восходит к работам британского статистика и биолога Рональда Фишера в 1920-х годах. Фишер ввёл понятие «нулевой гипотезы» (от лат. nullus — никакой) в контексте сельскохозяйственных экспериментов, где требовалось определить, влияет ли удобрение на урожайность. Он предложил процедуру, при которой сначала формулируется гипотеза об отсутствии эффекта, а затем вычисляется вероятность получения наблюдаемых или более экстремальных результатов, если эта гипотеза верна. Если эта вероятность (p-значение) оказывалась ниже заранее установленного порога (например, 0,05), нулевая гипотеза отвергалась.

В 1930-х годах Ежи Нейман и Эгон Пирсон развили подход Фишера, формализовав процесс проверки гипотез как выбор между двумя конкурирующими гипотезами — нулевой и альтернативной. Они ввели понятия ошибок первого и второго рода, а также мощности критерия. Их работа заложила основы современной теории статистических решений, где нулевая гипотеза играет роль «гипотезы по умолчанию», которую исследователь пытается опровергнуть.

Формулировка и свойства

Основные принципы формулировки

Нулевая гипотеза всегда формулируется как точное, конкретное и проверяемое утверждение. Она обычно содержит равенство (например, «среднее равно нулю», «разность долей равна нулю», «коэффициент корреляции равен нулю»). В отличие от альтернативной гипотезы, которая может быть направленной (больше/меньше) или ненаправленной (не равно), нулевая гипотеза всегда является утверждением об отсутствии эффекта.

Свойства

• Предполагаемая истинность: При проверке гипотез нулевая гипотеза считается истинной до тех пор, пока не будет доказано обратное. Это аналогично принципу «презумпции невиновности» в юриспруденции.
• Проверяемость: Нулевая гипотеза должна быть сформулирована таким образом, чтобы можно было вычислить распределение тестовой статистики при условии её истинности.
• Неопровержимость: Нулевую гипотезу нельзя доказать или подтвердить; её можно только отвергнуть или не отвергнуть. Отсутствие достаточных доказательств для её отвержения не означает, что она истинна.

Процедура проверки нулевой гипотезы

Этапы проверки

1. Формулировка гипотез: Определяются нулевая (H₀) и альтернативная (H₁) гипотезы.
2. Выбор уровня значимости (α): Устанавливается порог допустимой ошибки первого рода (отвержение истинной нулевой гипотезы). Обычно α = 0,05 или 0,01.
3. Выбор статистического критерия: В зависимости от типа данных и задачи выбирается подходящий тест (t-критерий Стьюдента, χ²-критерий, F-критерий и т.д.).
4. Вычисление тестовой статистики: На основе выборочных данных рассчитывается наблюдаемое значение статистики критерия.
5. Определение p-значения: Вычисляется вероятность получения наблюдаемого или более экстремального значения статистики при условии истинности H₀.
6. Принятие решения: Если p-значение меньше α, нулевая гипотеза отвергается в пользу альтернативной. Если p-значение больше или равно α, нулевая гипотеза не отвергается.

Ошибки при проверке

• Ошибка первого рода (α): Отвержение истинной нулевой гипотезы (ложноположительный результат). Вероятность этой ошибки контролируется уровнем значимости.
• Ошибка второго рода (β): Неотвержение ложной нулевой гипотезы (ложноотрицательный результат). Мощность критерия (1-β) — это вероятность отвергнуть ложную нулевую гипотезу.

Примеры нулевых гипотез в различных областях

Медицина и биология

• Сравнение эффективности лекарств: H₀ — разница в эффективности между новым препаратом и плацебо равна нулю.
• Генетика: H₀ — частота встречаемости аллеля в популяции соответствует закону Харди-Вайнберга.
• Эпидемиология: H₀ — отсутствует связь между воздействием фактора (например, курения) и развитием заболевания.

Экономика и социология

• Анализ доходов: H₀ — средний доход мужчин и женщин в генеральной совокупности одинаков.
• Маркетинговые исследования: H₀ — доля покупателей, предпочитающих бренд A, равна доле покупателей, предпочитающих бренд B.
• Социологические опросы: H₀ — распределение ответов на вопрос не зависит от возраста респондента.

Технические науки

• Контроль качества: H₀ — средний диаметр детали соответствует номинальному значению (например, 10 мм).
• Инженерия: H₀ — прочность материала не изменилась после термической обработки.
• Информационные технологии: H₀ — время отклика сервера до и после оптимизации одинаково.

Критика и альтернативные подходы

Проблемы использования

• Механическое применение: Частое неверное истолкование p-значения как вероятности того, что нулевая гипотеза истинна. На самом деле p-значение — это вероятность данных при условии истинности H₀, а не вероятность H₀.
• Дилемма «значимости»: Порог α = 0,05 является произвольным. Результат с p = 0,051 и p = 0,049 формально различаются, но по сути могут быть одинаково убедительными.
• Публикационное смещение: Склонность публиковать только «значимые» результаты (отвергающие H₀) приводит к искажению научной литературы.

Альтернативы

• Байесовский подход: Вместо проверки гипотез используется вычисление апостериорной вероятности гипотез на основе априорных знаний и данных.
• Интервалы оценки: Вместо бинарного решения (отвергнуть/не отвергнуть) предлагается оценивать размер эффекта и его доверительный интервал.
• Критерии информации: Использование информационных критериев (AIC, BIC) для сравнения моделей без явной проверки нулевой гипотезы.

Интересные факты

• Термин «нулевая гипотеза» ввёл Рональд Фишер в книге «Статистические методы для исследователей» (1925).
• В некоторых областях, таких как физика элементарных частиц, для объявления об открытии требуется уровень значимости 5σ (p < 0,0000003), что соответствует крайне малой вероятности ошибки первого рода.
• В 2016 году Американская статистическая ассоциация (ASA) опубликовала заявление, предупреждающее о неправильном использовании p-значений и нулевой гипотезы, что вызвало широкую дискуссию в научном сообществе.

Источники

• Fisher, R. A. (1925). Statistical Methods for Research Workers.
• Neyman, J., & Pearson, E. S. (1933). «On the problem of the most efficient tests of statistical hypotheses».
• Wasserstein, R. L., & Lazar, N. A. (2016). «The ASA Statement on p-Values: Context, Process, and Purpose».
• Lehmann, E. L. (1993). «The Fisher, Neyman-Pearson theories of testing hypotheses: one theory or two?»