Критерий Граббса

Критерий Граббса (также известный как тест Граббса или тест на выбросы по максимальному нормированному отклонению) — это статистический тест, предназначенный для обнаружения единичного выброса (аномального наблюдения) в одномерном наборе данных, предполагающем нормальное распределение. Тест позволяет проверить гипотезу о том, что наибольшее или наименьшее значение в выборке является статистически значимым отклонением от остальной совокупности.

История и происхождение

Критерий был разработан американским статистиком Фрэнком Граббсом (Frank E. Grubbs, 1914—1994) и впервые опубликован в 1950 году в журнале «Annals of Mathematical Statistics» в статье «Sample Criteria for Testing Outlying Observations». Граббс работал в Лаборатории баллистических исследований Армии США (Ballistic Research Laboratory) и занимался проблемами анализа экспериментальных данных, в частности, вопросами обнаружения ошибочных измерений. Впоследствии тест был усовершенствован и стандартизирован, в том числе в рекомендациях Американского общества по испытаниям и материалам (ASTM E178).

Основные положения

Цель применения

Критерий Граббса используется для проверки нулевой гипотезы о том, что в выборке нет выбросов, против альтернативной гипотезы о наличии ровно одного выброса. Тест применяется в случаях, когда исследователь подозревает, что одно из наблюдений может быть аномальным, но не знает, какое именно. Он чувствителен к единичным выбросам, но при наличии нескольких аномалий может давать неверные результаты (эффект маскировки).

Предположения

Для корректного применения критерия Граббса необходимо выполнение следующих условий:

• Данные представляют собой независимые наблюдения.
• Выборка извлечена из генеральной совокупности, имеющей нормальное распределение (или приблизительно нормальное).
• Объём выборки составляет не менее 3 наблюдений (на практике рекомендуется не менее 5—6 для достаточной мощности теста).

Статистика теста

Для обнаружения выброса в виде максимального значения используется статистика: \[ G = \frac{\max(x_i) - \bar{x}}{s} \] где \(\bar{x}\) — выборочное среднее, \(s\) — выборочное стандартное отклонение (с коррекцией на n-1), \(\max(x_i)\) — наибольшее наблюдение.

Для обнаружения выброса в виде минимального значения: \[ G = \frac{\bar{x} - \min(x_i)}{s} \] где \(\min(x_i)\) — наименьшее наблюдение.

Если направление выброса неизвестно, используется двухсторонняя версия теста, где статистика вычисляется как максимальное из двух указанных значений.

Критическое значение

Критическое значение для теста Граббса при заданном уровне значимости \(\alpha\) вычисляется по формуле: \[ G_{\text{crit}} = \frac{(n-1)}{\sqrt{n}} \sqrt{\frac{t_{\alpha/(2n), n-2}^2}{n-2 + t_{\alpha/(2n), n-2}^2}} \] где \(t_{\alpha/(2n), n-2}\) — квантиль распределения Стьюдента с \(n-2\) степенями свободы, соответствующий уровню значимости \(\alpha/(2n)\) (для двухстороннего теста) или \(\alpha/n\) (для одностороннего). Здесь \(n\) — объём выборки.

Нулевая гипотеза отвергается, если вычисленное значение \(G\) превышает критическое \(G_{\text{crit}}\). Если гипотеза отвергается, соответствующее наблюдение считается выбросом и может быть удалено из анализа или подвергнуто дополнительной проверке.

Процедура применения

Пошаговый алгоритм

1. Проверка предположений: оценка нормальности распределения данных (например, с помощью критерия Шапиро—Уилка или визуально по гистограмме).
2. Вычисление статистик: расчёт выборочного среднего и стандартного отклонения.
3. Расчёт тестовой статистики: по формуле для максимального или минимального значения.
4. Определение критического значения: по таблицам или с использованием статистического программного обеспечения.
5. Принятие решения: если \(G > G_{\text{crit}}\), наблюдение признаётся выбросом; в противном случае — нет.

Модификации

• Двухсторонний тест Граббса: проверяет гипотезу о наличии выброса как в виде максимума, так и минимума. Критическое значение корректируется с учётом двойной проверки.
• Последовательный тест Граббса: если после удаления первого выброса тест применяется повторно к оставшимся данным, это может привести к смещению оценок. Рекомендуется использовать специальные процедуры для множественных выбросов (например, тест Титьена—Мура или обобщённый тест Граббса).

Пример применения

Рассмотрим выборку из 10 измерений: 10.2, 10.5, 10.3, 10.8, 10.1, 10.6, 10.4, 10.7, 10.9, 15.0. Подозрительным является значение 15.0. Вычислим среднее \(\bar{x} = 10.95\) и стандартное отклонение \(s \approx 1.52\). Статистика \(G = (15.0 - 10.95) / 1.52 \approx 2.66\). При уровне значимости \(\alpha = 0.05\) и \(n = 10\) критическое значение \(G_{\text{crit}} \approx 2.29\). Поскольку \(2.66 > 2.29\), нулевая гипотеза отвергается, и значение 15.0 признаётся выбросом.

Ограничения и критика

• Чувствительность к нормальности: если распределение данных существенно отличается от нормального, тест даёт ложные срабатывания. Рекомендуется предварительно проверять нормальность.
• Эффект маскировки: при наличии двух или более выбросов тест может не обнаружить ни одного, так как стандартное отклонение становится завышенным.
• Эффект засорения: если выбросы расположены близко друг к другу, тест может ошибочно принять их за часть распределения.
• Однократное применение: тест предназначен для обнаружения только одного выброса. При удалении выброса и повторном применении теста к оставшимся данным уровень значимости фактически увеличивается, что может привести к излишнему удалению наблюдений.
• Зависимость от объёма выборки: при малых выборках (n < 6) мощность теста низкая, при больших (n > 50) — тест становится излишне чувствительным к незначительным отклонениям.

Альтернативные методы

Для обнаружения выбросов в одномерных данных существуют и другие статистические критерии:

• Критерий Диксона (Q-тест): основан на отношениях разностей соседних значений; менее чувствителен к нормальности, но также предназначен для единичных выбросов.
• Тест Титьена—Мура (Generalized Extreme Studentized Deviate, GESD): позволяет обнаруживать несколько выбросов без эффекта маскировки.
• Метод межквартильного размаха (IQR): непараметрический подход, не требующий нормальности; выбросами считаются значения, выходящие за пределы \(Q1 - 1.5 \cdot IQR\) или \(Q3 + 1.5 \cdot IQR\).
• Критерий Шовене: основан на вероятности появления отклонения; используется реже из-за субъективного выбора порога.

Применение в различных областях

Критерий Граббса широко используется в:

• Анализе экспериментальных данных: для выявления ошибочных измерений в физике, химии, биологии.
• Контроле качества: при статистическом управлении процессами для обнаружения дефектных партий.
• Геологии и экологии: при анализе проб почвы, воды, воздуха.
• Финансах: для выявления аномальных транзакций или ценовых выбросов.
• Медицине: при обработке результатов лабораторных анализов.

Реализация в программном обеспечении

Критерий Граббса реализован во многих статистических пакетах:

• R: функция grubbs.test() из пакета outliers.
• Python: функция grubbs_test() из библиотеки scipy.stats (начиная с версии 1.10.0) или в модуле outliers библиотеки statsmodels.
• MATLAB: функция isoutlier с опцией 'grubbs'.
• Microsoft Excel: отсутствует встроенная функция, но может быть реализован с помощью формул.
• SPSS, Minitab, JMP: встроенные процедуры для обнаружения выбросов.

Интересные факты

• Первоначально тест был разработан для обнаружения одного выброса в выборке из нормального распределения, но позже были предложены модификации для логнормальных и других распределений.
• В некоторых источниках критерий Граббса называют «тестом максимального нормированного отклонения» (Maximum Normed Residual, MNR).
• В 1972 году Граббс опубликовал обновлённую версию теста совместно с Гленном Беком, которая стала известна как тест Граббса—Бека.
• Критическое значение теста зависит от объёма выборки, что делает его более точным по сравнению с эмпирическими правилами (например, правило «трёх сигм»).