Тест Граббса

Тест Граббса (также известный как критерий Граббса, тест на выбросы Граббса или тест максимального нормированного отклонения) — это статистический тест, используемый для обнаружения одного выброса в одномерном наборе данных, предполагающем нормальное распределение. Тест проверяет нулевую гипотезу о том, что в выборке нет выбросов, против альтернативной гипотезы о наличии ровно одного выброса. Он был предложен американским статистиком Фрэнком Граббсом в 1950 году и является одним из наиболее распространённых методов выявления аномальных значений.

История

Метод был впервые описан Фрэнком Энсоном Граббсом (1913–1998) в 1950 году в статье «Sample Criteria for Testing Outlying Observations» (Критерии выборки для проверки выбросов), опубликованной в журнале Annals of Mathematical Statistics. Граббс, работавший в Лаборатории баллистических исследований Армии США (Ballistic Research Laboratory), занимался задачами обработки экспериментальных данных, где аномальные измерения могли существенно искажать результаты. В 1969 году он опубликовал переработанную версию теста, которая стала стандартной. До появления вычислительной техники тест использовался с таблицами критических значений, а впоследствии был адаптирован для программной реализации.

Математическая формулировка

Тест Граббса основан на вычислении статистики, представляющей собой максимальное нормированное отклонение от среднего. Для выборки \(x_1, x_2, \dots, x_n\) с выборочным средним \(\bar{x}\) и выборочным стандартным отклонением \(s\) статистика теста \(G\) вычисляется по формуле:

\[ G = \frac{\max_{i=1,\dots,n} |x_i - \bar{x}|}{s} \]

Если проверяется только одно из хвостов распределения (например, только максимальное или только минимальное значение), то используются односторонние варианты:

• Для проверки максимального значения: \(G = \frac{x_{\text{max}} - \bar{x}}{s}\)
• Для проверки минимального значения: \(G = \frac{\bar{x} - x_{\text{min}}}{s}\)

Критическое значение

Нулевая гипотеза об отсутствии выбросов отвергается на уровне значимости \(\alpha\), если вычисленное значение \(G\) превышает критическое значение \(G_{\text{крит}}\), которое зависит от объёма выборки \(n\) и уровня значимости. Критическое значение для двустороннего теста вычисляется по формуле:

\[ G_{\text{крит}} = \frac{(n-1)}{\sqrt{n}} \sqrt{\frac{t_{\alpha/(2n), n-2}^2}{n-2 + t_{\alpha/(2n), n-2}^2}} \]

где \(t_{\alpha/(2n), n-2}\) — квантиль распределения Стьюдента с \(n-2\) степенями свободы, соответствующий уровню значимости \(\alpha/(2n)\). Для одностороннего теста используется \(\alpha/n\) вместо \(\alpha/(2n)\).

Процедура применения

Тест Граббса применяется итеративно, если предполагается наличие нескольких выбросов. Однако стандартный тест предназначен для обнаружения ровно одного выброса за одну итерацию. Процедура включает следующие шаги:

1. Проверка предположений: данные должны быть независимыми и приблизительно нормально распределёнными. Для проверки нормальности могут использоваться тесты Шапиро-Уилка или Колмогорова-Смирнова.
2. Вычисление статистики: рассчитывается среднее, стандартное отклонение и значение \(G\).
3. Сравнение с критическим значением: если \(G > G_{\text{крит}}\), то нулевая гипотеза отвергается, и наблюдение с максимальным отклонением считается выбросом.
4. Удаление выброса: обнаруженное значение удаляется из выборки, и процедура повторяется для оставшихся данных до тех пор, пока не будет найдено ни одного выброса.

Ограничения итеративного применения

При многократном применении теста к одной и той же выборке возникает проблема множественного тестирования, что увеличивает вероятность ошибки первого рода (ложного обнаружения выброса). Для контроля этой ошибки рекомендуется использовать скорректированные критические значения или применять тест только для заранее заданного числа выбросов.

Пример

Рассмотрим набор данных: 10, 12, 11, 13, 12, 14, 45. Среднее значение \(\bar{x} = 16.71\), стандартное отклонение \(s = 12.24\). Максимальное отклонение у значения 45: \(|45 - 16.71| = 28.29\). Статистика \(G = 28.29 / 12.24 \approx 2.31\). Для \(n=7\) и уровня значимости \(\alpha = 0.05\) двустороннее критическое значение \(G_{\text{крит}} \approx 2.02\). Поскольку \(2.31 > 2.02\), нулевая гипотеза отвергается, и значение 45 признаётся выбросом.

Условия применимости и ограничения

Тест Граббса имеет ряд ограничений, которые необходимо учитывать при его применении:

• Нормальность распределения: тест чувствителен к отклонениям от нормальности. Если данные не являются нормально распределёнными, тест может давать ложные результаты. В таких случаях рекомендуется использовать ненараметрические методы, например, тест Диксона или метод межквартильного размаха.
• Единственный выброс: тест предназначен для обнаружения одного выброса за раз. При наличии нескольких выбросов, особенно в одном направлении, тест может не обнаружить их (эффект маскировки) или, наоборот, ошибочно указать на нормальное значение (эффект затопления).
• Размер выборки: для малых выборок (\(n < 5\)) тест имеет низкую мощность и не рекомендуется к применению. Для больших выборок (\(n > 30\)) тест становится более надёжным, но всё равно требует проверки нормальности.
• Множественное тестирование: при итеративном применении необходимо корректировать уровень значимости, например, используя поправку Бонферрони.

Альтернативные методы

Существует несколько альтернативных методов обнаружения выбросов, которые могут быть более подходящими в определённых ситуациях:

• Метод межквартильного размаха (IQR): выбросами считаются значения, выходящие за пределы \([Q1 - 1.5 \cdot IQR, Q3 + 1.5 \cdot IQR]\). Не требует предположения о нормальности.
• Тест Диксона: ненараметрический тест, основанный на отношениях разностей значений. Эффективен для малых выборок.
• Критерий Шовене: исторический метод, основанный на вероятности отклонения от среднего. Менее строгий, чем тест Граббса.
• Метод Тьюки: использует «висячие усы» на ящичковой диаграмме (boxplot) для идентификации выбросов.

Применение

Тест Граббса широко используется в различных областях науки и техники:

• Химия и аналитическая химия: для выявления аномальных результатов измерений в лабораторных исследованиях.
• Метрология: при обработке результатов измерений для исключения грубых погрешностей.
• Биология и медицина: для обнаружения выбросов в клинических данных или биологических экспериментах.
• Инженерия: при анализе данных испытаний и контроля качества продукции.
• Экономика и финансы: для выявления аномальных значений в экономических показателях.

Реализация в программном обеспечении

Тест Граббса реализован во многих статистических пакетах и языках программирования:

• Python: функция grubbs_test из библиотеки outliers или реализация в scipy.stats (через scipy.stats.grubbs).
• R: функция grubbs.test из пакета outliers.
• MATLAB: функция grubbs в Statistics Toolbox.
• Microsoft Excel: может быть реализован вручную с использованием встроенных функций.

Источники

• Grubbs, F. E. (1950). Sample Criteria for Testing Outlying Observations. Annals of Mathematical Statistics, 21(1), 27–58.
• Grubbs, F. E. (1969). Procedures for Detecting Outlying Observations in Samples. Technometrics, 11(1), 1–21.
• Barnett, V., & Lewis, T. (1994). Outliers in Statistical Data (3rd ed.). Wiley.
• ГОСТ Р 8.736-2011. Государственная система обеспечения единства измерений. Измерения прямые многократные. Методы обработки результатов измерений. Основные положения.