Правило Тьюки

Правило Тьюки (также правило Тьюки, критерий Тьюки, «правило межквартильного размаха») — это эмпирическое правило в статистике, используемое для идентификации потенциальных выбросов (аномальных значений) в одномерном наборе данных. Оно основано на вычислении межквартильного размаха (IQR) и определении границ, за пределами которых значения считаются нетипичными. Правило было предложено американским математиком Джоном Тьюки в 1977 году в его книге «Exploratory Data Analysis» (Разведочный анализ данных).

История и происхождение

Джон Тьюки (1915–2000) был одним из пионеров современной статистики и разведочного анализа данных. В своей работе он стремился создать простые и наглядные методы для первичного изучения данных, которые не требовали бы сложных математических моделей или предположений о распределении. Правило Тьюки стало частью его подхода к визуализации данных, в частности, к построению «ящиков с усами» (box plots). В отличие от классических методов, основанных на нормальном распределении (например, правило «трёх сигм»), правило Тьюки не требует нормальности данных и устойчиво к наличию небольшого числа выбросов.

Определение и алгоритм

Правило Тьюки определяет выброс как наблюдение, которое лежит за пределами интервала, построенного на основе квартилей. Алгоритм включает следующие шаги:

1. Вычисление квартилей: Находятся первый квартиль (Q1, 25-й процентиль) и третий квартиль (Q3, 75-й процентиль).
2. Расчёт межквартильного размаха: IQR = Q3 — Q1.
3. Определение границ:

• Нижняя граница (нижний ус): Q1 — 1.5 × IQR.
• Верхняя граница (верхний ус): Q3 + 1.5 × IQR.

1. Идентификация выбросов: Любое значение, меньшее нижней границы или большее верхней границы, считается потенциальным выбросом (мягким выбросом).

Для более строгого выявления «крайних» выбросов (far outliers) Тьюки предложил использовать множитель 3:

• Нижняя граница для крайних выбросов: Q1 — 3 × IQR.
• Верхняя граница для крайних выбросов: Q3 + 3 × IQR.

Интерпретация и обоснование

Выбор множителя 1.5 является эмпирическим. Для нормального распределения вероятность того, что значение окажется за пределами интервала Q1 — 1.5×IQR и Q3 + 1.5×IQR, составляет примерно 0.7% (около 0.35% с каждой стороны). Это означает, что при нормальном распределении лишь около 7 из 1000 наблюдений будут ошибочно помечены как выбросы. Для множителя 3 эта вероятность падает до ничтожно малых значений (менее 0.001%).

Таким образом, правило Тьюки даёт консервативную оценку: оно скорее пропустит потенциальный выброс, чем ложно идентифицирует нормальное значение как аномалию.

Применение

Визуализация данных (ящик с усами)

Правило Тьюки лежит в основе построения «ящика с усами» (box plot) — одного из наиболее распространённых графиков в разведочном анализе данных. На таком графике:

• «Ящик» отображает межквартильный размах (от Q1 до Q3), с медианой внутри.
• «Усы» простираются до минимального и максимального значений, не являющихся выбросами (то есть до ближайших точек внутри границ Тьюки).
• Выбросы изображаются в виде отдельных точек за пределами усов.

Очистка данных

В машинном обучении и статистическом моделировании выбросы могут искажать результаты. Правило Тьюки используется для предварительной фильтрации данных: значения, выходящие за границы, часто удаляются или заменяются (например, на граничные значения — метод винсоризации).

Контроль качества

В промышленности и производстве правило применяется для выявления дефектных партий или аномальных показателей процессов. Например, если измерение размера детали выходит за границы Тьюки, это может сигнализировать о неисправности оборудования.

Медицина и биология

В клинических исследованиях правило помогает выявить пациентов с экстремальными значениями биомаркеров, которые могут быть связаны с редкими заболеваниями или ошибками измерений.

Пример

Рассмотрим набор данных: [5, 7, 8, 9, 10, 12, 15, 18, 22, 30, 100].

1. Сортируем: [5, 7, 8, 9, 10, 12, 15, 18, 22, 30, 100].
2. Q1 (25-й процентиль) = 8, Q3 (75-й процентиль) = 22.
3. IQR = 22 — 8 = 14.
4. Нижняя граница: 8 — 1.5 × 14 = 8 — 21 = -13.
5. Верхняя граница: 22 + 1.5 × 14 = 22 + 21 = 43.
6. Значения меньше -13: нет. Значения больше 43: 100.
7. Вывод: значение 100 является потенциальным выбросом.

Критика и ограничения

Чувствительность к асимметрии

Правило Тьюки предполагает симметричное распределение данных. Для сильно асимметричных распределений (например, логнормального) границы могут быть смещены, что приводит к ложному выявлению выбросов с одной стороны и пропуску с другой.

Зависимость от размера выборки

При малых выборках (n < 10) квартили могут быть неточно оценены, что снижает надёжность правила. Для больших выборок (n > 1000) даже незначительные отклонения могут быть помечены как выбросы, что требует корректировки множителя.

Отсутствие теоретического обоснования

Множитель 1.5 не имеет строгого математического обоснования и является эмпирическим правилом. В некоторых областях (например, в финансах) используются другие множители (2, 2.5, 3) в зависимости от требуемой чувствительности.

Неприменимость к многомерным данным

Правило Тьюки работает только для одномерных данных. Для многомерных выбросов (например, в пространстве признаков) требуются более сложные методы, такие как расстояние Махаланобиса или методы кластеризации.

Сравнение с другими методами

Интересные факты

• Джон Тьюки также известен как создатель термина «бит» (binary digit) и соавтор алгоритма быстрого преобразования Фурье (БПФ).
• Правило Тьюки часто используется в учебных курсах по статистике как первый шаг к пониманию выбросов, несмотря на его ограничения.
• В некоторых программных пакетах (например, в Python библиотеке matplotlib) по умолчанию при построении box plot используется множитель 1.5, но его можно изменить.

Источники

• Tukey, J. W. (1977). Exploratory Data Analysis. Addison-Wesley.
• Hoaglin, D. C., Mosteller, F., & Tukey, J. W. (1983). Understanding Robust and Exploratory Data Analysis. Wiley.
• McGill, R., Tukey, J. W., & Larsen, W. A. (1978). Variations of Box Plots. The American Statistician, 32(1), 12-16.
• Учебник по статистике: «Разведочный анализ данных» — издание МГУ им. М. В. Ломоносова, 2019.