Квантиль

Квантиль — это одно из фундаментальных понятий в статистике и теории вероятностей, обозначающее значение, которое делит упорядоченное множество данных (выборку или распределение вероятностей) на заданные доли. Квантили используются для описания структуры данных, выявления выбросов, построения доверительных интервалов и проверки статистических гипотез. В отличие от среднего арифметического, квантили устойчивы к экстремальным значениям, что делает их незаменимыми при анализе асимметричных распределений.

Определение и формализация

Пусть \( X \) — случайная величина с функцией распределения \( F(x) = P(X \le x) \). Квантилем уровня \( p \) (где \( 0 < p < 1 \)) называется такое число \( x_p \), что:

\[ P(X \le x_p) \ge p \quad \text{и} \quad P(X \ge x_p) \ge 1-p. \]

Для непрерывных распределений с монотонной функцией распределения квантиль определяется однозначно как обратная функция: \( x_p = F^{-1}(p) \). Для дискретных или эмпирических распределений, где функция распределения ступенчатая, квантиль может быть не единственным — в таких случаях обычно берут наименьшее значение, удовлетворяющее условию.

На практике часто используют выборочный квантиль — значение, вычисленное по конечной выборке. Существует несколько методов его расчёта (например, метод ближайшего ранга, линейная интерполяция), что может приводить к незначительным расхождениям в результатах разных статистических пакетов.

История

Понятие квантиля было введено в статистическую практику в конце XIX — начале XX века. Термин «квантиль» (от лат. quantum — «сколько») предложил американский статистик Морис Кендалл в 1940 году. Однако идея деления данных на равные части восходит к работам Карла Фридриха Гаусса (теория ошибок) и Фрэнсиса Гальтона (процентили в антропометрии). В 1885 году Гальтон ввёл понятие «процентиль» для описания распределения роста человека. В 1930-х годах развитие получила теория порядковых статистик, что позволило строго обосновать свойства квантилей.

Классификация квантилей

В зависимости от количества частей, на которые делится распределение, выделяют несколько специальных видов квантилей:

Медиана

Медиана — это квантиль уровня 0,5, то есть значение, которое делит упорядоченный набор данных пополам: 50% значений меньше медианы, 50% — больше. В симметричных распределениях медиана совпадает со средним арифметическим, но в асимметричных — отличается. Медиана является более робастной оценкой центра распределения, чем среднее, так как не чувствительна к выбросам.

Квартили

Квартили делят распределение на четыре равные части. Выделяют три квартиля:

• Первый квартиль (\( Q_1 \)) — квантиль уровня 0,25 (25-й процентиль). 25% данных меньше или равны \( Q_1 \).
• Второй квартиль (\( Q_2 \)) — медиана (квантиль 0,5).
• Третий квартиль (\( Q_3 \)) — квантиль уровня 0,75 (75-й процентиль).

Разность между третьим и первым квартилями называется межквартильным размахом (IQR, от англ. Interquartile Range). Он используется для построения «ящиков с усами» (box plot) и для выявления выбросов: значения, выходящие за пределы \( [Q_1 - 1.5 \cdot IQR, Q_3 + 1.5 \cdot IQR] \), часто считаются потенциальными выбросами.

Децили

Децили делят распределение на десять равных частей. Соответственно, существуют девять децилей: \( D_1, D_2, \dots, D_9 \), где \( D_1 \) — 10-й процентиль, \( D_5 \) — медиана, \( D_9 \) — 90-й процентиль. Децили часто применяются в социально-экономической статистике для анализа неравенства доходов (например, децильный коэффициент).

Процентили

Процентили делят распределение на 100 равных частей. 1-й процентиль — это значение, ниже которого находятся 1% данных, 99-й процентиль — ниже которого находятся 99% данных. Процентили широко используются в психометрии (например, IQ-тесты), антропометрии (таблицы роста и веса детей) и в финансах (Value at Risk).

Свойства квантилей

1. Монотонность: если \( p_1 < p_2 \), то \( x_{p_1} \le x_{p_2} \).
2. Инвариантность к монотонным преобразованиям: если \( g \) — строго возрастающая функция, то квантили преобразованной величины \( g(X) \) равны \( g(x_p) \).
3. Робастность: квантили крайних уровней (например, 0,01 и 0,99) менее чувствительны к выбросам, чем среднее, но более чувствительны, чем медиана.
4. Асимптотическая нормальность: для выборки большого объёма выборочный квантиль имеет распределение, близкое к нормальному, что позволяет строить доверительные интервалы.

Методы вычисления выборочных квантилей

Существует несколько алгоритмов расчёта квантилей по выборке. Наиболее распространённые описаны в стандарте ISO 5479 (1997) и в рекомендациях Национального института стандартов и технологий США (NIST). Основные методы:

• Метод ближайшего ранга: квантиль уровня \( p \) равен элементу выборки с индексом \( \lceil n \cdot p \rceil \), где \( n \) — объём выборки, а \( \lceil \cdot \rceil \) — округление вверх.
• Линейная интерполяция: между двумя соседними элементами выборки, ранги которых окружают \( n \cdot p \), проводится линейная интерполяция. Этот метод даёт более гладкие оценки и используется в большинстве статистических программ (например, R, Python, Excel).

В Microsoft Excel функция КВАРТИЛЬ.ВКЛ использует интерполяцию, а КВАРТИЛЬ.ИСКЛ — другой метод. В Python (библиотека NumPy) по умолчанию применяется метод линейной интерполяции.

Применение

Описательная статистика

Квантили — основа для построения «ящиков с усами» (box plot), которые визуализируют медиану, межквартильный размах и выбросы. Они позволяют быстро оценить асимметрию и разброс данных.

Эконометрика и финансы

В финансовом риск-менеджменте квантили используются для расчёта Value at Risk (VaR) — меры рыночного риска. VaR уровня 0,05 означает, что с вероятностью 95% потери портфеля не превысят данного значения. Квантили также применяются в моделировании доходности активов и в теории экстремальных значений.

Медицина и биология

В педиатрии квантильные таблицы (центальные таблицы) используются для оценки физического развития детей: рост, вес, окружность головы сравниваются с популяционными нормами. Например, ребёнок с ростом ниже 3-го процентиля считается низкорослым.

Социология и экономика

Для измерения неравенства доходов применяются децильные коэффициенты (отношение доходов 10% самых богатых к 10% самых бедных). Квантильная регрессия, предложенная Роджером Кенкером в 1978 году, позволяет оценивать влияние факторов на различные квантили распределения, а не только на среднее.

Машинное обучение

В задачах регрессии квантильная регрессия используется для прогнозирования интервалов, а не точечных оценок. В деревьях решений квантили применяются для разделения данных. В обнаружении аномалий значения, выходящие за границы определённых квантилей, маркируются как выбросы.

Критика и ограничения

Основной недостаток квантилей — потеря информации: при сведении данных к нескольким точкам (например, медиане и квартилям) теряется детальная структура распределения. Кроме того, для малых выборок (менее 10–20 наблюдений) выборочные квантили могут быть ненадёжными. Разные методы вычисления квантилей могут давать различные результаты для одних и тех же данных, что иногда приводит к путанице. В асимметричных распределениях с тяжёлыми хвостами (например, распределение Парето) квантили крайних уровней (0,01 и 0,99) могут быть неустойчивы.

Связь с другими статистическими понятиями

Квантили тесно связаны с функцией распределения и функцией квантилей (обратной функцией распределения). В теории вероятностей квантили используются для построения квантильных преобразований — метода приведения произвольного распределения к равномерному на отрезке [0,1]. Это лежит в основе метода обратного преобразования для генерации случайных чисел.

В непараметрической статистике квантили используются в критерии знаков и критерии Уилкоксона. В анализе временных рядов — для оценки волатильности (например, квантильная автокорреляция).

Источники

1. Кендалл М., Стьюарт А. «Статистические выводы и связи». — М.: Наука, 1973.
2. Ван дер Варден Б. Л. «Математическая статистика». — М.: ИЛ, 1960.
3. Hyndman R. J., Fan Y. «Sample Quantiles in Statistical Packages» // The American Statistician, 1996, Vol. 50, No. 4, pp. 361–365.
4. Koenker R. «Quantile Regression». — Cambridge University Press, 2005.
5. ГОСТ Р ИСО 5479-2002 «Статистические методы. Проверка отклонения распределения вероятностей от нормального».