Критерий согласия Колмогорова — Смирнова

Критерий согласия Колмогорова — Смирнова — это непараметрический статистический критерий, используемый для проверки гипотезы о принадлежности наблюдаемой выборки некоторому теоретическому закону распределения (одновыборочный критерий) или для проверки гипотезы о равенстве законов распределения двух независимых выборок (двухвыборочный критерий). Критерий основан на сравнении эмпирической функции распределения с теоретической (или с эмпирической функцией распределения другой выборки) с помощью статистики, равной максимальному абсолютному отклонению между ними. Разработан советским математиком Андреем Николаевичем Колмогоровым (1933) и независимо — советским математиком Николаем Васильевичем Смирновым (1939).

История

В 1933 году А. Н. Колмогоров опубликовал работу «Об определении эмпирической функции распределения», в которой впервые предложил статистику, названную впоследствии его именем, и вывел её асимптотическое распределение для случая полностью известной теоретической функции распределения. В 1939 году Н. В. Смирнов обобщил результат на случай сравнения двух эмпирических распределений, разработав двухвыборочный вариант критерия. В 1948 году Дж. Л. Дарлинг и Д. А. Дарбин уточнили распределение статистики для случая, когда параметры теоретического распределения оцениваются по выборке (критерий Колмогорова — Смирнова с поправкой Лилиефорса). В 1950-е годы критерий получил широкое распространение в прикладной статистике, особенно в геофизике, биологии и экономике, благодаря своей простоте и отсутствию требований к виду распределения.

Определение и статистика критерия

Одновыборочный критерий

Пусть \( X_1, X_2, \dots, X_n \) — независимая выборка объёма \( n \) из непрерывного распределения с функцией распределения \( F(x) \). Эмпирическая функция распределения \( F_n(x) \) определяется как:

\[ F_n(x) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{\{X_i \le x\}}, \]

где \( \mathbf{1} \) — индикаторная функция.

Статистика критерия Колмогорова — Смирнова для проверки гипотезы \( H_0: F(x) = F_0(x) \) (где \( F_0(x) \) — заданная теоретическая функция распределения) равна:

\[ D_n = \sup_{x \in \mathbb{R}} |F_n(x) - F_0(x)|. \]

На практике \( D_n \) вычисляется как максимум из абсолютных разностей между эмпирической и теоретической функциями распределения в точках выборки и в точках, непосредственно предшествующих им. Для непрерывных распределений \( D_n \) может быть записан как:

\[ D_n = \max_{1 \le i \le n} \left\{ \max\left( \left| \frac{i}{n} - F_0(X_{(i)}) \right|, \left| \frac{i-1}{n} - F_0(X_{(i)}) \right| \right) \right\}, \]

где \( X_{(1)} \le X_{(2)} \le \dots \le X_{(n)} \) — порядковые статистики выборки.

Двухвыборочный критерий

Для двух независимых выборок \( X_1, \dots, X_m \) и \( Y_1, \dots, Y_n \) с эмпирическими функциями распределения \( F_m(x) \) и \( G_n(x) \) статистика критерия равна:

\[ D_{m,n} = \sup_{x \in \mathbb{R}} |F_m(x) - G_n(x)|. \]

Гипотеза \( H_0: F(x) = G(x) \) (распределения одинаковы) отвергается при больших значениях \( D_{m,n} \).

Распределение статистики

Асимптотическое распределение

Колмогоров показал, что при \( n \to \infty \) и справедливости \( H_0 \) (для непрерывного \( F_0 \)):

\[ \sqrt{n} D_n \xrightarrow{d} K, \]

где \( K \) — распределение Колмогорова, функция распределения которого имеет вид:

\[ P(K \le x) = 1 - 2 \sum_{k=1}^\infty (-1)^{k-1} e^{-2k^2 x^2}, \quad x > 0. \]

Для двухвыборочного случая при \( m, n \to \infty \) и \( m/n \to \lambda \in (0, \infty) \):

\[ \sqrt{\frac{mn}{m+n}} D_{m,n} \xrightarrow{d} K. \]

Точное распределение

Для конечных \( n \) точное распределение \( D_n \) при \( H_0 \) может быть вычислено с помощью рекуррентных формул или комбинаторных методов (например, метод Смирнова — Бирнбаума). Для малых \( n \) (обычно \( n \le 40 \)) используются таблицы критических значений. Для больших \( n \) применяется асимптотическое приближение.

Модификации и обобщения

Критерий Лилиефорса

Если параметры теоретического распределения (например, среднее и дисперсия для нормального распределения) оцениваются по той же выборке, то распределение статистики \( D_n \) отличается от распределения Колмогорова. В 1967 году Хьюберт Лилиефорс предложил модификацию критерия для проверки нормальности, в которой используются критические значения, полученные методом Монте-Карло. Аналогичные поправки существуют для экспоненциального и других распределений.

Критерий Крамера — фон Мизеса

Альтернативой критерию Колмогорова — Смирнова является критерий Крамера — фон Мизеса, который использует интегральную меру отклонения \( \int (F_n(x) - F_0(x))^2 dF_0(x) \). Он обладает большей мощностью против некоторых альтернатив, особенно при отклонениях в «хвостах» распределения.

Критерий Андерсона — Дарлинга

Этот критерий является взвешенной версией критерия Крамера — фон Мизеса, придающей больший вес «хвостам» распределения. Он часто используется для проверки согласия с распределениями, имеющими тяжёлые хвосты.

Применение

Критерий Колмогорова — Смирнова широко применяется в различных областях:

• Проверка нормальности: используется как один из критериев для проверки гипотезы о нормальном распределении данных (часто с поправкой Лилиефорса).
• Сравнение выборок: двухвыборочный критерий применяется для проверки гипотезы о том, что две выборки извлечены из одного и того же распределения (например, в медицине для сравнения групп пациентов).
• Анализ временных рядов: для проверки стационарности и идентичности распределений в разные периоды.
• Геофизика и метеорология: для проверки соответствия эмпирических распределений осадков, температуры и других величин теоретическим моделям.
• Эконометрика: для тестирования качества подгонки моделей распределения доходов, цен и других экономических показателей.

Достоинства и недостатки

Достоинства

• Непараметричность: не требует предположений о виде распределения (кроме непрерывности).
• Простота вычислений: статистика легко вычисляется даже вручную для небольших выборок.
• Универсальность: применим для любых непрерывных распределений.
• Состоятельность: при увеличении объёма выборки вероятность отвергнуть ложную гипотезу стремится к 1.

Недостатки

• Чувствительность к непрерывности: критерий строго применим только к непрерывным распределениям; при наличии дискретных данных или связок (совпадающих значений) требуется модификация.
• Низкая мощность против альтернатив с различиями в «хвостах»: критерий больше чувствителен к отклонениям в центральной части распределения, чем к различиям в хвостах.
• Зависимость от точного задания теоретического распределения: при оценивании параметров по выборке распределение статистики меняется, и требуется использование поправок (например, Лилиефорса).
• Ограниченная применимость для малых выборок: при \( n < 10 \) мощность критерия может быть низкой.

Пример

Пусть имеется выборка объёма \( n = 10 \): \( \{1.2, 2.3, 3.1, 4.0, 5.5, 6.2, 7.8, 8.9, 9.5, 10.0\} \). Проверяется гипотеза о том, что выборка извлечена из равномерного распределения на отрезке \( [0, 10] \) (теоретическая функция распределения \( F_0(x) = x/10 \) для \( x \in [0, 10] \)).

Вычисляем эмпирическую функцию распределения и отклонения. Максимальное абсолютное отклонение \( D_{10} \) оказывается равным, например, 0.15. Для уровня значимости \( \alpha = 0.05 \) критическое значение для \( n = 10 \) составляет примерно 0.409 (по таблице Колмогорова). Поскольку \( 0.15 < 0.409 \), гипотеза о равномерном распределении не отвергается.

Источники

• Колмогоров А. Н. «Об определении эмпирической функции распределения» // Доклады Академии наук СССР. — 1933. — Т. 1. — С. 17–21.
• Смирнов Н. В. «Оценка расхождения между эмпирическими кривыми распределения» // Бюллетень Московского государственного университета. — 1939. — Т. 2. — Вып. 2. — С. 3–16.
• Лилиефорс Х. «О критерии Колмогорова — Смирнова для нормального распределения с неизвестными параметрами» // Journal of the American Statistical Association. — 1967. — Vol. 62. — P. 399–402.
• Дарлинг Д. А. «Критерии согласия на основе статистики Колмогорова — Смирнова» // Annals of Mathematical Statistics. — 1957. — Vol. 28. — P. 823–838.
• Кобзарь А. И. «Прикладная математическая статистика». — М.: Физматлит, 2006. — Гл. 5.