Статистика Колмогорова-Смирнова

Статистика Колмогорова-Смирнова (также критерий Колмогорова-Смирнова, K-S-тест) — это непараметрический статистический критерий, используемый для проверки гипотезы о принадлежности наблюдаемой выборки некоторому теоретическому закону распределения (одновыборочный критерий) или для сравнения двух независимых выборок на предмет их принадлежности к одному и тому же неизвестному закону распределения (двухвыборочный критерий). Критерий основан на измерении максимального расстояния между эмпирической функцией распределения и теоретической функцией распределения (для одновыборочного случая) или между двумя эмпирическими функциями распределения (для двухвыборочного случая). Статистика критерия названа в честь советского математика Андрея Николаевича Колмогорова, который в 1933 году предложил её одновыборочный вариант, и советского математика Николая Васильевича Смирнова, который в 1939 году обобщил её на случай двух выборок.

История

Предпосылки к созданию критерия возникли в начале XX века в связи с потребностью в методах проверки согласия эмпирических данных с теоретическими распределениями. До этого широко использовался критерий «хи-квадрат» Пирсона, который, однако, имел ограничения, связанные с необходимостью группировки данных и зависимостью от выбора числа интервалов.

В 1933 году Андрей Николаевич Колмогоров опубликовал работу «Об эмпирическом определении закона распределения вероятностей», в которой предложил статистику, основанную на максимальном отклонении эмпирической функции распределения от теоретической. Он доказал, что при справедливости нулевой гипотезы (выборка принадлежит данному распределению) и при непрерывности теоретического распределения, распределение этой статистики не зависит от вида теоретического распределения и стремится к некоторому предельному закону при увеличении объёма выборки. Это свойство сделало критерий особенно привлекательным для практического применения.

В 1939 году Николай Васильевич Смирнов, ученик Колмогорова, обобщил подход на случай сравнения двух эмпирических распределений, что позволило проверять гипотезу об однородности двух выборок. Впоследствии критерий получил название «критерий Колмогорова-Смирнова» и стал одним из наиболее распространённых непараметрических тестов.

Формулировка критерия

Одновыборочный критерий (Колмогорова)

Пусть имеется выборка $X_1, X_2, ..., X_n$ объёма $n$ из непрерывного распределения с функцией распределения $F(x)$. Нулевая гипотеза $H_0$ заключается в том, что выборка взята из распределения с заданной теоретической функцией распределения $F_0(x)$.

Эмпирическая функция распределения $F_n(x)$ определяется как доля элементов выборки, не превосходящих $x$:

$$F_n(x) = \frac{1}{n} \sum_{i=1}^{n} I(X_i \le x)$$

где $I$ — индикаторная функция.

Статистика Колмогорова $D_n$ определяется как максимальное по модулю отклонение эмпирической функции распределения от теоретической:

$$D_n = \sup_{x} |F_n(x) - F_0(x)|$$

На практике, для выборки, упорядоченной по возрастанию $x_{(1)} \le x_{(2)} \le ... \le x_{(n)}$, статистика вычисляется как:

$$D_n = \max_{i=1,...,n} \left\{ \max \left( \frac{i}{n} - F_0(x_{(i)}), F_0(x_{(i)}) - \frac{i-1}{n} \right) \right\}$$

Колмогоров показал, что при справедливости $H_0$ и непрерывности $F_0(x)$ распределение величины $\sqrt{n} D_n$ стремится к распределению Колмогорова, которое не зависит от $F_0(x)$. Критические значения для статистики $D_n$ табулированы для различных уровней значимости и объёмов выборок. Если наблюдаемое значение $D_n$ превышает критическое, нулевая гипотеза отвергается.

Двухвыборочный критерий (Смирнова)

Пусть имеются две независимые выборки $X_1, X_2, ..., X_m$ и $Y_1, Y_2, ..., Y_n$ объёмов $m$ и $n$ соответственно из непрерывных распределений с функциями распределения $F(x)$ и $G(x)$. Нулевая гипотеза $H_0$ заключается в том, что распределения выборок одинаковы: $F(x) = G(x)$ для всех $x$.

Эмпирические функции распределения для каждой выборки обозначаются как $F_m(x)$ и $G_n(x)$. Статистика Смирнова $D_{m,n}$ определяется как максимальное по модулю отклонение между двумя эмпирическими функциями распределения:

$$D_{m,n} = \sup_{x} |F_m(x) - G_n(x)|$$

При справедливости $H_0$ и непрерывности распределений, распределение статистики $D_{m,n}$ также стремится к распределению Колмогорова (с поправкой на объёмы выборок). Критические значения для двухвыборочного критерия также табулированы.

Свойства и ограничения

Преимущества

• Непараметричность: Критерий не требует знания параметров распределения (кроме случая проверки на конкретное распределение, когда параметры могут быть оценены, что требует корректировки).
• Универсальность: Применим к любым непрерывным распределениям.
• Чувствительность к форме распределения: Критерий чувствителен к различиям в центральной тенденции, дисперсии, асимметрии и эксцессе. Он может обнаружить различия, которые не заметны, например, для критерия Вилкоксона-Манна-Уитни.
• Простота интерпретации: Статистика $D$ имеет интуитивно понятный смысл — максимальное расстояние между функциями распределения.

Недостатки

• Чувствительность к выбросам: Критерий может быть чувствителен к единичным выбросам, которые могут существенно повлиять на значение статистики.
• Неприменимость к дискретным распределениям: В классической формулировке критерий предполагает непрерывность распределений. Для дискретных данных требуется модификация.
• Необходимость оценки параметров: Если теоретическое распределение задаётся с неизвестными параметрами (например, нормальное распределение с неизвестным средним и дисперсией), то их оценка по выборке и последующее применение стандартных критических значений приводит к завышению вероятности ошибки первого рода (отклонение верной гипотезы). Для таких случаев существуют модифицированные критерии (например, критерий Лиллиефорса для нормальности).
• Меньшая мощность по сравнению с параметрическими критериями: При выполнении предположений параметрических критериев (например, нормальность данных) K-S-тест обычно обладает меньшей статистической мощностью, чем, например, t-критерий Стьюдента для сравнения средних.

Применение

Критерий Колмогорова-Смирнова широко применяется в различных областях:

• Проверка нормальности: Одно из наиболее частых применений — проверка гипотезы о том, что выборка взята из нормального распределения. Однако, как отмечено выше, для этого случая рекомендуется использовать критерий Лиллиефорса, который учитывает оценку параметров.
• Сравнение распределений: В медицине, биологии, социологии и экономике для сравнения распределений двух групп (например, контрольной и экспериментальной).
• Анализ временных рядов: Для проверки стационарности ряда или сравнения распределений на разных временных интервалах.
• Обработка изображений: Для сравнения гистограмм изображений.
• Генетика: Для проверки соответствия наблюдаемых частот генотипов ожидаемым по закону Харди-Вайнберга.

Пример

Пусть имеется выборка из 10 наблюдений: 1.2, 1.8, 2.1, 2.5, 2.7, 3.0, 3.3, 3.6, 4.0, 4.5. Необходимо проверить гипотезу о том, что выборка взята из нормального распределения с математическим ожиданием 3 и стандартным отклонением 1.

1. Вычисляется теоретическая функция распределения $F_0(x)$ для каждого значения выборки (например, с помощью таблиц нормального распределения).
2. Вычисляется эмпирическая функция распределения $F_n(x)$.
3. Находится максимальное отклонение $D_n$.
4. Полученное значение $D_n$ сравнивается с критическим значением для уровня значимости 0.05 и объёма выборки 10. Если $D_n$ меньше критического, гипотеза не отвергается.

Интересные факты

• Статистика Колмогорова-Смирнова является частным случаем более общего класса статистик, называемых статистиками типа Колмогорова-Смирнова, которые включают, например, критерий Крамера-Мизеса-Смирнова и критерий Андерсона-Дарлинга.
• Распределение Колмогорова, к которому стремится статистика, имеет вид $K(x) = \sum_{k=-\infty}^{\infty} (-1)^k e^{-2k^2 x^2}$.
• В 1950-х годах была разработана модификация критерия для случая, когда параметры теоретического распределения оцениваются по выборке (критерий Лиллиефорса).

Источники

• Колмогоров А. Н. Об эмпирическом определении закона распределения вероятностей // Успехи математических наук. — 1933. — № 5.
• Смирнов Н. В. Оценка расхождения между эмпирическими кривыми распределения // Доклады АН СССР. — 1939. — Т. 24, № 1.
• Лемешко Б. Ю., Постовалов С. Н. Критерии проверки гипотез о законах распределения. — Новосибирск: Изд-во НГТУ, 2008.
• Кобзарь А. И. Прикладная математическая статистика. — М.: Физматлит, 2006.