Критерий Колмогорова-Смирнова

Критерий Колмогорова-Смирнова (также известный как критерий согласия Колмогорова или критерий Колмогорова-Смирнова) — это непараметрический статистический критерий, используемый для проверки гипотезы о том, что выборка данных происходит из заданного непрерывного распределения (одновыборочный критерий), или для проверки гипотезы о том, что две независимые выборки извлечены из одного и того же непрерывного распределения (двухвыборочный критерий). Критерий основан на сравнении эмпирической функции распределения выборки с теоретической функцией распределения (для одновыборочного случая) или двух эмпирических функций распределения между собой (для двухвыборочного случая). Основной мерой расхождения является максимальное абсолютное различие между сравниваемыми функциями, называемое статистикой Колмогорова-Смирнова. Критерий является одним из наиболее мощных и широко применяемых непараметрических критериев согласия.

История

Критерий был впервые предложен советским математиком Андреем Николаевичем Колмогоровым в 1933 году в статье «Об эмпирическом определении закона распределения» (фр. «Sulla determinazione empirica di una legge di distribuzione»). Колмогоров вывел асимптотическое распределение для статистики, основанной на максимальном отклонении эмпирической функции распределения от теоретической, что позволило строить статистические тесты для проверки согласия.

В 1939 году советский математик Николай Васильевич Смирнов (также известный как Смирнов) независимо предложил двухвыборочную версию критерия, предназначенную для проверки гипотезы об одинаковом распределении двух выборок. Смирнов также исследовал свойства статистики и её распределение. В западной литературе критерий часто называют критерием Колмогорова-Смирнова (Kolmogorov-Smirnov test, K-S test), отдавая должное вкладу обоих учёных.

Математическая формулировка

Одновыборочный критерий Колмогорова

Пусть \( X_1, X_2, \dots, X_n \) — независимая выборка объёма \( n \) из некоторого непрерывного распределения с функцией распределения \( F(x) \). Эмпирическая функция распределения \( F_n(x) \) определяется как доля наблюдений, не превышающих \( x \): \[ F_n(x) = \frac{1}{n} \sum_{i=1}^n \mathbf{1}_{(-\infty, x]}(X_i) \] где \( \mathbf{1} \) — индикаторная функция.

Нулевая гипотеза \( H_0 \) состоит в том, что выборка подчиняется заданному теоретическому распределению с функцией распределения \( F_0(x) \): \( F(x) = F_0(x) \) для всех \( x \). Альтернативная гипотеза \( H_1 \) — \( F(x) \neq F_0(x) \) хотя бы для одного \( x \).

Статистика критерия \( D_n \) определяется как максимальное (по модулю) отклонение эмпирической функции распределения от теоретической: \[ D_n = \sup_{x} |F_n(x) - F_0(x)| \] На практике \( D_n \) вычисляется как максимум из абсолютных разностей между \( F_n(x) \) и \( F_0(x) \) во всех точках наблюдений.

При справедливости \( H_0 \) и непрерывности \( F_0(x) \) распределение статистики \( D_n \) не зависит от \( F_0(x) \) и является универсальным. Колмогоров показал, что при \( n \to \infty \) функция распределения нормированной статистики \( \sqrt{n} D_n \) стремится к функции Колмогорова: \[ \lim_{n \to \infty} P(\sqrt{n} D_n \le t) = K(t) = 1 - 2 \sum_{k=1}^{\infty} (-1)^{k-1} e^{-2k^2 t^2}, \quad t > 0 \] Для конечных \( n \) существуют точные таблицы критических значений \( D_{n, \alpha} \), где \( \alpha \) — уровень значимости. Если \( D_n > D_{n, \alpha} \), нулевая гипотеза отвергается.

Двухвыборочный критерий Смирнова

Пусть \( X_1, X_2, \dots, X_m \) и \( Y_1, Y_2, \dots, Y_n \) — две независимые выборки объёмов \( m \) и \( n \) из непрерывных распределений с функциями распределения \( F(x) \) и \( G(x) \) соответственно. Нулевая гипотеза \( H_0 \) состоит в том, что распределения одинаковы: \( F(x) = G(x) \) для всех \( x \). Альтернативная гипотеза \( H_1 \) — \( F(x) \neq G(x) \) хотя бы для одного \( x \).

Статистика критерия \( D_{m,n} \) определяется как максимальное абсолютное различие между эмпирическими функциями распределения \( F_m(x) \) и \( G_n(x) \): \[ D_{m,n} = \sup_{x} |F_m(x) - G_n(x)| \] При справедливости \( H_0 \) распределение \( D_{m,n} \) также является универсальным (при условии, что оба распределения непрерывны). Асимптотическое распределение при \( m, n \to \infty \) описывается той же функцией Колмогорова, но с нормировкой на \( \sqrt{\frac{mn}{m+n}} D_{m,n} \). Для конечных выборок используются критические значения, табулированные для различных объёмов.

Свойства и особенности

Преимущества

1. Непараметричность: Критерий не требует предположений о виде распределения (кроме непрерывности). Он работает с эмпирической функцией распределения, что делает его устойчивым к отклонениям от нормальности.
2. Универсальность: Распределение статистики при нулевой гипотезе не зависит от проверяемого распределения (для одновыборочного случая) или от общего распределения (для двухвыборочного случая), что упрощает построение критических областей.
3. Чувствительность к форме распределения: Критерий чувствителен к различиям в центральной тенденции, дисперсии, асимметрии и эксцессе. Он может обнаружить любые отклонения от нулевой гипотезы, в отличие от, например, критерия хи-квадрат, который чувствителен только к определённым типам отклонений.
4. Простота вычислений: Статистика \( D_n \) (или \( D_{m,n} \)) легко вычисляется, особенно для небольших выборок.

Недостатки

1. Чувствительность к связям (совпадениям): Критерий строго применим только к непрерывным распределениям. Наличие повторяющихся значений (связей) в выборке может исказить распределение статистики, особенно при малых объёмах выборки. Для дискретных данных существуют модификации критерия.
2. Низкая мощность против определённых альтернатив: Критерий может иметь низкую мощность (способность отвергнуть ложную нулевую гипотезу) при альтернативах, которые сильно отличаются в хвостах распределения, но мало различаются в центральной области. В таких случаях более мощными могут быть критерии, основанные на квадратичных отклонениях (например, критерий Андерсона-Дарлинга).
3. Зависимость от выбора теоретического распределения: В одновыборочном варианте критерий требует точного задания \( F_0(x) \), включая все параметры. Если параметры оцениваются по той же выборке (например, среднее и дисперсия для нормального распределения), стандартные критические значения становятся неверными. Для таких случаев существуют специальные модификации (например, критерий Лилиефорса).
4. Асимптотический характер: Точные критические значения для малых выборок табулированы, но для больших выборок используется асимптотическое распределение, которое может быть неточным при малых \( n \).

Применение

Критерий Колмогорова-Смирнова широко используется в различных областях науки и техники:

• Проверка нормальности: Одна из наиболее частых задач — проверка гипотезы о том, что выборка подчиняется нормальному распределению. Однако, как отмечено выше, для этого случая предпочтительнее использовать критерий Шапиро-Уилка или критерий Андерсона-Дарлинга, если параметры неизвестны.
• Сравнение двух выборок: В биологии, медицине, социологии и других областях для проверки гипотезы о том, что две группы данных (например, контрольная и экспериментальная) имеют одинаковое распределение.
• Проверка равномерности: Проверка гипотезы о том, что данные равномерно распределены на некотором интервале (например, в задачах генерации случайных чисел).
• Анализ временных рядов: Для проверки стационарности или идентичности распределений в разных временных отрезках.
• Экология: Для сравнения распределений видов в разных местообитаниях.
• Машинное обучение: Для проверки того, что распределение предсказанных значений модели соответствует какому-либо эталонному распределению.

Пример использования (одновыборочный критерий)

Предположим, исследователь хочет проверить, распределены ли оценки студентов по математике (выборка из 30 человек) нормально со средним 70 и стандартным отклонением 10. Он вычисляет эмпирическую функцию распределения \( F_{30}(x) \) и сравнивает её с теоретической функцией нормального распределения \( \Phi(x; 70, 10) \). Вычисляется \( D_{30} = \max |F_{30}(x) - \Phi(x; 70, 10)| \). Если \( D_{30} \) превышает критическое значение для уровня значимости 0,05 (например, \( D_{30, 0.05} \approx 0.242 \)), нулевая гипотеза о нормальности отвергается.

Модификации и обобщения

• Критерий Крамера-фон Мизеса: Использует интеграл квадрата разности между эмпирической и теоретической функциями распределения, что делает его более чувствительным к различиям по всей области определения.
• Критерий Андерсона-Дарлинга: Является взвешенной версией критерия Крамера-фон Мизеса, придающей больший вес хвостам распределения. Часто используется для проверки нормальности.
• Критерий Лилиефорса: Модификация одновыборочного критерия Колмогорова-Смирнова для проверки нормальности, когда параметры (среднее и дисперсия) оцениваются по выборке. Критические значения для этого критерия отличаются от стандартных.
• Многомерный критерий Колмогорова-Смирнова: Существуют обобщения критерия для многомерных данных, но их применение сложнее из-за проблем с определением порядка в многомерном пространстве.

Интересные факты

• Функция распределения статистики Колмогорова \( K(t) \) сходится экспоненциально быстро, что позволяет использовать асимптотические приближения даже для умеренных объёмов выборок.
• Критерий Колмогорова-Смирнова является одним из немногих непараметрических критериев, для которого известно точное (неасимптотическое) распределение статистики при нулевой гипотезе.
• В русскоязычной литературе критерий часто называют просто «критерий Колмогорова», а двухвыборочный — «критерий Смирнова», хотя в международной практике принято объединённое название.

Источники

1. Колмогоров А. Н. Об эмпирическом определении закона распределения // Теория вероятностей и математическая статистика. — М.: Наука, 1986. — С. 134–141.
2. Смирнов Н. В. Оценка расхождения между эмпирическими кривыми распределения // Доклады АН СССР. — 1939. — Т. 24, № 3. — С. 223–226.
3. Кендалл М., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973. — 899 с.
4. Лемешко Б. Ю., Постовалов С. Н. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход. — Новосибирск: Изд-во НГТУ, 2011. — 888 с.