Непараметрический критерий

Непараметрический критерий — это статистический критерий, не основанный на предположении о принадлежности выборочных данных к какому-либо известному параметрическому семейству распределений (например, нормальному, биномиальному, пуассоновскому). В отличие от параметрических критериев (таких как t-критерий Стьюдента или дисперсионный анализ), непараметрические критерии не требуют оценки параметров генеральной совокупности (среднего, дисперсии) и, как правило, оперируют не с самими значениями наблюдений, а с их рангами, знаками или категориями. Это делает их применимыми для данных, измеренных в порядковых или номинальных шкалах, а также для выборок малого объёма или с неизвестным законом распределения.

История

Истоки непараметрической статистики восходят к работам начала XX века. Одним из первых непараметрических критериев стал знаковый критерий, предложенный в 1710 году Джоном Арбетнотом для анализа соотношения рождений мальчиков и девочек, однако систематическое развитие направление получило лишь в 1930-х — 1940-х годах. В 1937 году Фрэнк Уилкоксон опубликовал работу, в которой описал ранговый критерий для двух независимых выборок (ныне известный как U-критерий Манна — Уитни). В 1945 году он же предложил критерий для парных сравнений (W-критерий Уилкоксона). В 1950-х годах значительный вклад внесли Уильям Крускал и Уоллис, разработавшие H-критерий для множественных сравнений, а также Морис Кендалл, создавший коэффициент ранговой корреляции тау. В СССР и России непараметрические методы активно развивались в рамках школы математической статистики, в частности, работами Ю. Н. Тюрина, А. А. Боровкова и В. Н. Вапника.

Классификация

Непараметрические критерии делятся на несколько основных групп в зависимости от типа решаемой задачи и характера данных.

По числу и типу выборок

• Критерии для одной выборки: проверяют гипотезы о законе распределения (критерий Колмогорова — Смирнова, критерий Шапиро — Уилка) или о значении медианы (знаковый критерий).
• Критерии для двух независимых выборок: сравнивают распределения двух групп, не связанных между собой (U-критерий Манна — Уитни, критерий Вальда — Вольфовица).
• Критерии для двух зависимых (парных) выборок: применяются для повторных измерений или парных наблюдений (W-критерий Уилкоксона, критерий знаков).
• Критерии для трёх и более выборок: обобщают парные сравнения на множественные группы (H-критерий Крускала — Уоллиса, Q-критерий Кохрена).

По типу измеряемых данных

• Ранговые критерии: используют порядковые номера (ранги) наблюдений. Примеры: U-критерий Манна — Уитни, H-критерий Крускала — Уоллиса.
• Знаковые критерии: учитывают только знак разности между измерениями (например, знаковый критерий).
• Критерии для номинальных данных: основаны на частотах попадания в категории (критерий χ² Пирсона, точный критерий Фишера, G-критерий).

По цели проверки

• Критерии согласия: проверяют, соответствует ли эмпирическое распределение теоретическому (критерий Колмогорова — Смирнова, критерий Андерсона — Дарлинга).
• Критерии однородности: проверяют, принадлежат ли две или более выборки одному и тому же распределению (U-критерий Манна — Уитни, критерий Краскела — Уоллиса).
• Критерии независимости: проверяют наличие связи между двумя переменными (коэффициент ранговой корреляции Спирмена, тау Кендалла, критерий χ² для таблиц сопряжённости).

Основные непараметрические критерии

Критерий Колмогорова — Смирнова (одновыборочный)

Предназначен для проверки гипотезы о том, что выборка извлечена из заданного непрерывного распределения. Статистика критерия — максимальное абсолютное отклонение эмпирической функции распределения от теоретической. Критическое значение зависит от объёма выборки и уровня значимости. Критерий чувствителен к любым отклонениям от гипотетического распределения, но имеет низкую мощность при малых выборках.

U-критерий Манна — Уитни

Используется для сравнения двух независимых выборок по уровню количественного признака, измеренного в порядковой или непрерывной шкале. Нулевая гипотеза состоит в том, что распределения обеих выборок одинаковы. Статистика U вычисляется как количество пар «первая выборка — вторая выборка», в которых значение из первой выборки меньше значения из второй. При больших выборках распределение U аппроксимируется нормальным.

W-критерий Уилкоксона (для парных сравнений)

Применяется для анализа парных наблюдений (например, «до» и «после» лечения). Учитывает не только знак разности, но и её величину. Вычисляется сумма рангов положительных разностей. Критерий более мощный, чем знаковый, но требует, чтобы разности были хотя бы порядковыми.

H-критерий Крускала — Уоллиса

Обобщение U-критерия Манна — Уитни на случай трёх и более независимых выборок. Проверяет гипотезу о равенстве медиан нескольких групп. Статистика H имеет распределение χ² с числом степеней свободы, равным количеству групп минус один. При значимом результате проводятся попарные сравнения (например, с помощью критерия Данна).

Коэффициент ранговой корреляции Спирмена

Измеряет монотонную связь между двумя переменными, измеренными в порядковой или непрерывной шкале. Вычисляется как коэффициент корреляции Пирсона, но для рангов. Значения изменяются от −1 до +1. Нулевая гипотеза — отсутствие корреляции. Критерий устойчив к выбросам и не требует линейности связи.

Критерий χ² Пирсона

Широко применяется для анализа таблиц сопряжённости (номинальных данных). Проверяет гипотезу о независимости двух категориальных переменных или о соответствии наблюдаемых частот ожидаемым. Статистика χ² вычисляется как сумма квадратов отклонений наблюдаемых частот от ожидаемых, делённых на ожидаемые частоты. Критерий требует, чтобы ожидаемые частоты в каждой ячейке были не менее 5 (для таблиц 2×2 допускается использование поправки Йейтса).

Преимущества и недостатки

Преимущества

• Робастность: непараметрические критерии устойчивы к нарушениям предположений о нормальности и гомоскедастичности.
• Универсальность: применимы к данным любого типа (номинальным, порядковым, ранговым), а также к выборкам малого объёма (n < 30).
• Простота интерпретации: многие критерии основаны на интуитивно понятных понятиях (ранг, знак, частота).
• Меньшая чувствительность к выбросам: экстремальные значения влияют на ранги, но не на сами значения.

Недостатки

• Меньшая статистическая мощность: при одинаковом объёме выборки и соблюдении условий параметрических критериев (нормальность, гомоскедастичность) непараметрические критерии имеют меньшую мощность (то есть реже отвергают ложную нулевую гипотезу). Однако при малых выборках или сильных отклонениях от нормальности мощность может быть выше.
• Потеря информации: преобразование количественных данных в ранги или категории приводит к потере части информации о величине различий.
• Ограниченные возможности для сложных моделей: непараметрические методы менее развиты для многофакторного анализа, регрессии и анализа временных рядов, хотя существуют непараметрические аналоги (например, регрессия на основе ядерных оценок).

Применение

Непараметрические критерии широко используются в различных областях науки и практики:

• Медицина и биология: анализ эффективности лекарств при малых выборках, сравнение групп пациентов с ненормальным распределением показателей (например, уровней гормонов), анализ выживаемости.
• Психология и социология: обработка данных опросов, измеренных в порядковых шкалах (баллы, рейтинги), анализ ранговых предпочтений.
• Экономика и финансы: анализ доходов, цен, рейтингов, где распределения часто асимметричны и содержат выбросы.
• Технические науки: контроль качества продукции, анализ надёжности, обработка результатов экспериментов с малым числом наблюдений.
• Экология: сравнение видового разнообразия, анализ распределения численности организмов.

Примеры

1. Сравнение двух методов лечения: исследователь хочет сравнить время восстановления после двух типов операций. Выборки малы (n=10 и n=12), распределение времени восстановления неизвестно. Применяется U-критерий Манна — Уитни. Если p-значение меньше 0,05, делается вывод о статистически значимом различии.

1. Анализ опроса: респонденты оценивают качество обслуживания по шкале от 1 до 5 (порядковая шкала). Для сравнения оценок двух групп клиентов используется H-критерий Крускала — Уоллиса, а для выявления связи между оценкой и возрастом — коэффициент ранговой корреляции Спирмена.

1. Проверка нормальности: перед применением параметрического t-критерия исследователь проверяет, нормально ли распределены данные, с помощью критерия Шапиро — Уилка. Если p-значение меньше 0,05, гипотеза о нормальности отвергается, и используется непараметрический аналог.

Источники

• Холлендер М., Вулф Д. Непараметрические методы статистики. — М.: Финансы и статистика, 1983.
• Кендалл М., Стьюарт А. Статистические выводы и связи. — М.: Наука, 1973.
• Лапач С. Н., Чубенко А. В., Бабич П. Н. Статистические методы в медико-биологических исследованиях с использованием Excel. — Киев: Морион, 2001.
• Орлов А. И. Непараметрические критерии согласия. — М.: МГТУ им. Н. Э. Баумана, 2014.
• Эфрон Б. Нетрадиционные методы многомерного статистического анализа. — М.: Финансы и статистика, 1988.