Критерий Шапиро-Уилка

Критерий Шапиро-Уилка — это статистический тест, используемый для проверки гипотезы о том, что анализируемая выборка данных происходит из нормально распределённой генеральной совокупности. Он относится к группе критериев согласия и считается одним из наиболее мощных (чувствительных) тестов для проверки нормальности, особенно при малых объёмах выборки. Критерий был предложен Сэмюэлем Шапиро и Мартином Уилком в 1965 году.

История и предпосылки

Необходимость в точных методах проверки нормальности возникла в середине XX века, так как многие параметрические статистические методы (например, t-критерий Стьюдента, дисперсионный анализ) требуют предположения о нормальном распределении данных. Ранние критерии, такие как критерий хи-квадрат Пирсона или критерий Колмогорова-Смирнова, обладали рядом недостатков: низкой мощностью на малых выборках или чувствительностью к выбросам.

В 1965 году в журнале Biometrika была опубликована работа Шапиро и Уилка «An analysis of variance test for normality (complete samples)». Авторы предложили тест, основанный на анализе упорядоченных статистик и использующий метод наименьших квадратов для оценки дисперсии. Первоначально критерий был разработан для выборок объёмом от 3 до 50 наблюдений. Позднее, в 1968 году, Роустон (Royston) расширил его применение для выборок большего размера (до 2000 и более), адаптировав алгоритм расчёта.

Суть критерия

Критерий Шапиро-Уилка проверяет нулевую гипотезу (H₀) о том, что выборка взята из нормально распределённой совокупности. Альтернативная гипотеза (H₁) — распределение не является нормальным.

Основная идея заключается в сравнении двух оценок дисперсии:

1. Эмпирическая оценка дисперсии — вычисляется стандартным образом по выборочным данным.
2. Теоретическая оценка дисперсии — вычисляется на основе линейной комбинации упорядоченных значений выборки с весовыми коэффициентами, которые зависят от ожидаемых значений порядковых статистик для нормального распределения.

Если выборка действительно нормальна, эти две оценки должны быть близки. Если распределение отклоняется от нормального, они будут существенно различаться.

Статистика и расчёт

Статистика критерия Шапиро-Уилка (обозначается как W) вычисляется по формуле:

\[ W = \frac{ \left( \sum_{i=1}^{n} a_i x_{(i)} \right)^2 }{ \sum_{i=1}^{n} (x_i - \bar{x})^2 } \]

Где:

• \( x_{(i)} \) — i-е по порядку значение в упорядоченной по возрастанию выборке (порядковая статистика);
• \( \bar{x} \) — выборочное среднее арифметическое;
• \( a_i \) — весовые коэффициенты, которые являются функцией от математического ожидания и ковариации порядковых статистик для стандартного нормального распределения. Эти коэффициенты табулированы и зависят только от объёма выборки \( n \). Для нечётных \( n \) центральный вес равен нулю.

Значение \( W \) всегда находится в интервале от 0 до 1. Чем ближе \( W \) к 1, тем больше оснований считать, что распределение нормально. Если \( W \) меньше критического значения для заданного уровня значимости \( \alpha \) (обычно 0,05), нулевая гипотеза о нормальности отвергается.

Алгоритм расчёта (упрощённо)

1. Упорядочить выборку по возрастанию: \( x_{(1)} \le x_{(2)} \le ... \le x_{(n)} \).
2. Вычислить выборочное среднее \( \bar{x} \).
3. Вычислить сумму квадратов отклонений: \( SS = \sum_{i=1}^{n} (x_i - \bar{x})^2 \).
4. По таблице (или с помощью статистического пакета) получить коэффициенты \( a_i \) для заданного \( n \).
5. Вычислить линейную комбинацию: \( b = \sum_{i=1}^{n} a_i x_{(i)} \). Для чётных \( n \) суммирование ведётся по всем \( i \), для нечётных — центральный элемент умножается на ноль.
6. Вычислить \( W = b^2 / SS \).
7. Сравнить полученное \( W \) с критическим значением \( W_{крит} \) для выбранного уровня значимости \( \alpha \). Если \( W < W_{крит} \), гипотеза о нормальности отвергается.

Свойства и мощность

Критерий Шапиро-Уилка обладает рядом важных свойств:

• Высокая мощность: Для малых и средних выборок (n < 50) он часто превосходит по мощности критерий Колмогорова-Смирнова, критерий Андерсона-Дарлинга и критерий Крамера-фон Мизеса. Он хорошо обнаруживает отклонения от нормальности, вызванные асимметрией (скошенностью) или эксцессом (тяжёлыми хвостами).
• Чувствительность к выбросам: Критерий чувствителен к наличию выбросов, что может приводить к ложному отклонению гипотезы о нормальности, даже если основная масса данных распределена нормально.
• Ограничения: Критерий не предназначен для проверки нормальности, если выборка содержит повторяющиеся значения (связи, ties), особенно если их много. В таких случаях результаты могут быть искажены.
• Зависимость от объёма выборки: Для очень больших выборок (n > 5000) критерий может стать чрезмерно чувствительным, обнаруживая статистически значимые, но практически несущественные отклонения от нормальности. В таких случаях часто используют графические методы (гистограммы, Q-Q графики) в сочетании с критерием.

Применение

Критерий Шапиро-Уилка широко используется в различных областях, где требуется проверка нормальности данных:

• Медицина и биостатистика: Для проверки нормальности распределения физиологических показателей (давление, рост, вес) перед применением параметрических тестов.
• Психология и социология: При анализе результатов тестов и опросов.
• Эконометрика и финансы: Для проверки нормальности доходности активов, остатков регрессионных моделей.
• Контроль качества: Для анализа распределения параметров продукции.
• Экология и геология: При обработке результатов измерений природных процессов.

Пример

Пусть имеется выборка из 10 наблюдений: [1.2, 1.5, 1.8, 2.0, 2.1, 2.3, 2.5, 2.8, 3.0, 3.5].

1. Среднее \( \bar{x} \) = 2.27
2. Сумма квадратов \( SS \) = 4.201
3. Коэффициенты \( a_i \) для n=10 (из таблицы): [0.5739, 0.3291, 0.2141, 0.1224, 0.0399, -0.0399, -0.1224, -0.2141, -0.3291, -0.5739]
4. Линейная комбинация \( b \) = 0.57391.2 + 0.32911.5 + ... + (-0.5739)*3.5 = -0.861
5. Статистика \( W \) = (-0.861)² / 4.201 = 0.741 / 4.201 ≈ 0.176

Критическое значение \( W_{крит} \) для n=10 и α=0.05 составляет примерно 0.842. Так как 0.176 < 0.842, нулевая гипотеза о нормальности отвергается. Данные не соответствуют нормальному распределению.

Реализация в статистических пакетах

Критерий Шапиро-Уилка реализован в большинстве современных статистических программ:

• R: Функция shapiro.test() (входит в базовый пакет stats).
• Python: Функция scipy.stats.shapiro() (библиотека SciPy).
• SPSS: Команда EXAMINE VARIABLES=... /PLOT=... /STATISTICS=... (включает расчёт W).
• SAS: Процедура PROC UNIVARIATE с опцией NORMAL.
• Microsoft Excel: Не имеет встроенной функции, но может быть реализована с помощью надстроек (например, Analysis ToolPak) или ручного расчёта.

Критика и альтернативы

Несмотря на популярность, критерий Шапиро-Уилка имеет критиков:

• Чувствительность к связям: При наличии повторяющихся значений (например, из-за округления) мощность критерия падает.
• Сложность расчёта: До появления компьютеров расчёт коэффициентов \( a_i \) был трудоёмким, что ограничивало применение.
• Альтернативы: Для больших выборок часто предпочитают критерий Андерсона-Дарлинга (более чувствителен к отклонениям в хвостах) или графические методы. Для малых выборок (n < 3) критерий не применим.

В современной статистической практике рекомендуется использовать критерий Шапиро-Уилка в сочетании с визуальным анализом (Q-Q график) и, при необходимости, с другими тестами нормальности.

Источники

• Shapiro, S. S., & Wilk, M. B. (1965). An analysis of variance test for normality (complete samples). Biometrika, 52(3/4), 591-611.
• Royston, P. (1982). An extension of Shapiro and Wilk's W test for normality to large samples. Journal of the Royal Statistical Society: Series C (Applied Statistics), 31(2), 115-124.
• Royston, P. (1995). A remark on Algorithm AS 181: The W-test for normality. Journal of the Royal Statistical Society: Series C (Applied Statistics), 44(4), 547-551.
• Thode, H. C. (2002). Testing for normality. CRC Press.
• Razali, N. M., & Wah, Y. B. (2011). Power comparisons of Shapiro-Wilk, Kolmogorov-Smirnov, Lilliefors and Anderson-Darling tests. Journal of Statistical Modeling and Analytics, 2(1), 21-33.