Критерий согласия Пирсона

Критерий согласия Пирсона (также известный как критерий χ² (хи-квадрат) Пирсона) — это статистический критерий, используемый для проверки гипотез о законе распределения генеральной совокупности, а также для анализа таблиц сопряжённости. Он относится к группе непараметрических критериев и позволяет оценить, согласуются ли наблюдаемые (эмпирические) частоты с ожидаемыми (теоретическими) частотами, вытекающими из предполагаемой модели. Критерий был предложен английским математиком и биологом Карлом Пирсоном в 1900 году.

История

Критерий согласия Пирсона был разработан Карлом Пирсоном в конце XIX века в рамках его работы по математической статистике и биометрии. В 1900 году Пирсон опубликовал статью «On the criterion of a given system of deviations from the probable in the case of a correlated system of variables», в которой впервые формализовал процедуру проверки гипотез с использованием статистики χ².

Пирсон стремился создать инструмент для проверки того, насколько хорошо эмпирические данные соответствуют теоретическому распределению, например, нормальному или биномиальному. До этого учёные полагались в основном на визуальный анализ или простые меры разброса. Работа Пирсона заложила основы для современной теории проверки статистических гипотез и стала важным шагом в развитии прикладной статистики.

Основные понятия и принцип работы

Критерий Пирсона основан на сравнении наблюдаемых (эмпирических) частот \(O_i\) с ожидаемыми (теоретическими) частотами \(E_i\), которые рассчитываются на основе предполагаемого закона распределения. Основная идея заключается в том, что если гипотеза о распределении верна, то расхождения между \(O_i\) и \(E_i\) должны быть случайными и не превышать определённой величины.

Статистика критерия вычисляется по формуле:

\[ \chi^2 = \sum_{i=1}^{k} \frac{(O_i - E_i)^2}{E_i} \]

где:

• \(k\) — количество категорий (групп) или интервалов;
• \(O_i\) — наблюдаемая частота в i-й категории;
• \(E_i\) — ожидаемая частота в i-й категории.

Полученное значение сравнивается с критическим значением из распределения хи-квадрат с определённым числом степеней свободы. Если вычисленное значение превышает критическое, нулевая гипотеза о согласии распределений отвергается.

Число степеней свободы

Число степеней свободы \(df\) для критерия Пирсона зависит от количества категорий и числа оцениваемых параметров распределения:

\[ df = k - 1 - p \]

где \(p\) — количество параметров, оцениваемых по данным (например, для нормального распределения оцениваются среднее и стандартное отклонение, поэтому \(p = 2\)).

Условия применения

Для корректного использования критерия Пирсона необходимо соблюдение ряда условий:

1. Объём выборки: суммарный объём выборки \(n\) должен быть достаточно большим. Обычно рекомендуется, чтобы \(n \geq 50\), а ожидаемая частота в каждой категории была не менее 5. Если в какой-либо категории \(E_i < 5\), допускается объединение соседних категорий.
2. Независимость наблюдений: каждое наблюдение должно быть независимым от других.
3. Категориальные данные: данные должны быть представлены в виде частот по категориям (номинальная или порядковая шкала).
4. Случайность выборки: выборка должна быть случайной и репрезентативной.

Применение

Критерий согласия Пирсона широко используется в различных областях науки и практики.

Проверка гипотез о распределении

Наиболее распространённое применение — проверка того, подчиняются ли наблюдаемые данные определённому теоретическому распределению. Например:

• Проверка нормальности распределения (например, для применения параметрических критериев).
• Проверка соответствия распределения Пуассона (например, для числа редких событий).
• Проверка равномерности распределения (например, для генераторов случайных чисел).

Анализ таблиц сопряжённости

Критерий Пирсона используется для проверки независимости двух категориальных переменных в таблицах сопряжённости. В этом случае ожидаемые частоты рассчитываются на основе предположения о независимости переменных. Статистика вычисляется аналогично, но число степеней свободы определяется как \((r-1)(c-1)\), где \(r\) — число строк, \(c\) — число столбцов.

Пример: проверка равномерности распределения

Предположим, что игральная кость бросается 60 раз. Ожидается, что каждая грань выпадет 10 раз. Наблюдаемые частоты: 12, 8, 9, 11, 10, 10. Вычисляем статистику:

\[ \chi^2 = \frac{(12-10)^2}{10} + \frac{(8-10)^2}{10} + \frac{(9-10)^2}{10} + \frac{(11-10)^2}{10} + \frac{(10-10)^2}{10} + \frac{(10-10)^2}{10} = 0.4 + 0.4 + 0.1 + 0.1 + 0 + 0 = 1.0 \]

Число степеней свободы: \(df = 6 - 1 = 5\). Критическое значение для уровня значимости 0.05 составляет примерно 11.07. Так как 1.0 < 11.07, нулевая гипотеза о равномерности распределения не отвергается.

Ограничения и критика

Несмотря на широкую популярность, критерий Пирсона имеет ряд ограничений:

1. Чувствительность к объёму выборки: при очень больших выборках даже незначительные отклонения от гипотезы могут приводить к отвержению нулевой гипотезы, что может быть статистически значимо, но практически несущественно.
2. Требование к ожидаемым частотам: при малых ожидаемых частотах (менее 5) распределение статистики может существенно отличаться от теоретического распределения хи-квадрат, что снижает точность критерия.
3. Неприменимость для непрерывных данных без группировки: критерий требует разбиения данных на категории, что может привести к потере информации.
4. Альтернативные критерии: в некоторых случаях более мощными или точными могут быть точный критерий Фишера (для таблиц 2×2) или критерий Колмогорова-Смирнова (для проверки согласия с непрерывным распределением).

Модификации и родственные критерии

Существует несколько модификаций критерия Пирсона:

• Критерий χ² с поправкой Йейтса: применяется для таблиц сопряжённости 2×2 для уменьшения ошибки первого рода.
• Критерий отношения правдоподобия (G-критерий): альтернативный критерий, основанный на логарифмическом отношении правдоподобия, часто даёт схожие результаты.
• Критерий χ² для многопольных таблиц: обобщение на случай более двух категорий.

Значение в науке

Критерий согласия Пирсона является одним из фундаментальных инструментов статистического анализа. Он входит в стандартный набор методов, изучаемых в курсах статистики, и широко применяется в биологии, медицине, социологии, экономике, психологии, технике и других областях. Его простота и универсальность делают его незаменимым для проверки гипотез о распределениях и анализа категориальных данных.

Источники

1. Пирсон К. «On the criterion of a given system of deviations from the probable in the case of a correlated system of variables». Philosophical Magazine, Series 5, 1900, vol. 50, pp. 157–175.
2. Кендалл М., Стюарт А. «Статистические выводы и связи». М.: Наука, 1973.
3. Айвазян С. А., Енюков И. С., Мешалкин Л. Д. «Прикладная статистика: Основы моделирования и первичная обработка данных». М.: Финансы и статистика, 1983.
4. Гмурман В. Е. «Теория вероятностей и математическая статистика». М.: Высшая школа, 2003.
5. Леман Э. «Проверка статистических гипотез». М.: Наука, 1979.