Тест хи-квадрат

Тест хи-квадрат (χ²-тест) — это собирательное название статистических критериев, основанных на распределении хи-квадрат (χ²-распределении). Наиболее распространёнными являются критерий согласия Пирсона (проверка соответствия эмпирического распределения теоретическому) и критерий независимости (проверка наличия связи между двумя категориальными переменными в таблице сопряжённости). Тест позволяет оценить, насколько наблюдаемые частоты отличаются от ожидаемых при условии справедливости нулевой гипотезы.

История

Метод был разработан английским статистиком Карлом Пирсоном в 1900 году. В своей работе «О критерии того, что данная система отклонений от вероятного в случае коррелированной системы переменных такова, что её можно разумно считать возникшей случайной выборкой» Пирсон ввёл статистику:

\[ \chi^2 = \sum \frac{(O_i - E_i)^2}{E_i} \]

где \(O_i\) — наблюдаемые частоты, \(E_i\) — ожидаемые частоты. Пирсон показал, что при определённых условиях эта сумма асимптотически распределена как χ²-распределение. Работа заложила основы современной статистической проверки гипотез и анализа таблиц сопряжённости.

Математическая основа

Распределение хи-квадрат

Распределение хи-квадрат с \(k\) степенями свободы — это распределение суммы квадратов \(k\) независимых стандартных нормальных случайных величин. Его плотность вероятности задаётся формулой:

\[ f(x; k) = \frac{1}{2^{k/2} \Gamma(k/2)} x^{k/2 - 1} e^{-x/2}, \quad x > 0 \]

где \(\Gamma\) — гамма-функция. Математическое ожидание равно \(k\), дисперсия — \(2k\).

Статистика критерия

Общая формула статистики Пирсона:

\[ \chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i} \]

При выполнении нулевой гипотезы и достаточном объёме выборки (обычно все ожидаемые частоты \(E_i \ge 5\)) эта статистика асимптотически распределена как χ² с числом степеней свободы, зависящим от типа задачи.

Основные виды теста хи-квадрат

Критерий согласия Пирсона (goodness-of-fit)

Используется для проверки гипотезы о том, что выборка извлечена из распределения с заданным законом. Например, проверка, соответствует ли распределение оценок студентов нормальному распределению.

Нулевая гипотеза \(H_0\): Наблюдаемые частоты соответствуют теоретическому распределению.

Число степеней свободы: \(k - 1 - p\), где \(k\) — количество категорий, \(p\) — число оцениваемых по выборке параметров теоретического распределения.

Критерий независимости (test of independence)

Применяется для анализа таблиц сопряжённости размером \(r \times c\). Проверяет гипотезу об отсутствии связи между двумя категориальными переменными.

Нулевая гипотеза \(H_0\): Переменные независимы.

Ожидаемая частота для ячейки \((i, j)\):

\[ E_{ij} = \frac{(\text{сумма по строке } i) \times (\text{сумма по столбцу } j)}{\text{общий объём выборки}} \]

Число степеней свободы: \((r - 1)(c - 1)\).

Критерий однородности (test of homogeneity)

Проверяет, одинаково ли распределение некоторой категориальной переменной в нескольких популяциях. По форме расчёта идентичен критерию независимости, но интерпретация иная: проверяется, что выборки извлечены из одного распределения.

Условия применимости

Для корректного применения теста хи-квадрат необходимо соблюдение следующих условий:

1. Случайность выборки: Наблюдения должны быть независимыми и случайными.
2. Категориальность данных: Переменные должны быть номинальными или порядковыми.
3. Достаточный объём выборки: Классическое правило — не более 20% ожидаемых частот должны быть меньше 5, и ни одна ожидаемая частота не должна быть меньше 1. При нарушении этого условия рекомендуется использовать точный критерий Фишера или объединять категории.
4. Взаимоисключающие категории: Каждое наблюдение должно попадать ровно в одну категорию.

Пример применения

Критерий независимости

Исследуется связь между полом и предпочтением определённого напитка (чай или кофе). Получены следующие наблюдаемые частоты:

Расчёт ожидаемых частот:

• Мужчины, чай: \(E = (50 \times 40) / 100 = 20\)
• Мужчины, кофе: \(E = (50 \times 60) / 100 = 30\)
• Женщины, чай: \(E = (50 \times 40) / 100 = 20\)
• Женщины, кофе: \(E = (50 \times 60) / 100 = 30\)

Статистика:

\[ \chi^2 = \frac{(30-20)^2}{20} + \frac{(20-30)^2}{30} + \frac{(10-20)^2}{20} + \frac{(40-30)^2}{30} = 5 + 3.33 + 5 + 3.33 = 16.66 \]

Число степеней свободы: \((2-1)(2-1) = 1\).

Критическое значение для \(\alpha = 0.05\) и 1 степени свободы: \(\chi^2_{0.05;1} = 3.84\). Так как \(16.66 > 3.84\), нулевая гипотеза о независимости отвергается. Связь между полом и предпочтением напитка статистически значима.

Ограничения и критика

1. Чувствительность к объёму выборки: При очень больших выборках даже незначительные отклонения от нулевой гипотезы становятся статистически значимыми. Для оценки практической значимости рекомендуется использовать меры силы связи (коэффициент Крамера V, фи-коэффициент).
2. Неприменимость к малым выборкам: При малых ожидаемых частотах распределение статистики плохо аппроксимируется χ²-распределением, что приводит к завышению ошибки первого рода.
3. Отсутствие информации о направлении связи: Тест не указывает, как именно связаны переменные, а лишь констатирует наличие или отсутствие связи.
4. Неинвариантность к объединению категорий: Результаты могут существенно меняться при объединении или разбиении категорий, что может быть использовано для манипуляции выводами.

Интересные факты

• Карл Пирсон разработал критерий для анализа данных о наследственности, но вскоре он стал универсальным инструментом в биологии, медицине, социологии и маркетинге.
• Статистика хи-квадрат является частным случаем обобщённого критерия отношения правдоподобия (G-тест), который также асимптотически распределён как χ².
• В пакетах статистического анализа (R, SPSS, Python SciPy) тест хи-квадрат реализован в стандартных функциях, что делает его одним из самых доступных критериев для проверки гипотез.

Источники

1. Pearson, K. (1900). On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine, 50(302), 157–175.
2. Cramér, H. (1946). Mathematical Methods of Statistics. Princeton University Press.
3. Agresti, A. (2002). Categorical Data Analysis (2nd ed.). Wiley.
4. Гмурман, В. Е. (2003). Теория вероятностей и математическая статистика. Высшая школа.