Распределение хи-квадрат

Распределение хи-квадрат (χ²-распределение) — это непрерывное распределение вероятностей, которое является частным случаем гамма-распределения. Оно определяется как распределение суммы квадратов k независимых стандартных нормальных случайных величин. Параметр k называется числом степеней свободы. Распределение хи-квадрат является одним из фундаментальных распределений в математической статистике, широко применяется в критериях согласия, анализе таблиц сопряжённости, оценке дисперсий и проверке статистических гипотез.

Определение и математическая формулировка

Пусть \( Z_1, Z_2, \dots, Z_k \) — независимые случайные величины, каждая из которых имеет стандартное нормальное распределение (среднее 0, дисперсия 1). Тогда случайная величина

\[ \chi^2_k = Z_1^2 + Z_2^2 + \dots + Z_k^2 \]

имеет распределение хи-квадрат с \( k \) степенями свободы. Обозначается как \( \chi^2_k \) или \( \chi^2(k) \).

Функция плотности вероятности

Функция плотности распределения хи-квадрат для \( x > 0 \) задаётся формулой:

\[ f(x; k) = \frac{1}{2^{k/2} \Gamma(k/2)} x^{k/2 - 1} e^{-x/2}, \]

где \( \Gamma \) — гамма-функция Эйлера. При \( x \leq 0 \) плотность равна нулю.

Функция распределения

Функция распределения (кумулятивная функция) выражается через неполную гамма-функцию:

\[ F(x; k) = \frac{\gamma(k/2, x/2)}{\Gamma(k/2)}, \]

где \( \gamma(s, t) \) — нижняя неполная гамма-функция.

Свойства распределения

Числовые характеристики

• Математическое ожидание: \( \mathbb{E}[\chi^2_k] = k \).
• Дисперсия: \( \mathbb{D}[\chi^2_k] = 2k \).
• Мода: \( \max(0, k - 2) \) при \( k \geq 2 \); при \( k = 1 \) мода равна 0.
• Коэффициент асимметрии: \( \sqrt{8/k} \).
• Коэффициент эксцесса: \( 12/k \).

Аддитивность

Если \( \chi^2_{k_1} \) и \( \chi^2_{k_2} \) — независимые случайные величины, имеющие распределение хи-квадрат с \( k_1 \) и \( k_2 \) степенями свободы соответственно, то их сумма также имеет распределение хи-квадрат с \( k_1 + k_2 \) степенями свободы:

\[ \chi^2_{k_1} + \chi^2_{k_2} \sim \chi^2_{k_1 + k_2}. \]

Связь с другими распределениями

• Гамма-распределение: распределение хи-квадрат является частным случаем гамма-распределения с параметром формы \( \alpha = k/2 \) и параметром масштаба \( \beta = 2 \).
• Нормальное распределение: при \( k = 1 \) распределение хи-квадрат совпадает с распределением квадрата стандартной нормальной величины.
• Распределение Стьюдента: если \( T \) имеет распределение Стьюдента с \( k \) степенями свободы, то \( T^2 \) имеет распределение Фишера с 1 и \( k \) степенями свободы, которое тесно связано с хи-квадрат.
• Распределение Фишера: отношение двух независимых хи-квадрат величин, нормированных на свои степени свободы, имеет распределение Фишера.
• Экспоненциальное распределение: при \( k = 2 \) распределение хи-квадрат совпадает с экспоненциальным распределением с параметром \( \lambda = 1/2 \).

Асимптотическое поведение

При увеличении числа степеней свободы \( k \) распределение хи-квадрат стремится к нормальному распределению. Для практических расчётов часто используется аппроксимация:

\[ \sqrt{2\chi^2_k} \approx \mathcal{N}(\sqrt{2k - 1}, 1). \]

Более точная аппроксимация Фишера:

\[ \chi^2_k \approx \mathcal{N}(k, 2k) \quad \text{при } k > 30. \]

История

Распределение хи-квадрат было впервые описано немецким математиком Фридрихом Робертом Гельмертом в 1876 году при исследовании распределения выборочной дисперсии в нормальной выборке. Независимо от него, в 1900 году английский статистик Карл Пирсон ввёл это распределение в контексте критерия согласия (критерий Пирсона), который позволяет проверять, соответствует ли эмпирическое распределение теоретическому. Пирсон опубликовал работу «О критерии того, что данная система отклонений от вероятного в случае коррелированной системы величин такова, что её можно разумно считать возникшей случайной выборкой», где впервые систематически изложил свойства распределения хи-квадрат и его применение. В честь Пирсона критерий часто называют «критерий хи-квадрат Пирсона».

Применение

Критерии согласия

Наиболее известное применение распределения хи-квадрат — критерий согласия Пирсона. Он используется для проверки гипотезы о том, что наблюдаемые частоты соответствуют ожидаемым частотам некоторого теоретического распределения. Статистика критерия вычисляется как:

\[ \chi^2 = \sum_{i=1}^{n} \frac{(O_i - E_i)^2}{E_i}, \]

где \( O_i \) — наблюдаемые частоты, \( E_i \) — ожидаемые частоты. При выполнении нулевой гипотезы эта статистика асимптотически имеет распределение хи-квадрат с \( n - 1 - p \) степенями свободы, где \( p \) — число оценённых параметров распределения.

Анализ таблиц сопряжённости

В анализе таблиц сопряжённости (например, 2×2 или r×c) распределение хи-квадрат используется для проверки независимости двух категориальных переменных. Статистика строится аналогично критерию Пирсона, а число степеней свободы равно \( (r - 1)(c - 1) \).

Оценка дисперсии

Если \( X_1, X_2, \dots, X_n \) — независимые нормально распределённые случайные величины с дисперсией \( \sigma^2 \), то выборочная дисперсия \( S^2 \) связана с распределением хи-квадрат:

\[ \frac{(n-1)S^2}{\sigma^2} \sim \chi^2_{n-1}. \]

Это свойство лежит в основе построения доверительных интервалов для дисперсии и проверки гипотез о дисперсии.

Анализ выживаемости и надёжности

В некоторых моделях анализа выживаемости распределение хи-квадрат используется для проверки гипотез о параметрах экспоненциального распределения (например, при оценке средней наработки на отказ).

Статистическое моделирование

Распределение хи-квадрат применяется в методе Монте-Карло для генерации случайных величин с заданным распределением, а также в байесовской статистике как априорное распределение для параметров дисперсии.

Таблицы и квантили

Для практического использования распределения хи-квадрат составлены таблицы квантилей (критических значений) для различных уровней значимости и чисел степеней свободы. Квантиль \( \chi^2_{\alpha, k} \) — это такое значение, что вероятность \( P(\chi^2_k \leq \chi^2_{\alpha, k}) = \alpha \). В современных статистических пакетах (R, Python, SPSS, Excel) квантили вычисляются автоматически.

Критика и ограничения

Основные ограничения применения распределения хи-квадрат связаны с требованиями к данным:

• Ожидаемые частоты: для критерия Пирсона рекомендуется, чтобы ожидаемые частоты в каждой ячейке таблицы были не менее 5. При меньших значениях распределение статистики может существенно отличаться от хи-квадрат.
• Независимость наблюдений: все наблюдения должны быть независимыми.
• Нормальность: при использовании распределения хи-квадрат для оценки дисперсии исходные данные должны быть нормально распределены. Отклонения от нормальности могут привести к неверным выводам.
• Асимптотичность: распределение хи-квадрат является асимптотическим, то есть точность аппроксимации возрастает с увеличением объёма выборки. При малых выборках результаты могут быть ненадёжными.

Интересные факты

• Распределение хи-квадрат является частным случаем распределения Уишарта — многомерного обобщения, используемого в многомерном статистическом анализе.
• При \( k = 2 \) распределение хи-квадрат эквивалентно экспоненциальному распределению с параметром \( \lambda = 1/2 \), что соответствует распределению времени между событиями в пуассоновском процессе с интенсивностью 1/2.
• В квантовой физике распределение хи-квадрат возникает при описании распределения энергии фотонов в тепловом излучении (распределение Планка в определённом приближении).

Источники

1. Пирсон К. «О критерии того, что данная система отклонений от вероятного в случае коррелированной системы величин такова, что её можно разумно считать возникшей случайной выборкой» (1900).
2. Гельмерт Ф. Р. «О вычислении вероятной ошибки из нескольких наблюдений» (1876).
3. Кендалл М., Стьюарт А. «Теория распределений». — М.: Наука, 1966.
4. Крамер Г. «Математические методы статистики». — М.: Мир, 1975.
5. Большев Л. Н., Смирнов Н. В. «Таблицы математической статистики». — М.: Наука, 1983.