Критерий Кокса

Критерий Кокса — это статистический тест, используемый для сравнения двух невложенных (неиерархических) регрессионных моделей, то есть моделей, одна из которых не может быть получена из другой путём ограничения параметров. Критерий был предложен британским статистиком Дэвидом Коксом в 1961 году и позволяет определить, какая из двух конкурирующих моделей лучше описывает наблюдаемые данные, не требуя, чтобы одна из них была истинной.

История

Критерий был разработан в контексте растущей популярности регрессионного анализа в середине XX века. До его появления сравнение моделей обычно проводилось с помощью тестов отношения правдоподобия, которые применимы только к вложенным моделям. Дэвид Кокс, один из ведущих статистиков своего времени, предложил обобщённый подход, основанный на идее «искусственной вложенности»: одна модель рассматривается как частный случай более общей модели, в которую включены элементы другой модели. Работа Кокса «Tests of Separate Families of Hypotheses» (1961) заложила основы для дальнейших исследований в области выбора моделей.

Основная идея

Критерий Кокса основан на сравнении логарифмических функций правдоподобия двух моделей. Пусть имеются две модели:

• Модель A: \( f_A(y | x, \theta_A) \)
• Модель B: \( f_B(y | x, \theta_B) \)

Где \( y \) — зависимая переменная, \( x \) — предикторы, \( \theta_A \) и \( \theta_B \) — векторы параметров. Критерий проверяет нулевую гипотезу \( H_0 \): модель A является истинной, против альтернативы \( H_1 \): модель B является истинной, и наоборот.

Статистика критерия Кокса для проверки модели A против модели B имеет вид:

\[ T_{AB} = \frac{L_A - L_B - \frac{1}{2} \cdot \text{Var}(L_A - L_B)}{\sqrt{\text{Var}(L_A - L_B)}} \]

Где \( L_A \) и \( L_B \) — логарифмические функции правдоподобия, оценённые по данным. Однако на практике чаще используется более простая форма, основанная на разности логарифмов правдоподобия с поправкой на смещение.

Процедура применения

1. Оценка параметров: Оцениваются параметры обеих моделей по одним и тем же данным (например, методом максимального правдоподобия).
2. Вычисление статистики: Для каждой пары моделей вычисляется статистика Кокса \( T_{AB} \) и \( T_{BA} \).
3. Сравнение с критическим значением: Статистика асимптотически распределена как стандартное нормальное распределение \( N(0,1) \). Если \( |T_{AB}| > 1.96 \) (для уровня значимости 0.05), то нулевая гипотеза о том, что модель A истинна, отвергается в пользу модели B. Если обе статистики указывают на отвержение одной из моделей, то ни одна из них не является адекватной.
4. Интерпретация: Возможны четыре исхода:

• Модель A не отвергается, модель B отвергается → модель A предпочтительнее.
• Модель B не отвергается, модель A отвергается → модель B предпочтительнее.
• Обе модели не отвергаются → данные не позволяют различить модели.
• Обе модели отвергаются → обе модели неадекватны, требуется поиск альтернативы.

Пример

Рассмотрим сравнение двух моделей для прогноза спроса на товар:

• Модель A: \( y = \beta_0 + \beta_1 x_1 + \varepsilon \) (линейная регрессия по доходу)
• Модель B: \( y = \gamma_0 + \gamma_1 \ln(x_1) + \varepsilon \) (логарифмическая регрессия)

Эти модели не являются вложенными, так как одна не получается из другой ограничением параметров. Применение критерия Кокса позволяет оценить, какая функциональная форма лучше соответствует данным. Если \( T_{AB} = 2.5 \), а \( T_{BA} = 0.8 \), то модель A отвергается, а модель B — нет, что указывает на предпочтение логарифмической модели.

Ограничения и критика

• Асимптотическая природа: Критерий основан на больших выборках. Для малых выборок его точность снижается, и распределение статистики может существенно отличаться от нормального.
• Симметричность: Критерий не даёт однозначного ответа, если обе модели отвергаются или обе не отвергаются. В таких случаях требуется дополнительный анализ.
• Чувствительность к спецификации: Результаты могут зависеть от предполагаемого распределения ошибок (например, нормальности). При нарушении допущений критерий может давать неверные выводы.
• Альтернативы: Существуют другие методы сравнения невложенных моделей, такие как информационные критерии (AIC, BIC), тест Ву (J-тест) и тест Дэвидсона-Маккиннона. Критерий Кокса часто уступает им по мощности в некоторых ситуациях.

Применение

Критерий Кокса широко используется в эконометрике, особенно при выборе между моделями с разными функциональными формами (линейная, логарифмическая, степенная) или разными наборами переменных. Он также применяется в биостатистике, психометрии и других областях, где необходимо сравнивать альтернативные теории или гипотезы, не являющиеся вложенными. В российской научной практике критерий используется в исследованиях по экономике, социологии и медицине, где требуется обоснованный выбор модели на основе эмпирических данных.

Интересные факты

• Критерий Кокса является одним из первых формальных тестов для невложенных моделей, что сделало его важным вкладом в теорию статистического вывода.
• В 1970-х годах были предложены модификации критерия, такие как тест Ву (J-тест), который проще в вычислительном плане.
• Дэвид Кокс также известен своими работами в области анализа выживаемости (модель пропорциональных рисков Кокса).

Источники

• Cox, D. R. (1961). Tests of Separate Families of Hypotheses. Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, 1, 105–123.
• Cox, D. R. (1962). Further Results on Tests of Separate Families of Hypotheses. Journal of the Royal Statistical Society. Series B, 24(2), 406–424.
• Davidson, R., & MacKinnon, J. G. (1981). Several Tests for Model Specification in the Presence of Alternative Hypotheses. Econometrica, 49(3), 781–793.
• Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson. — Глава 14 (Сравнение невложенных моделей).
• Магнус, Я. Р., Катышев, П. К., & Пересецкий, А. А. (2007). Эконометрика. Начальный курс (8-е изд.). Дело. — Глава 8.