Коэффициент Кука

Коэффициент Кука — это метрика, используемая в статистике и регрессионном анализе для оценки влияния отдельных наблюдений (точек данных) на результаты регрессионной модели. Он позволяет выявить выбросы или точки, которые оказывают непропорционально большое влияние на оценку параметров модели, и, таким образом, служит инструментом диагностики качества регрессии.

История и происхождение

Метрика была предложена американским статистиком Р. Деннисом Куком (R. Dennis Cook) в 1977 году в статье «Detection of Influential Observations in Linear Regression». Кук работал в Университете Миннесоты и занимался проблемами устойчивости регрессионного анализа к аномальным данным. До появления его работы исследователи использовали отдельные критерии для выявления выбросов (например, по остаткам), но не было единого показателя, который бы учитывал как величину отклонения, так и влияние на все коэффициенты модели. Коэффициент Кука стал стандартным инструментом в пакетах статистического анализа, таких как R, SPSS, SAS и Python (библиотека statsmodels).

Определение и математическая формула

Коэффициент Кука для i-го наблюдения (обычно обозначается как \( D_i \)) рассчитывается как сумма квадратов изменений всех предсказанных значений регрессии при удалении этого наблюдения, нормированная на дисперсию ошибки и количество параметров модели. Формально:

\[ D_i = \frac{\sum_{j=1}^{n} (\hat{y}_j - \hat{y}_{j(i)})^2}{p \cdot \text{MSE}} \]

где:

• \( \hat{y}_j \) — предсказанное значение для j-го наблюдения в полной модели,
• \( \hat{y}_{j(i)} \) — предсказанное значение для j-го наблюдения в модели, построенной без i-го наблюдения,
• \( p \) — количество параметров модели (включая свободный член),
• \( \text{MSE} \) — среднеквадратичная ошибка полной модели.

На практике чаще используется эквивалентная формула через рычаги (leverage) и стандартизированные остатки:

\[ D_i = \frac{r_i^2}{p} \cdot \frac{h_{ii}}{1 - h_{ii}} \]

где:

• \( r_i \) — стандартизированный остаток i-го наблюдения,
• \( h_{ii} \) — значение рычага (диагональный элемент матрицы проекции) для i-го наблюдения.

Эта форма показывает, что коэффициент Кука растёт как при больших остатках (точка далеко от линии регрессии), так и при высоком рычаге (точка далеко от центра масс данных по предикторам).

Интерпретация значений

Не существует строгого порогового значения, при котором наблюдение считается «влиятельным». Однако на практике сложились следующие эвристические правила:

• \( D_i < 0.5 \): наблюдение обычно считается не оказывающим существенного влияния на модель.
• \( 0.5 \leq D_i < 1.0 \): точка может быть влиятельной, рекомендуется проверить модель с её удалением и без.
• \( D_i \geq 1.0 \): наблюдение почти наверняка является влиятельным; его удаление существенно изменит коэффициенты регрессии.

Некоторые исследователи предлагают сравнивать \( D_i \) с критическим значением \( F \)-распределения \( F_{p, n-p}(0.5) \), но этот подход менее распространён из-за чувствительности к объёму выборки.

Применение в регрессионном анализе

Коэффициент Кука используется на этапе диагностики регрессионной модели после её построения. Основные цели:

1. Выявление выбросов: точки с большими остатками, которые могут искажать линию регрессии.
2. Оценка влиятельности: наблюдения, которые «тянут» модель на себя из-за сочетания большого остатка и высокого рычага.
3. Проверка устойчивости: если удаление одной точки приводит к значительному изменению коэффициентов, модель считается неустойчивой и требует пересмотра (например, использования робастных методов регрессии).

В практических задачах — от экономического прогнозирования до биомедицинской статистики — коэффициент Кука помогает избежать ситуаций, когда выводы по модели определяются одним-двумя аномальными случаями.

Ограничения и критика

Коэффициент Кука имеет ряд ограничений:

• Чувствительность к мультиколлинеарности: при высокой корреляции между предикторами значения коэффициента могут быть завышены или занижены.
• Зависимость от объёма выборки: при малых выборках (n < 30) даже умеренные значения \( D_i > 0.5 \) могут быть артефактом, а не признаком влиятельности.
• Не учитывает групповые эффекты: метрика рассматривает каждое наблюдение изолированно, но в реальных данных несколько точек вместе могут оказывать влияние, которое не выявляется поодиночке.
• Отсутствие единого порога: интерпретация остаётся субъективной, что может приводить к разным выводам у разных аналитиков.

Некоторые статистики (например, Джон Тьюки) критиковали чрезмерное доверие к формальным критериям влиятельности, указывая, что удаление «подозрительных» точек без понимания их природы может исказить реальную картину.

Пример использования

Рассмотрим простую линейную регрессию зависимости веса (кг) от роста (см) для 10 человек. После расчёта модели получаем следующие значения коэффициента Кука:

Наблюдение 10 (рост 150 см, вес 100 кг) имеет \( D_i = 1.45 \), что значительно превышает порог 1.0. Это указывает на то, что данная точка является влиятельной: её удаление изменит наклон и свободный член регрессии. Дальнейший анализ может показать, что это либо ошибка ввода данных, либо редкий, но реальный случай, требующий отдельного рассмотрения.

Альтернативные метрики

Помимо коэффициента Кука, для оценки влиятельности наблюдений используются:

• DFBETAS — изменение каждого коэффициента регрессии при удалении наблюдения.
• DFFITS — изменение предсказанного значения при удалении наблюдения, нормированное на стандартную ошибку.
• COVRATIO — изменение ковариационной матрицы оценок коэффициентов.

Эти метрики дополняют друг друга: коэффициент Кука даёт общую оценку влияния, а DFBETAS и DFFITS позволяют понять, на какой именно параметр модели влияет точка.

Источники

1. Cook, R. D. (1977). Detection of Influential Observations in Linear Regression. Technometrics, 19(1), 15–18.
2. Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression Diagnostics: Identifying Influential Data and Sources of Collinearity. Wiley.
3. Chatterjee, S., & Hadi, A. S. (1986). Influential Observations, High Leverage Points, and Outliers in Linear Regression. Statistical Science, 1(3), 379–393.
4. Fox, J. (2016). Applied Regression Analysis and Generalized Linear Models (3rd ed.). Sage Publications.