Стандартизированный остаток¶

Стандартизированный остаток — это статистический показатель, используемый в регрессионном анализе, представляющий собой разность между наблюдаемым значением зависимой переменной и её предсказанным значением по модели, делённую на оценку стандартного отклонения остатков. Стандартизированные остатки позволяют оценить, насколько сильно конкретное наблюдение отклоняется от предсказанного значения с учётом разброса остатков, и используются для выявления выбросов, проверки допущений регрессионной модели (нормальности, гомоскедастичности) и диагностики качества подгонки.

¶Определение и математическая формула

В регрессионном анализе остаток \( e_i \) для \( i \)-го наблюдения определяется как разность между фактическим значением зависимой переменной \( y_i \) и предсказанным значением \( \hat{y}_i \), полученным по модели:

\[ e_i = y_i - \hat{y}_i. \]

Стандартизированный остаток \( r_i \) (также называемый студентизированным остатком в простейшем случае) вычисляется по формуле:

\[ r_i = \frac{e_i}{s \sqrt{1 - h_{ii}}}, \]

где:

• \( s \) — оценка стандартного отклонения остатков (корень из среднеквадратической ошибки модели, MSE);
• \( h_{ii} \) — диагональный элемент матрицы проекции (hat matrix), отражающий влияние \( i \)-го наблюдения на его собственное предсказанное значение.

Величина \( \sqrt{1 - h_{ii}} \) — это стандартная ошибка предсказания для \( i \)-го наблюдения. Таким образом, стандартизированный остаток нормирует остаток на его стандартное отклонение, что делает его безразмерным и сравнимым между наблюдениями.

¶Виды стандартизированных остатков

В статистике различают несколько типов остатков, близких по смыслу, но различающихся способом вычисления:

¶Внутренне студентизированные остатки (стандартизированные остатки)

Это остатки, вычисленные по формуле выше, где дисперсия остатков оценивается по всем данным, включая текущее наблюдение. Они имеют приблизительно стандартное нормальное распределение при больших выборках, но их дисперсия может быть несколько меньше 1 из-за влияния \( h_{ii} \).

¶Внешне студентизированные остатки (студентизированные остатки)

Для более точной идентификации выбросов используется внешне студентизированный остаток \( t_i \), при котором оценка дисперсии остатков \( s_{(i)} \) вычисляется без учёта \( i \)-го наблюдения:

\[ t_i = \frac{e_i}{s_{(i)} \sqrt{1 - h_{ii}}}. \]

Такие остатки следуют \( t \)-распределению Стьюдента с \( n - k - 2 \) степенями свободы (где \( n \) — число наблюдений, \( k \) — число предикторов). Внешне студентизированные остатки более чувствительны к выбросам, так как удаление наблюдения из оценки дисперсии не позволяет «маскировать» его влияние.

¶Стандартизированные остатки Пирсона

В контексте обобщённых линейных моделей (GLM) и анализа таблиц сопряжённости используются остатки Пирсона:

\[ r_{Pi} = \frac{y_i - \hat{\mu}_i}{\sqrt{V(\hat{\mu}_i)}}, \]

где \( \hat{\mu}_i \) — предсказанное среднее, а \( V(\hat{\mu}_i) \) — оценка дисперсии. В случае линейной регрессии с нормальными ошибками они совпадают с обычными стандартизированными остатками.

¶Применение в диагностике регрессионных моделей

Стандартизированные остатки являются ключевым инструментом проверки адекватности регрессионной модели. Основные области применения:

¶Выявление выбросов

Наблюдения, для которых абсолютное значение стандартизированного остатка превышает 2 или 3 (в зависимости от размера выборки), считаются потенциальными выбросами. Для внешне студентизированных остатков пороговые значения определяются по \( t \)-распределению. Выбросы могут указывать на ошибки в данных, нелинейность или неучтённые факторы.

¶Проверка нормальности остатков

Если модель адекватна, стандартизированные остатки должны быть приблизительно нормально распределены с нулевым средним и единичной дисперсией. Для проверки используются графики Q-Q (квантиль-квантиль) и гистограммы. Отклонения от нормальности могут свидетельствовать о неправильной спецификации модели или ненормальности ошибок.

¶Проверка гомоскедастичности (постоянства дисперсии)

График зависимости стандартизированных остатков от предсказанных значений или от независимых переменных позволяет визуально оценить, меняется ли разброс остатков. Если дисперсия не постоянна (гетероскедастичность), точки на графике будут образовывать «воронкообразную» или иную неслучайную структуру.

¶Выявление влиятельных наблюдений

Стандартизированные остатки используются совместно с другими диагностическими мерами, такими как расстояние Кука или рычаги (leverage), для идентификации наблюдений, которые непропорционально сильно влияют на оценки коэффициентов регрессии. Высокое значение стандартизированного остатка в сочетании с высоким рычагом указывает на потенциально проблемное наблюдение.

¶Интерпретация и пороговые значения

На практике интерпретация стандартизированных остатков основана на свойствах нормального распределения:

• Около 68% остатков лежат в пределах ±1.
• Около 95% — в пределах ±2.
• Примерно 99,7% — в пределах ±3.

Наблюдения с остатками, превышающими ±3, считаются редкими и могут требовать дополнительного анализа. Однако при малых выборках (n < 30) следует использовать более консервативные пороги, например, по \( t \)-распределению.

¶Ограничения и критика

Стандартизированные остатки не лишены недостатков:

• При малых выборках их распределение может существенно отличаться от нормального, что снижает надёжность пороговых значений.
• В случае мультиколлинеарности предикторов стандартизированные остатки могут быть искажены из-за нестабильности оценок коэффициентов.
• Внешне студентизированные остатки требуют большего объёма вычислений, хотя современные статистические пакеты (R, Python, SPSS, Stata) автоматически рассчитывают оба типа.
• Стандартизированные остатки не дают информации о причине выброса — это может быть как ошибка данных, так и реальная аномалия, требующая содержательного объяснения.

¶Пример использования

В линейной регрессии, моделирующей зависимость урожайности пшеницы от количества внесённых удобрений, стандартизированные остатки позволяют выявить поля, на которых урожайность существенно отклоняется от предсказанной. Если для одного поля остаток равен +3,2, это указывает на то, что фактическая урожайность значительно выше предсказанной, что может быть связано с неучтёнными факторами (например, качеством почвы или погодными условиями). Аналитик должен проверить данные на ошибки измерения или рассмотреть возможность включения дополнительных переменных.

¶Источники

1. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. — М.: Диалектика, 2007.
2. Монтгомери Д. К., Пек Э. А., Вайнинг Дж. Введение в регрессионный анализ. — М.: Вильямс, 2016.
3. Cook R. D., Weisberg S. Residuals and Influence in Regression. — New York: Chapman and Hall, 1982.
4. Fox J. Applied Regression Analysis and Generalized Linear Models. — 3rd ed. — SAGE Publications, 2016.
5. Chatterjee S., Hadi A. S. Regression Analysis by Example. — 5th ed. — Wiley, 2012.