Сравнение регрессионных моделей

Регрессионная модель — это статистическая модель, описывающая зависимость одной (зависимой) переменной от одной или нескольких независимых переменных (предикторов). Сравнение регрессионных моделей — это процесс выбора наилучшей модели из набора альтернатив на основе заданных критериев, таких как точность прогнозов, интерпретируемость, сложность и устойчивость к переобучению. Цель сравнения — найти модель, которая наилучшим образом описывает закономерности в данных и обеспечивает адекватные прогнозы на новых данных.

Основные типы регрессионных моделей

Сравнение регрессионных моделей предполагает знание их характеристик. Ключевые типы включают:

Линейная регрессия

• Простая линейная регрессия: описывает зависимость одной переменной Y от одной переменной X: Y = β₀ + β₁X + ε.
• Множественная линейная регрессия: описывает зависимость Y от нескольких предикторов: Y = β₀ + β₁X₁ + β₂X₂ + ... + βₚXₚ + ε.
• Особенности: простая интерпретация (коэффициенты β показывают изменение Y при изменении X на единицу), низкая вычислительная сложность, но предполагает линейную связь и отсутствие мультиколлинеарности.

Полиномиальная регрессия

• Описание: расширение линейной регрессии, где предикторы включают степени X (например, X², X³). Модель: Y = β₀ + β₁X + β₂X² + ... + βₖXᵏ + ε.
• Особенности: позволяет моделировать нелинейные зависимости, но склонна к переобучению при высоких степенях полинома.

Гребневая регрессия (Ridge regression)

• Описание: линейная регрессия с L2-регуляризацией, добавляющей штраф за большие коэффициенты: минимизируется (Y — Xβ)² + λ∑βⱼ².
• Особенности: уменьшает переобучение, улучшает устойчивость при мультиколлинеарности, но не обнуляет коэффициенты (все предикторы остаются в модели).

Лассо-регрессия (Lasso regression)

• Описание: линейная регрессия с L1-регуляризацией: минимизируется (Y — Xβ)² + λ∑|βⱼ|.
• Особенности: может обнулять коэффициенты, выполняя автоматический отбор признаков; полезна при большом количестве предикторов.

Регрессия на основе деревьев решений

• Описание: модель строится как набор правил, разбивающих пространство предикторов на области. Прогноз — среднее значение Y в каждой области.
• Особенности: не требует предположений о форме зависимости, устойчива к выбросам, но склонна к переобучению без ограничений (например, глубины дерева).

Случайный лес (Random Forest)

• Описание: ансамбль множества деревьев решений, каждое из которых строится на случайной подвыборке данных и случайном подмножестве предикторов. Прогноз — среднее по всем деревьям.
• Особенности: высокая точность, устойчивость к переобучению, но сложность интерпретации и высокая вычислительная нагрузка.

Градиентный бустинг (Gradient Boosting)

• Описание: последовательное построение деревьев, каждое из которых корректирует ошибки предыдущих. Примеры: XGBoost, LightGBM, CatBoost.
• Особенности: часто даёт наилучшую точность на табличных данных, но требует тщательной настройки гиперпараметров и чувствителен к переобучению при неправильной настройке.

Критерии сравнения регрессионных моделей

Для объективного сравнения моделей используются статистические метрики и методы оценки.

Метрики точности прогнозов

• Средняя квадратичная ошибка (MSE): MSE = (1/n)∑(yᵢ — ŷᵢ)². Чувствительна к выбросам.
• Корень из средней квадратичной ошибки (RMSE): RMSE = √MSE. Интерпретируется в единицах Y.
• Средняя абсолютная ошибка (MAE): MAE = (1/n)∑|yᵢ — ŷᵢ|. Менее чувствительна к выбросам.
• Коэффициент детерминации R²: R² = 1 — (SS_res / SS_tot). Показывает долю дисперсии Y, объяснённую моделью. Значения от 0 до 1 (чем ближе к 1, тем лучше).
• Скорректированный R²: учитывает количество предикторов, штрафуя за избыточные переменные.

Методы оценки обобщающей способности

• Кросс-валидация (k-fold): данные делятся на k частей, модель обучается на k-1 частях и тестируется на оставшейся. Повторяется k раз. Средняя метрика по всем итерациям даёт оценку качества.
• Hold-out: данные делятся на обучающую (например, 70%) и тестовую (30%) выборки. Простой, но чувствителен к разбиению.
• Бутстреп: многократная выборка с возвращением для оценки устойчивости метрик.

Критерии сложности и интерпретируемости

• Количество параметров: чем больше параметров, тем выше риск переобучения.
• Информационные критерии: AIC (критерий Акаике) и BIC (байесовский информационный критерий) штрафуют за сложность модели. Меньшие значения предпочтительнее.
• Интерпретируемость: линейные модели легко интерпретировать, деревья решений — умеренно, ансамблевые методы — сложно.

Методы сравнения моделей

Сравнение на основе кросс-валидации

Наиболее надёжный метод. Для каждой модели вычисляется средняя метрика (например, RMSE) по k-фолдам. Модель с наименьшей ошибкой считается лучшей. Для оценки значимости различий можно использовать статистические тесты (например, t-тест для парных выборок).

Сравнение с помощью информационных критериев

Для моделей, оценённых методом максимального правдоподобия, сравниваются AIC или BIC. Модель с меньшим значением предпочтительнее. BIC сильнее штрафует за сложность, чем AIC.

Визуальное сравнение

• Графики остатков: для линейных моделей остатки должны быть случайно разбросаны вокруг нуля. Наличие паттернов указывает на неадекватность модели.
• Графики «прогноз vs факт»: точки должны лежать вдоль линии y=x.
• ROC-кривые (для задач классификации, если регрессия бинарная): сравнение площади под кривой (AUC).

Примеры практического сравнения

Пример 1: Прогнозирование цен на жильё

Набор данных Boston Housing (классический пример). Сравниваются линейная регрессия, гребневая регрессия, случайный лес и градиентный бустинг.

• Результаты: линейная регрессия даёт R² ≈ 0.74, RMSE ≈ 4.7. Гребневая регрессия улучшает R² до 0.75, снижая мультиколлинеарность. Случайный лес даёт R² ≈ 0.88, RMSE ≈ 3.2. Градиентный бустинг (XGBoost) — R² ≈ 0.91, RMSE ≈ 2.8.
• Вывод: ансамблевые методы значительно точнее, но сложнее для интерпретации. Для практических целей может быть выбран случайный лес как компромисс между точностью и интерпретируемостью.

Пример 2: Прогнозирование уровня дохода

Набор данных с демографическими признаками. Сравниваются логистическая регрессия (для бинарной переменной), дерево решений и случайный лес.

• Результаты: логистическая регрессия даёт AUC ≈ 0.82, дерево решений — AUC ≈ 0.78 (переобучение), случайный лес — AUC ≈ 0.88.
• Вывод: случайный лес предпочтительнее, но логистическая регрессия может быть выбрана из-за простоты интерпретации, если точность приемлема.

Ограничения и предостережения

• Переобучение: сложные модели (полиномиальная регрессия высокой степени, глубокие деревья) могут показывать отличные результаты на обучающей выборке, но плохо обобщать. Кросс-валидация помогает выявить это.
• Недообучение: слишком простые модели (линейная регрессия для нелинейных данных) дают высокую ошибку.
• Масштабирование данных: для методов, чувствительных к масштабу (гребневая, лассо, градиентный бустинг), требуется стандартизация или нормализация предикторов.
• Выбор метрики: MSE и RMSE чувствительны к выбросам, MAE — нет. Выбор метрики должен соответствовать бизнес-задаче.
• Статистическая значимость: различия в метриках между моделями могут быть случайными. Рекомендуется использовать статистические тесты (например, тест Макнемара для классификации или t-тест для парных выборок).

Источники

1. James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Statistical Learning: with Applications in R. Springer.
2. Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction. Springer.
3. Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis. Wiley.
4. Kuhn, M., & Johnson, K. (2013). Applied Predictive Modeling. Springer.
5. Chen, T., & Guestrin, C. (2016). XGBoost: A Scalable Tree Boosting System. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.