ММР — множественная линейная регрессия¶
Множественная линейная регрессия (ММР, от англ. multiple linear regression, MLR) — статистический метод, обобщающий простую линейную регрессию на случай, когда зависимая переменная объясняется одновременно несколькими независимыми переменными. ММР является одной из базовых моделей в регрессионном анализе и применяется в эконометрике, социологии, биологии, инженерных науках и машинном обучении для оценки влияния набора факторов на некоторый количественный результат.
¶Математическая модель
Общая форма модели множественной линейной регрессии:
$$Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_k X_k + \varepsilon$$
где $Y$ — зависимая (объясняемая) переменная; $X_1, X_2, \dots, X_k$ — независимые (объясняющие) переменные; $\beta_0$ — свободный член (константа); $\beta_1, \dots, \beta_k$ — регрессионные коэффициенты; $\varepsilon$ — случайная ошибка (остаток), отражающая влияние неучтённых факторов и случайных возмущений.
Коэффициент $\beta_j$ интерпретируется как ожидаемое изменение $Y$ при увеличении $X_j$ на единицу при фиксированных значениях остальных независимых переменных.
¶Метод оценки параметров
Наиболее распространённый способ оценки коэффициентов — метод наименьших квадратов (МНК, англ. OLS). Суть метода состоит в минимизации суммы квадратов остатков:
$$\sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \to \min$$
При заданной матрице дизайна $X$ решение имеет аналитическую форму:
$$\hat{\beta} = (X^T X)^{-1} X^T y$$
МНК-оценки обладают свойством несмещённости при выполнении классических предпосылок: линейности по параметрам, строгой экзогенности регрессоров ($E[\varepsilon|X]=0$), отсутствии полной мультиколлинеарности, гомоскедастичности и нормальности ошибок (для точных t- и F-тестов).
¶Классификация моделей
ММР подразделяется на несколько семейств в зависимости от структуры данных и предпосылок:
- Простая линейная регрессия — частный случай с единственным регрессором.
- Панельная регрессия — объединяет данные нескольких индивидов (стран, фирм, людей) во времени; включает модели фиксированных и случайных эффектов.
- Взвешенная линейная регрессия (WLS) — применяется при гетероскедастичности, каждое наблюдение взвешивается обратно дисперсии ошибки.
- Регрессия с инструментальными переменными (2SLS) — используется при эндогенности регрессоров, когда $E[\varepsilon|X]\neq 0$.
- Регрессия с регуляризацией — ridge, lasso и эластичная сеть добавляют штрафное слагаемое к функции потерь для борьбы с мультиколлинеарностью и переобучением.
¶Оценка качества модели
Для оценки пригодности модели используются несколько статистик:
| Показатель | Назначение |
|---|---|
| $R^2$ (коэффициент детерминации) | Доля дисперсии $Y$, объяснённая моделью |
| Скорректированный $R^2$ | $R^2$ с поправкой на число регрессоров |
| F-статистика | Совместная значимость всех регрессоров |
| t-статистика | Значимость отдельного коэффициента |
| AIC / BIC | Критерии выбора модели с учётом сложности |
Значение $R^2$ лежит в диапазоне от 0 до 1; чем оно выше, тем большую часть вариации зависимой переменной объясняет модель. Однако высокий $R^2$ сам по себе не гарантирует причинно-следственных связей и может указывать на переобучение.
¶Проверка предпосылок
Перед интерпретацией результатов проверяют ключевые допущения:
- Мультиколлинеарность — сильная корреляция между регрессорами; диагностируется по VIF (variance inflation factor). Значения VIF выше 10 обычно считаются проблематичными.
- Гетероскедастичность — неоднородность дисперсии ошибок; выявляется тестом Уайта или Бройша — Пагана.
- Автокорреляция остатков — характерна для временных рядов; проверяется по статистике Дарбина — Уотсона.
- Эндогенность — корреляция регрессоров с ошибкой; устраняется инструментальными переменными или методом моментов.
- Нормальность остатков — проверяется по квантильным графикам и тестам Жарка — Бера, Шапиро — Уилка.
¶Применение
ММР широко используется в экономике и эконометрике для оценки производственных функций, моделей потребления, влияния налоговых ставок на экономический рост. В социологии и эпидемиологии метод применяется для анализа факторов дохода, здоровья, образовательных достижений. В промышленности ММР лежит в основе методов планирования эксперимента и контроля качества. В машинном обучении линейная регрессия выступает базовой моделью, от которой отталкиваются при построении более сложных алгоритмов.
¶Ограничения
Ключевые ограничения метода: чувствительность к выбросам, предположение линейной зависимости между переменными, невозможность прямой интерпретации коэффициентов как причинных без выполнения условий экзогенности. При нарушении предпосылок оценки становятся несмещёнными или несостоятельными, а стандартные ошибки — неверными, что приводит к ошибочным выводам.
Источники:
- Голденов М. С., Суслов В. И. «Эконометрика»
- Мэддала Г. «Эконометрика»
- Wooldridge J. M. «Introductory Econometrics: A Modern Approach»
- Хайманс Б. М. «Статистический анализ в экономике и бизнесе»