Линейная регрессия

Линейная регрессия — это статистический метод, используемый для моделирования взаимосвязи между одной или несколькими независимыми переменными (предикторами) и зависимой переменной (откликом). В основе метода лежит предположение о том, что эта взаимосвязь является линейной, то есть может быть описана с помощью линейного уравнения. Линейная регрессия является одним из фундаментальных инструментов регрессионного анализа, применяемым в статистике, машинном обучении, экономике, социологии, естественных науках и других областях для прогнозирования, выявления причинно-следственных связей и анализа данных.

История

Основы метода линейной регрессии были заложены в XIX веке. Термин «регрессия» (от лат. regressio — обратное движение) ввёл английский учёный Фрэнсис Гальтон, который в 1886 году исследовал наследование роста. Он обнаружил, что рост детей высоких родителей в среднем стремится (регрессирует) к среднему росту популяции. Концепция была математически формализована Карлом Пирсоном и другими статистиками, разработавшими метод наименьших квадратов (МНК), который стал основой для оценки параметров линейной регрессии. В XX веке, с развитием вычислительной техники, метод получил широкое распространение. В середине 1950-х годов линейная регрессия стала одним из ключевых алгоритмов в новой области — машинном обучении, а также активно применялась в советской и российской прикладной статистике для обработки экспериментальных данных в физике, биологии и экономике.

Математическая модель

Линейная регрессия описывает зависимость в виде линейного уравнения. Различают простую линейную регрессию (одна независимая переменная) и множественную линейную регрессию (несколько независимых переменных).

Простая линейная регрессия

Модель имеет вид:

\[ y = \beta_0 + \beta_1 x + \varepsilon \]

где:

• \(y\) — зависимая переменная (отклик);
• \(x\) — независимая переменная (предиктор);
• \(\beta_0\) — свободный член (коэффициент сдвига, интерсепт), значение \(y\) при \(x = 0\);
• \(\beta_1\) — коэффициент регрессии (наклон линии), показывающий, на сколько единиц в среднем изменится \(y\) при изменении \(x\) на единицу;
• \(\varepsilon\) — случайная ошибка, отражающая неучтённые факторы и вариацию.

Множественная линейная регрессия

В общем случае, с \(p\) предикторами, уравнение имеет вид:

\[ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_p x_p + \varepsilon \]

Матричная форма записи упрощает вычисления:

\[ \mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

где \(\mathbf{X}\) — матрица наблюдений предикторов, \(\boldsymbol{\beta}\) — вектор коэффициентов, \(\boldsymbol{\varepsilon}\) — вектор ошибок.

Метод наименьших квадратов (МНК)

Основным методом оценки коэффициентов \(\beta\) является метод наименьших квадратов (МНК). Его суть — минимизация суммы квадратов отклонений фактических значений \(y_i\) от прогнозируемых \(\hat{y}_i\) (остатков):

\[ S(\beta_0, \beta_1, \dots, \beta_p) = \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 \to \min \]

Решение для случая множественной регрессии в матричной форме:

\[ \hat{\boldsymbol{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} \]

МНК даёт несмещённые, эффективные и состоятельные оценки при выполнении ряда условий (предпосылок), в противном случае могут возникать проблемы смещения, гетероскедастичности или мультиколлинеарности.

Основные предпосылки (условия Гаусса — Маркова)

Для того чтобы оценки МНК были наилучшими линейными несмещёнными оценками (BLUE), должны выполняться следующие предпосылки:

1. Линейность модели — взаимосвязь между переменными является линейной.
2. Случайность выборки — наблюдения независимы и одинаково распределены.
3. Отсутствие мультиколлинеарности — предикторы не должны быть сильно коррелированы между собой.
4. Экзогенность — математическое ожидание ошибки равно нулю (\(E[\varepsilon] = 0\)), ошибка не коррелирует с предикторами.
5. Гомоскедастичность — дисперсия ошибки постоянна для всех наблюдений.
6. Некоррелированность ошибок — отсутствие автокорреляции.
7. Нормальность ошибок — необходимо для достоверности статистических выводов, но не для несмещённости оценок.

Классификация и виды

Линейную регрессию классифицируют по числу переменных и по способу оценки параметров:

• Простая линейная регрессия — один предиктор.
• Множественная линейная регрессия — два и более предикторов.
• Полиномиальная регрессия — модель включает степени независимой переменной (например, \(x^2, x^3\)), оставаясь линейной по оцениваемым коэффициентам.
• Регрессия с регуляризацией — для борьбы с переобучением и мультиколлинеарностью применяются модификации МНК: гребневая регрессия (ридж-регрессия), лассо-регрессия (L1-регуляризация) и эластичная сеть (сочетание L1 и L2).
• Робастная регрессия — устойчива к выбросам за счёт использования других функций потерь (например, Huber loss).

Оценка качества модели

Для проверки адекватности построенной модели используются различные показатели:

Применение

Линейная регрессия широко используется в прикладных задачах:

• Экономика и финансы — прогнозирование цен на акции, оценка эластичности спроса, расчёт ВВП на основе макроэкономических показателей.
• Медицина и биология — моделирование дозозависимых эффектов лекарств, прогноз течения заболевания на основе клинических параметров.
• Социология и психология — выявление влияния социально-демографических факторов (доход, образование) на жизненные показатели (удовлетворённость жизнью).
• Техника и инженерия — калибровка датчиков, прогнозирование износа оборудования, анализ результатов экспериментов.
• Маркетинг — оценка влияния рекламных затрат на объём продаж.
• Машинное обучение — как базовый эталонный алгоритм для задач регрессии, а также как компонент более сложных моделей (например, в скрытых марковских моделях).

Интересные факты

• В российской статистической школе понятие «регрессия» долгое время использовалось в работах А. А. Маркова, А. Н. Колмогорова и Ю. Н. Тюрина, но массовое применение в прикладных исследованиях началось в 1960-е годы.
• Коэффициент регрессии \(\beta_1\) в простой регрессии равен ковариации \(x\) и \(y\), делённой на дисперсию \(x\).
• При наличии только двух точек данных простая линейная регрессия даёт идеальную линию (с \(R^2=1\)), но модель может быть неадекватной для генеральной совокупности.

Критика и ограничения

1. Предположение о линейности — на практике взаимосвязи часто нелинейны, и применение такой модели приводит к грубым ошибкам.
2. Чувствительность к выбросам — метод наименьших квадратов чрезвычайно чувствителен к аномальным точкам, которые могут существенно исказить коэффициенты.
3. Мультиколлинеарность — сильная корреляция между предикторами приводит к неустойчивости оценок их коэффициентов.
4. Экзогенность — при наличии обратной связи (эндогенности) оценки смещаются, и требуются более сложные методы (инструментальные переменные).
5. Переобучение — при большом числе предикторов модель может запомнить шум в данных, а не реальные закономерности.

Источники

• Draper, N. R., & Smith, H. (1998). Applied Regression Analysis. Wiley.
• Montgomery, D. C., Peck, E. A., & Vining, G. G. (2012). Introduction to Linear Regression Analysis. Wiley.
• Gelman, A., & Hill, J. (2006). Data Analysis Using Regression and Multilevel/Hierarchical Models. Cambridge University Press.
• Айвазян, С. А., Мхитарян, В. С. (2001). Прикладная статистика и основы эконометрики. ЮНИТИ.
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.
• James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Statistical Learning. Springer.