Открыть сервис
Главная → Блог → Метод наименьших квадратов

Метод наименьших квадратов

Метод наименьших квадратов (МНК) — математический метод оценивания неизвестных параметров модели по экспериментальным данным, при котором минимизируется сумма квадратов отклонений наблюдаемых значений от значений, предсказанных моделью. Относится к классу методов регрессионного анализа и аппроксимации функций и является одним из базовых инструментов математической статистики, эконометрики, геодезии и обработки измерений.

Суть метода

Пусть имеется набор наблюдений зависимой величины $y_i$ при заданных значениях независимых переменных $x_i$, а модель предполагает связь $y \approx f(x, \theta)$, где $\theta$ — вектор неизвестных параметров. МНК определяет оценку $\hat{\theta}$ из условия минимума функционала

$$S(\theta) = \sum_{i=1}^{n} \bigl(y_i - f(x_i, \theta)\bigr)^2.$$

В линейном случае, когда модель имеет вид $y = X\beta + \varepsilon$, решение находится аналитически и выражается нормальным уравнением $\hat{\beta} = (X^\top X)^{-1} X^\top y$ (при обратимой матрице $X^\top X$). Для нелинейных моделей применяются итерационные процедуры — метод Гаусса — Ньютона, метод Левенберга — Марквардта и другие.

История

Метод был предложен независимо Карлом Фридрихом Гауссом и Адрианом Мари Лежандром на рубеже XVIII–XIX веков. Лежандр опубликовал его в 1805 году в работе по определению орбит комет, Гаусс использовал метод ещё раньше — при обработке астрономических и геодезических измерений, а его теоретическое обоснование дал в 1809 году. Гаусс также показал, что при нормальном распределении ошибок оценки МНК совпадают с оценками метода максимального правдоподобия.

В России метод широко применялся в геодезии и картографии уже в XIX веке; значительный вклад в теорию уравнивания измерений внесли российские геодезисты и математики. В XX веке МНК стал основой регрессионного анализа и эконометрики.

Условия применения и свойства

Для корректного применения классического МНК к линейной модели требуются следующие предпосылки (условия Гаусса — Маркова):

При выполнении этих условий оценки МНК являются наилучшими линейными несмещёнными оценками (теорема Гаусса — Маркова). Если дополнительно ошибки распределены нормально, оценки оказываются также эффективными в классе всех несмещённых оценок.

Виды и модификации

  • Обычный МНК (OLS) — базовый вариант для линейных моделей.
  • Взвешенный МНК (WLS) — применяется при неодинаковой точности измерений: каждое наблюдение получает вес, обратный дисперсии ошибки.
  • Обобщённый МНК (GLS) — учитывает корреляцию и гетероскедастичность ошибок.
  • Двухшаговый МНК (2SLS) — используется в системах одновременных уравнений и при эндогенности регрессоров.
  • Нелинейный МНК — для моделей, нелинейных по параметрам.
  • Регуляризованные варианты — гребневая регрессия, LASSO, применяемые при мультиколлинеарности и для отбора признаков.

Применение

МНК используется в самых разных областях:

Критика и ограничения

МНК чувствителен к выбросам: отдельные аномальные наблюдения способны сильно сместить оценки. При нарушении предпосылок (гетероскедастичность, автокорреляция, мультиколлинеарность) оценки теряют оптимальные свойства, что требует применения модификаций. Кроме того, минимизация квадратов отклонений предполагает симметричную функцию потерь, что не всегда соответствует содержательной постановке задачи. Для устойчивых оценок применяют робастные методы, например метод наименьших модулей или квантильную регрессию.

Значение

МНК остаётся фундаментальным методом анализа данных: на нём построены классическая статистика, эконометрика и значительная часть прикладных вычислительных алгоритмов. Простота реализации, ясная статистическая теория и вычислительная эффективность обеспечивают его широкое применение более двух столетий.

Источники: работы К. Ф. Гаусса и А. М. Лежандра по теории ошибок; учебники по математической статистике и эконометрике; справочные материалы по численным методам и регрессионному анализу.

Похожие материалы