Метод наименьших квадратов

Метод наименьших квадратов (МНК) — это математический метод, используемый для оценки неизвестных параметров моделей по экспериментальным данным, содержащим случайные ошибки. Основная идея метода заключается в минимизации суммы квадратов отклонений фактических наблюдений от значений, предсказанных моделью. МНК является одним из фундаментальных инструментов регрессионного анализа, статистики, эконометрики и численных методов, применяемым для аппроксимации функций, фильтрации сигналов и решения переопределённых систем уравнений.

История

Метод наименьших квадратов был независимо разработан несколькими учёными в начале XIX века. Первым его опубликовал французский математик Адриен Мари Лежандр в 1805 году в работе «Новые методы определения орбит комет» (фр. Nouvelles méthodes pour la détermination des orbites des comètes). Однако приоритет часто приписывают немецкому математику Карлу Фридриху Гауссу, который, по его собственным утверждениям, использовал метод с 1795 года для астрономических расчётов, в частности для предсказания орбиты астероида Церера. Гаусс опубликовал обоснование метода в 1809 году в трактате «Теория движения небесных тел» (лат. Theoria motus corporum coelestium). Развитие МНК тесно связано с потребностями астрономии и геодезии, где требовалось обрабатывать избыточные измерения, содержащие погрешности.

В XIX веке метод был строго обоснован в рамках теории вероятностей. Российский математик Пафнутий Львович Чебышев в 1850-х годах разработал теорию интерполяции и аппроксимации функций, которая обобщила принципы МНК на случай ортогональных многочленов. В XX веке, с развитием вычислительной техники, МНК стал основой для множества прикладных алгоритмов, включая цифровую обработку сигналов и машинное обучение.

Сущность метода

Постановка задачи

Пусть имеется набор экспериментальных данных \((x_i, y_i)\), \(i = 1, \dots, n\), где \(x_i\) — независимая переменная (предиктор), а \(y_i\) — зависимая переменная (отклик). Предполагается, что между ними существует функциональная связь вида \(y = f(x, \theta)\), где \(\theta = (\theta_1, \dots, \theta_m)\) — вектор неизвестных параметров, подлежащих оценке. Задача МНК — найти такие значения \(\theta\), при которых сумма квадратов невязок (остатков) минимальна:

\[ S(\theta) = \sum_{i=1}^n (y_i - f(x_i, \theta))^2 \to \min_{\theta}. \]

Линейный случай

Наиболее распространённой является линейная модель: \(f(x, \theta) = \theta_0 + \theta_1 x\) (простая линейная регрессия) или в общем виде \(f(x, \theta) = \theta_0 + \theta_1 x_1 + \dots + \theta_m x_m\) (множественная линейная регрессия). Для линейной модели задача сводится к решению системы линейных уравнений, которая в матричной форме записывается как:

\[ X^T X \hat{\theta} = X^T Y, \]

где \(X\) — матрица плана (строка \(i\) содержит значения предикторов для \(i\)-го наблюдения), \(Y\) — вектор наблюдений, \(\hat{\theta}\) — вектор оценок параметров. Решение существует и единственно, если матрица \(X^T X\) невырождена (обратима). Оценка \(\hat{\theta}\) вычисляется по формуле:

\[ \hat{\theta} = (X^T X)^{-1} X^T Y. \]

Нелинейный случай

Если модель нелинейна по параметрам, задача минимизации \(S(\theta)\) не имеет аналитического решения и решается итерационными численными методами, такими как метод Гаусса — Ньютона или градиентный спуск. В таких случаях МНК требует задания начального приближения и проверки сходимости.

Свойства оценок МНК

При выполнении определённых статистических предположений (теорема Гаусса — Маркова) оценки, полученные методом наименьших квадратов, обладают рядом оптимальных свойств:

• Несмещённость: математическое ожидание оценки равно истинному значению параметра.
• Эффективность: среди всех линейных несмещённых оценок МНК-оценки имеют наименьшую дисперсию (наилучшая линейная несмещённая оценка, BLUE).
• Состоятельность: при увеличении объёма выборки оценка сходится по вероятности к истинному значению.

Эти свойства справедливы, если ошибки наблюдений независимы, имеют нулевое математическое ожидание и одинаковую дисперсию (гомоскедастичность), а также не коррелируют с предикторами.

Разновидности и обобщения

Взвешенный метод наименьших квадратов (ВМНК)

Используется, когда дисперсия ошибок неодинакова для разных наблюдений (гетероскедастичность). Каждому наблюдению присваивается вес, обратно пропорциональный его дисперсии, и минимизируется взвешенная сумма квадратов:

\[ S_w(\theta) = \sum_{i=1}^n w_i (y_i - f(x_i, \theta))^2. \]

Обобщённый метод наименьших квадратов (ОМНК)

Применяется при наличии корреляции между ошибками наблюдений (автокорреляция). В этом случае используется ковариационная матрица ошибок \(\Omega\), и оценка параметров имеет вид:

\[ \hat{\theta} = (X^T \Omega^{-1} X)^{-1} X^T \Omega^{-1} Y. \]

Метод наименьших модулей (L1-регрессия)

Минимизируется сумма абсолютных отклонений, а не квадратов. Этот метод более устойчив к выбросам, но не имеет аналитического решения и требует применения методов линейного программирования.

Нелинейный метод наименьших квадратов

Обобщение на случай нелинейных моделей. Оценки находятся итерационно, например, с помощью алгоритма Левенберга — Марквардта, который комбинирует метод Гаусса — Ньютона и градиентный спуск.

Применение

Метод наименьших квадратов широко используется в различных областях:

• Эконометрика: построение регрессионных моделей для анализа зависимостей между экономическими показателями (например, зависимость потребления от дохода).
• Обработка сигналов: аппроксимация сигналов полиномами, фильтрация шумов (например, метод скользящего среднего).
• Геодезия и картография: уравнивание геодезических сетей, обработка результатов нивелирования.
• Физика и инженерия: подбор параметров эмпирических формул по экспериментальным данным, калибровка датчиков.
• Машинное обучение: основа для линейной регрессии, полиномиальной регрессии и многих регуляризированных методов (гребневая регрессия, лассо).

Критика и ограничения

Несмотря на широкую распространённость, МНК имеет ряд ограничений:

• Чувствительность к выбросам: одно аномальное наблюдение может сильно исказить оценку, так как квадрат отклонения придаёт ему большой вес.
• Зависимость от предположений: при нарушении условий теоремы Гаусса — Маркова (например, при мультиколлинеарности предикторов) оценки становятся неэффективными или неустойчивыми.
• Линейность по параметрам: в классической формулировке метод применим только к моделям, линейным по параметрам; нелинейные случаи требуют сложных численных процедур.
• Переобучение: при избыточном числе параметров модель может подгоняться под шум в данных, а не под истинную зависимость.

Источники

1. Лежандр А. М. Nouvelles méthodes pour la détermination des orbites des comètes. Paris, 1805.
2. Гаусс К. Ф. Theoria motus corporum coelestium. Hamburg, 1809.
3. Чебышев П. Л. О непрерывных дробях (1855) // Полное собрание сочинений. Т. 2. М.—Л., 1947.
4. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. М.: Вильямс, 2007.
5. Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980.
6. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. М.: Дело, 2007.