Обобщённый метод наименьших квадратов

Обобщённый метод наименьших квадратов (ОМНК, англ. Generalized Least Squares, GLS) — это статистический метод оценивания параметров регрессионной модели, применяемый в условиях, когда стандартные предположения классической линейной регрессии (гомоскедастичность и отсутствие автокорреляции случайных ошибок) нарушены. ОМНК представляет собой обобщение обычного метода наименьших квадратов (МНК), позволяющее получать эффективные (с минимальной дисперсией) и несмещённые оценки коэффициентов регрессии при наличии гетероскедастичности или корреляции ошибок.

История

Метод наименьших квадратов в его классической форме был разработан Карлом Фридрихом Гауссом в начале XIX века. Однако необходимость учёта неоднородности дисперсий ошибок возникла в статистической практике значительно позже. В 1930-х годах Рональд Фишер и другие исследователи начали разрабатывать подходы для работы с гетероскедастичными данными. Формальное обобщение метода на случай произвольной ковариационной матрицы ошибок было предложено в 1950-х годах, в частности, в работах Альберта Маделя и Генри Тейла. В 1960-е годы ОМНК получил широкое распространение в эконометрике, особенно в контексте анализа временных рядов и панельных данных.

Основные предпосылки

В классической линейной регрессионной модели предполагается, что случайные ошибки ε_i независимы, имеют нулевое математическое ожидание и одинаковую дисперсию (гомоскедастичность). Математически это записывается как:

• E(ε) = 0
• Cov(ε) = σ²I, где I — единичная матрица.

Обобщённый метод наименьших квадратов снимает второе ограничение, допуская, что ковариационная матрица ошибок может быть произвольной положительно определённой матрицей Ω:

• Cov(ε) = σ²Ω, где Ω — известная (или оцениваемая) симметричная положительно определённая матрица размерности n×n.

Таким образом, ОМНК применим в двух основных случаях:

• Гетероскедастичность — дисперсия ошибок непостоянна (например, зависит от значений регрессоров).
• Автокорреляция — ошибки коррелированы между собой (характерно для временных рядов).

Математическая формулировка

Рассмотрим регрессионную модель в матричной форме:

y = Xβ + ε

где y — вектор зависимой переменной размерности n×1, X — матрица регрессоров размерности n×k, β — вектор неизвестных коэффициентов размерности k×1, ε — вектор случайных ошибок с ковариационной матрицей σ²Ω.

Оценка ОМНК получается путём минимизации обобщённой суммы квадратов:

S(β) = (y - Xβ)ᵀ Ω⁻¹ (y - Xβ)

Решение этой задачи даёт формулу:

β̂_GLS = (Xᵀ Ω⁻¹ X)⁻¹ Xᵀ Ω⁻¹ y

Дисперсионно-ковариационная матрица оценки:

Var(β̂_GLS) = σ² (Xᵀ Ω⁻¹ X)⁻¹

Если матрица Ω известна точно, то оценка ОМНК является наилучшей линейной несмещённой оценкой (BLUE) по теореме Гаусса — Маркова для обобщённой модели.

Связь с обычным МНК

Обычный метод наименьших квадратов является частным случаем ОМНК при Ω = I. В этом случае формула ОМНК сводится к стандартной МНК-оценке:

β̂_OLS = (Xᵀ X)⁻¹ Xᵀ y

Однако при нарушении гомоскедастичности или независимости ошибок МНК-оценки остаются несмещёнными, но перестают быть эффективными (их дисперсия не минимальна). Кроме того, стандартные ошибки, вычисленные по МНК-формулам, оказываются смещёнными, что приводит к некорректным статистическим выводам.

Виды и модификации

Взвешенный метод наименьших квадратов (ВМНК)

Если матрица Ω диагональна (ошибки некоррелированы, но имеют разные дисперсии), ОМНК превращается во взвешенный метод наименьших квадратов (Weighted Least Squares, WLS). В этом случае каждому наблюдению присваивается вес, обратно пропорциональный дисперсии его ошибки:

β̂_WLS = (Xᵀ W X)⁻¹ Xᵀ W y

где W = Ω⁻¹ — диагональная матрица весов.

Доступный обобщённый метод наименьших квадратов (ДОМНК)

На практике матрица Ω обычно неизвестна и подлежит оцениванию. В таких случаях используется двухшаговая процедура, называемая доступным (или выполнимым) обобщённым методом наименьших квадратов (Feasible GLS, FGLS):

1. Первый шаг: оценивается исходная модель обычным МНК, и по остаткам регрессии строится оценка ковариационной матрицы Ω̂.
2. Второй шаг: с использованием полученной оценки Ω̂ вычисляется ОМНК-оценка β̂_FGLS = (Xᵀ Ω̂⁻¹ X)⁻¹ Xᵀ Ω̂⁻¹ y.

ДОМНК асимптотически эквивалентен ОМНК при условии состоятельности оценки Ω̂. Однако на малых выборках его свойства могут ухудшаться.

Итеративный ОМНК

В некоторых реализациях процедура FGLS повторяется итеративно: после получения β̂_FGLS заново оценивается Ω̂ на основе новых остатков, и процесс повторяется до сходимости. Такой подход может улучшить качество оценок, но не гарантирует сходимости к глобальному оптимуму.

Применение

Эконометрика и анализ временных рядов

ОМНК широко используется в эконометрике для оценки моделей с автокоррелированными ошибками (например, модель AR(1) в остатках) и гетероскедастичностью. В частности, он применяется при оценивании:

• Моделей панельных данных (случайные эффекты, модели с коррелированными ошибками).
• Систем одновременных уравнений (трёхшаговый метод наименьших квадратов).
• Моделей с гетероскедастичностью, когда известна функциональная форма дисперсии.

Биостатистика и эпидемиология

В мета-анализе ОМНК используется для объединения результатов нескольких исследований с учётом их точности (веса обратно пропорциональны дисперсиям оценок). В анализе повторных измерений ОМНК позволяет моделировать корреляцию между наблюдениями одного субъекта.

Геостатистика

В пространственном анализе ОМНК применяется для учёта пространственной корреляции ошибок, что важно при интерполяции данных и построении карт.

Финансовая математика

В моделях ценообразования активов (например, CAPM) ОМНК используется для оценки факторов риска при наличии гетероскедастичности и автокорреляции в доходностях.

Преимущества и недостатки

Преимущества

• Обеспечивает эффективные (с минимальной дисперсией) оценки при нарушении стандартных предпосылок.
• Позволяет корректно вычислять стандартные ошибки и доверительные интервалы.
• Является естественным обобщением классического МНК.

Недостатки

• Требует знания или состоятельного оценивания ковариационной матрицы ошибок Ω.
• При неправильной спецификации Ω оценки могут быть смещёнными и неэффективными.
• На малых выборках ДОМНК может давать худшие результаты, чем устойчивый к гетероскедастичности МНК (с робастными стандартными ошибками).
• Вычислительная сложность возрастает с размерностью матрицы Ω.

Критика

Основная критика ОМНК связана с его чувствительностью к спецификации ковариационной структуры. Если исследователь неверно задаёт форму Ω (например, предполагает AR(1) там, где на самом деле ARMA(2,1)), оценки могут быть хуже, чем у простого МНК. В связи с этим в современной эконометрике часто предпочитают использовать робастные оценки стандартных ошибок (например, по Уайту или Ньюи — Уэсту), которые не требуют точного задания Ω, но при этом корректируют стандартные ошибки МНК-оценок.

Кроме того, в некоторых случаях ОМНК может приводить к нефизичным или неинтерпретируемым результатам, особенно если веса в ВМНК выбираются произвольно.

Источники

• Грин, У. Х. (2016). Эконометрический анализ. 8-е издание. Pearson Education.
• Магнус, Я. Р., Нейдеккер, Х. (2007). Матричное дифференциальное исчисление с приложениями к статистике и эконометрике. Wiley.
• Дэвидсон, Р., Маккиннон, Дж. Г. (2004). Эконометрическая теория и методы. Oxford University Press.
• Хаяси, Ф. (2000). Эконометрика. Princeton University Press.
• Ву, К. Ф. (1973). «Об асимптотической теории критериев выбора модели». Journal of the American Statistical Association, 68(342), 364-372.