Взвешенный метод наименьших квадратов

Взвешенный метод наименьших квадратов (ВМНК, англ. Weighted Least Squares, WLS) — это метод регрессионного анализа, являющийся обобщением классического метода наименьших квадратов (МНК). Он применяется для оценки параметров математической модели, когда дисперсия случайных ошибок наблюдений не является постоянной (гетероскедастичность). ВМНК позволяет учесть различную точность измерений, присваивая каждому наблюдению вес, обратно пропорциональный дисперсии его ошибки.

История и происхождение

Метод наименьших квадратов был разработан в начале XIX века Карлом Фридрихом Гауссом и Адриеном Мари Лежандром. Классический МНК основывается на предположении, что все наблюдения имеют одинаковую точность (гомоскедастичность). Однако на практике, особенно в экономике, биологии, физике и инженерии, это условие часто нарушается. Например, при измерении доходов домохозяйств дисперсия ошибки для богатых домохозяйств, как правило, выше, чем для бедных.

Необходимость учёта неоднородности данных привела к появлению взвешенного метода. Первые упоминания о присвоении весов наблюдениям встречаются в работах Гаусса, который предлагал использовать веса, обратно пропорциональные дисперсиям. В XX веке, с развитием вычислительной техники и эконометрики, ВМНК получил широкое распространение как стандартный инструмент для коррекции гетероскедастичности.

Сущность метода

ВМНК минимизирует взвешенную сумму квадратов остатков:

\[ Q(\beta) = \sum_{i=1}^{n} w_i (y_i - f(x_i, \beta))^2 \]

где:

• \( y_i \) — зависимая переменная (отклик) для i-го наблюдения;
• \( x_i \) — вектор независимых переменных (предикторов);
• \( \beta \) — вектор оцениваемых параметров модели;
• \( f(x_i, \beta) \) — модель (например, линейная функция \( \beta_0 + \beta_1 x_i \));
• \( w_i \) — вес i-го наблюдения;
• \( n \) — количество наблюдений.

Вес \( w_i \) выбирается обратно пропорциональным дисперсии ошибки \( \sigma_i^2 \) для i-го наблюдения: \( w_i = 1 / \sigma_i^2 \). Если дисперсии известны, ВМНК даёт несмещённые и эффективные оценки параметров (теорема Гаусса — Маркова для взвешенного случая). На практике дисперсии часто неизвестны, и их оценивают по данным.

Связь с классическим МНК

Классический МНК является частным случаем ВМНК, когда все веса равны единице (или одинаковы). ВМНК можно интерпретировать как применение обычного МНК к преобразованным данным. Если умножить обе части уравнения регрессии на \( \sqrt{w_i} \), то дисперсия ошибки преобразованной модели становится постоянной (гомоскедастичной). Таким образом, ВМНК позволяет свести задачу с гетероскедастичностью к стандартной.

Определение весов

Выбор весов — ключевой этап применения ВМНК. Существует несколько подходов:

Теоретические веса

Если известна природа гетероскедастичности, веса могут быть заданы аналитически. Например, если дисперсия ошибки пропорциональна значению независимой переменной \( x_i \), то \( w_i = 1 / x_i \). В физических экспериментах веса часто определяются погрешностью измерительных приборов.

Эмпирические веса

Когда точная форма гетероскедастичности неизвестна, веса оценивают по данным. Распространённые методы:

• Двухшаговая процедура: сначала оценивается модель обычным МНК, затем анализируются остатки. На основе зависимости квадратов остатков от предикторов строится вспомогательная регрессия (например, \( \hat{e}_i^2 = a + b x_i \)), и веса вычисляются как \( w_i = 1 / (a + b x_i) \).
• Группировка данных: если наблюдения можно разбить на группы с примерно одинаковой дисперсией, внутри каждой группы вычисляется выборочная дисперсия, и веса присваиваются обратно этим дисперсиям.
• Итеративно перевзвешенный метод наименьших квадратов (IRLS): процедура, при которой веса уточняются на каждой итерации на основе текущих остатков. IRLS часто используется для робастной регрессии (устойчивой к выбросам).

Применение

ВМНК широко применяется в различных областях:

Эконометрика

• Коррекция гетероскедастичности в моделях регрессии по данным перекрёстных выборок (например, анализ расходов домохозяйств, где дисперсия растёт с доходом).
• Оценка моделей с панельными данными, когда дисперсия ошибок различается между временными периодами или объектами.

Биология и медицина

• Анализ дозозависимых эффектов: при изучении зависимости биологического ответа от дозы препарата дисперсия часто изменяется с уровнем дозы.
• Мета-анализ: объединение результатов нескольких исследований, каждое из которых имеет свою точность (вес — обратная дисперсия оценки эффекта).

Физика и инженерия

• Обработка экспериментальных данных: при измерениях с разной погрешностью (например, в астрономии, где точность наблюдений зависит от расстояния до объекта).
• Калибровка приборов: построение калибровочных кривых с учётом неоднородности погрешностей.

Химия

• Анализ спектроскопических данных: где интенсивность сигнала может быть связана с дисперсией шума.

Пример

Рассмотрим простую линейную регрессию \( y = \beta_0 + \beta_1 x + \varepsilon \). Пусть имеются данные о расходах на питание (\( y \)) и доходе (\( x \)) для 10 домохозяйств. Известно, что дисперсия расходов растёт с доходом. Применим ВМНК с весами \( w_i = 1 / x_i \).

Оценки параметров \( \beta_0 \) и \( \beta_1 \) находятся путём минимизации взвешенной суммы квадратов. Расчёт вручную или с помощью статистического пакета (например, R, Python с библиотекой statsmodels) даёт значения, близкие к \( \beta_0 \approx 2.5 \), \( \beta_1 \approx 0.65 \). Для сравнения, обычный МНК без весов дал бы \( \beta_0 \approx 1.8 \), \( \beta_1 \approx 0.68 \). Различие объясняется тем, что ВМНК придаёт больший вес наблюдениям с малым доходом (где дисперсия меньше), что делает оценку более эффективной.

Ограничения и критика

• Необходимость знания дисперсий: на практике истинные дисперсии редко известны, и их оценка вносит дополнительную неопределённость.
• Риск неправильной спецификации весов: если веса выбраны неверно, оценки могут быть смещёнными или неэффективными.
• Чувствительность к выбросам: ВМНК с неправильно заданными весами может усиливать влияние выбросов, если им присвоен большой вес.
• Сложность интерпретации: веса не всегда имеют интуитивно понятный смысл, что затрудняет содержательную интерпретацию результатов.

Интересные факты

• ВМНК является частным случаем обобщённого метода наименьших квадратов (ОМНК), который также учитывает корреляцию ошибок между наблюдениями.
• В робастной статистике веса могут быть функциями от остатков, что позволяет снижать влияние выбросов (например, метод Хьюбера).
• В русскоязычной научной литературе термин «взвешенный метод наименьших квадратов» иногда сокращается до ВМНК, но также используется «взвешенный МНК» или «метод взвешенных наименьших квадратов».

Источники

• Дрейпер Н., Смит Г. «Прикладной регрессионный анализ». — М.: Диалектика, 2007.
• Магнус Я. Р., Катышев П. К., Пересецкий А. А. «Эконометрика. Начальный курс». — М.: Дело, 2007.
• Greene W. H. «Econometric Analysis». — 8th ed. — Pearson, 2018.
• Carroll R. J., Ruppert D. «Transformation and Weighting in Regression». — Chapman and Hall, 1988.