Регрессионное взвешивание¶

Регрессионное взвешивание — это статистический метод, используемый для оценки среднего эффекта воздействия (treatment effect) в наблюдательных исследованиях, когда данные не являются рандомизированными. Метод сочетает в себе элементы регрессионного анализа и взвешивания по обратной вероятности (inverse probability weighting, IPW), позволяя скорректировать систематические различия между группами сравнения (например, между теми, кто получил лечение, и контрольной группой). Основная цель регрессионного взвешивания — получить несмещённую оценку причинно-следственной связи, минимизируя влияние конфаундеров (confounders) — переменных, влияющих как на назначение воздействия, так и на исход.

¶История и развитие

Метод регрессионного взвешивания был разработан в начале 2000-х годов в рамках более широкого направления — причинно-следственного вывода (causal inference). Его появление связано с работами таких статистиков, как Джеймс Робинс (James Robins) и Мигель Эрнан (Miguel Hernán), которые предложили подходы к анализу данных с помощью структурных уравнений и взвешивания. В 2010-х годах метод получил развитие благодаря трудам Кристиана Хансена (Christian Hansen) и других исследователей, которые формализовали его как гибрид регрессии и IPW. В отличие от традиционных методов, таких как регрессия с поправкой на ковариаты или склонность (propensity score matching), регрессионное взвешивание позволяет одновременно учитывать нелинейные зависимости и веса, что повышает устойчивость оценок при нарушении предположений о линейности.

¶Основные принципы

¶Причинно-следственный вывод и конфаундеры

Регрессионное взвешивание базируется на концепции потенциальных исходов (potential outcomes), предложенной Дональдом Рубином (Donald Rubin). Для каждого субъекта существует два потенциальных исхода: \(Y_1\) (при воздействии) и \(Y_0\) (без воздействия). Наблюдаемый исход \(Y\) равен \(Y_1\), если субъект получил воздействие, и \(Y_0\) в противном случае. Средний эффект воздействия (ATE) определяется как \(E[Y_1 - Y_0]\). В наблюдательных исследованиях группы сравнения могут систематически различаться по конфаундерам, что приводит к смещению оценки. Регрессионное взвешивание решает эту проблему, присваивая каждому наблюдению вес, обратно пропорциональный вероятности получения воздействия при заданных ковариатах.

¶Взвешивание по обратной вероятности

Ключевой элемент регрессионного взвешивания — модель склонности (propensity score), которая оценивает вероятность получения воздействия \(P(Z=1|X)\) на основе ковариат \(X\). Вес для каждого наблюдения вычисляется как \(w = \frac{1}{P(Z=1|X)}\) для группы воздействия и \(w = \frac{1}{1-P(Z=1|X)}\) для контрольной группы. Взвешивание создаёт псевдопопуляцию, в которой распределение ковариат сбалансировано между группами, что имитирует рандомизацию. Однако прямое взвешивание может быть чувствительно к экстремальным весам, что приводит к высокой дисперсии оценок.

¶Регрессионная коррекция

Регрессионное взвешивание дополняет взвешивание моделью регрессии, которая связывает исход \(Y\) с воздействием и ковариатами. Вместо того чтобы полагаться только на веса, метод включает регрессионную поправку, что снижает зависимость от точности модели склонности. Типичная спецификация включает линейную регрессию с взаимодействиями между воздействием и ковариатами, но могут использоваться и нелинейные модели (например, обобщённые аддитивные модели). Регрессионная часть позволяет скорректировать остаточные дисбалансы, которые не были устранены взвешиванием.

¶Алгоритм реализации

¶Шаг 1: Оценка модели склонности

Для каждого наблюдения вычисляется вероятность \(P(Z=1|X)\) с помощью логистической регрессии, пробит-модели или машинного обучения (например, случайного леса). Модель включает все конфаундеры, которые могут влиять на назначение воздействия.

¶Шаг 2: Расчёт весов

Веса определяются как \(w_i = \frac{Z_i}{P_i} + \frac{1-Z_i}{1-P_i}\), где \(Z_i\) — индикатор воздействия. Для стабилизации весов часто используется нормализация: \(w_i^* = \frac{w_i}{\sum w_i} \times N\), где \(N\) — размер выборки.

¶Шаг 3: Взвешенная регрессия

Строится регрессионная модель исхода \(Y\) на воздействие \(Z\) и ковариаты \(X\) с весами \(w_i\). Оценка коэффициента при \(Z\) интерпретируется как средний эффект воздействия. Для учёта неопределённости используются устойчивые стандартные ошибки (robust standard errors), так как веса коррелируют с данными.

¶Пример

Рассмотрим исследование влияния программы профессионального обучения на заработную плату. Пусть \(Z=1\) для участников программы, \(Z=0\) для неучастников. Конфаундеры: возраст, образование, предыдущий доход. Модель склонности оценивает вероятность участия. Веса корректируют дисбаланс, а регрессия с весами показывает, что программа увеличивает зарплату в среднем на 5000 рублей в месяц.

¶Преимущества и недостатки

¶Преимущества

• Устойчивость к неправильной спецификации модели склонности: Регрессионная часть уменьшает смещение, если веса оценены неточно.
• Гибкость: Метод может обрабатывать непрерывные и категориальные исходы, а также множественные уровни воздействия.
• Эффективность: По сравнению с чистым взвешиванием, регрессионное взвешивание часто даёт оценки с меньшей дисперсией, особенно при умеренных размерах выборки.

¶Недостатки

• Чувствительность к экстремальным весам: Если некоторые вероятности склонности близки к 0 или 1, веса становятся большими, что увеличивает дисперсию и может привести к смещению из-за выбросов. Для смягчения используется усечение весов (truncation) или стабилизация.
• Зависимость от правильной спецификации модели: Если модель регрессии или склонности неправильно специфицирована, оценки могут быть смещёнными. Например, пропуск нелинейных взаимодействий между ковариатами и воздействием может исказить результат.
• Сложность интерпретации: Веса создают искусственную популяцию, что затрудняет обобщение результатов на исходную совокупность.

¶Применение

¶Экономика и социология

Регрессионное взвешивание широко используется для оценки эффективности образовательных программ, социальных политик и экономических интервенций. Например, в России метод применялся для анализа влияния субсидий на малый бизнес в регионах, где данные о предприятиях собирались из нерандомизированных выборок.

¶Медицина и эпидемиология

В клинических исследованиях, где рандомизация невозможна (например, при изучении влияния курения на здоровье), регрессионное взвешивание позволяет скорректировать конфаундеры, такие как возраст, пол и сопутствующие заболевания. В российских эпидемиологических исследованиях метод использовался для оценки эффекта вакцинации от COVID-19 на основе данных региональных регистров.

¶Политические науки

Метод применяется для анализа влияния избирательных кампаний или политических реформ на общественное мнение. В России, например, с его помощью оценивали эффект изменений в пенсионной системе на уровень доверия к правительству.

¶Сравнение с другими методами

¶Регрессионное взвешивание vs. Склонность (Propensity Score Matching)

В отличие от matching, который подбирает пары наблюдений с близкими вероятностями склонности, регрессионное взвешивание использует все данные, что снижает потерю информации. Однако matching может быть более устойчив к экстремальным весам, так как не требует их прямого расчёта.

¶Регрессионное взвешивание vs. Инструментальные переменные

Инструментальные переменные (IV) требуют наличия инструмента, который влияет на воздействие, но не на исход напрямую. Регрессионное взвешивание не требует такого инструмента, но предполагает, что все конфаундеры учтены (условие ignorability). В российской практике IV часто используется в экономике, но регрессионное взвешивание предпочтительнее при богатых данных о ковариатах.

¶Регрессионное взвешивание vs. Двойная устойчивость (Doubly Robust Estimation)

Регрессионное взвешивание является частным случаем двойной устойчивой оценки, которая сочетает взвешивание и регрессию. Двойная устойчивость гарантирует несмещённость, если хотя бы одна из моделей (склонности или регрессии) правильно специфицирована. Регрессионное взвешивание, как правило, менее устойчиво, если обе модели ошибочны.

¶Критика и ограничения

Основная критика регрессионного взвешивания связана с его чувствительностью к нарушению предположения о сильной игнорируемости (strong ignorability), которое требует, чтобы все конфаундеры были измерены и включены в модель. В реальных исследованиях это часто невыполнимо, что приводит к скрытому смещению. Кроме того, метод может давать нестабильные оценки при малых выборках (менее 100 наблюдений), когда веса сильно варьируются. В российской статистической практике регрессионное взвешивание реже применяется, чем в западной, из-за ограниченного доступа к качественным данным и меньшей распространённости причинно-следственного подхода.

¶Интересные факты

• Регрессионное взвешивание иногда называют «взвешенной регрессией с моделью склонности» (weighted regression with propensity scores), хотя это неформальное название.
• В 2020 году метод был адаптирован для анализа данных с пропущенными значениями с помощью множественного вменения, что расширило его применимость в медицинских исследованиях.
• В российских учебниках по эконометрике регрессионное взвешивание часто упоминается как часть более общего подхода «методов моментов» (generalized method of moments, GMM).

¶Источники

• Hernán, M. A., & Robins, J. M. (2020). Causal Inference: What If. Chapman & Hall/CRC.
• Imbens, G. W., & Rubin, D. B. (2015). Causal Inference for Statistics, Social, and Biomedical Sciences. Cambridge University Press.
• Rosenbaum, P. R., & Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41–55.
• Lunceford, J. K., & Davidian, M. (2004). Stratification and weighting via the propensity score in estimation of causal treatment effects: a comparative study. Statistics in Medicine, 23(19), 2937–2960.
• Айвазян, С. А., & Мхитарян, В. С. (2014). Прикладная статистика и основы эконометрики. Юнити-Дана.