Усечённая регрессия

Усечённая регрессия — это разновидность регрессионного анализа, применяемая в статистике и эконометрике для моделирования зависимой переменной, значения которой наблюдаются не полностью, а лишь в определённом диапазоне. В отличие от цензурированной регрессии, где информация о переменной за пределами порога частично сохраняется (известно, что значение находится выше или ниже порога), при усечении все наблюдения, выходящие за границы заданного интервала, полностью исключаются из выборки. Основная задача усечённой регрессии — получение состоятельных и несмещённых оценок параметров модели, когда стандартный метод наименьших квадратов (МНК) даёт смещённые результаты из-за неслучайного отбора данных.

Определение и основные понятия

Усечённая регрессия моделирует условное математическое ожидание зависимой переменной \( Y \) при условии, что \( Y \) принадлежит некоторому известному интервалу \([a, b]\), где \( a \) и \( b \) — фиксированные пороговые значения (часто \( a = -\infty \) или \( b = +\infty \)). В общем виде модель записывается как:

\[ E[Y | X, a \le Y \le b] = X\beta + \sigma \cdot \frac{\phi(\alpha) - \phi(\beta)}{\Phi(\beta) - \Phi(\alpha)} \]

где:

• \( X \) — матрица независимых переменных (регрессоров);
• \( \beta \) — вектор оцениваемых коэффициентов;
• \( \sigma \) — стандартное отклонение ошибки;
• \( \phi(\cdot) \) — функция плотности стандартного нормального распределения;
• \( \Phi(\cdot) \) — функция распределения стандартного нормального распределения;
• \( \alpha = (a - X\beta)/\sigma \), \( \beta = (b - X\beta)/\sigma \).

Дополнительный член в правой части уравнения, называемый обратным отношением Миллса (Inverse Mills Ratio), корректирует смещение, возникающее из-за усечения. Если усечение одностороннее (например, только снизу, при \( a = 0 \), \( b = +\infty \)), формула упрощается.

История

Методология усечённой регрессии берёт начало в работах по эконометрике 1950–1960-х годов, связанных с анализом выборок с ограниченной зависимой переменной. Значительный вклад в развитие модели внёс американский экономист Джеймс Тобин (James Tobin), который в 1958 году предложил тобит-модель (Tobit model) для цензурированных данных. Однако для случаев, когда данные не просто цензурированы, а полностью усечены, потребовалась отдельная модификация. В 1970-х годах методы оценки усечённых регрессий были формализованы в работах таких учёных, как Артур Голдбергер (Arthur Goldberger) и Джон Хекман (James Heckman). Хекман, в частности, разработал двухшаговую процедуру (Heckman correction), которая, хотя и предназначена в первую очередь для коррекции смещения отбора (sample selection bias), тесно связана с усечённой регрессией и использует схожие математические инструменты.

В 1980-х годах с развитием вычислительной техники и методов численной оптимизации усечённая регрессия стала применяться в пакетах статистического анализа (STATA, R, SAS, EViews), что сделало её доступной для широкого круга исследователей.

Отличие от цензурированной регрессии

Ключевое различие между усечённой и цензурированной регрессиями заключается в характере потери информации:

В усечённой регрессии объём выборки меньше, чем в исходной генеральной совокупности, и этот отбор неслучаен, что приводит к смещению оценок МНК. В цензурированной регрессии выборка сохраняет все наблюдения, но значения зависимой переменной частично заменяются пороговыми.

Методы оценки

Метод максимального правдоподобия (MLE)

Основным методом оценки параметров усечённой регрессии является метод максимального правдоподобия. Функция правдоподобия для выборки из \( n \) наблюдений с двусторонним усечением на интервале \([a, b]\) строится на основе усечённого нормального распределения:

\[ L(\beta, \sigma^2) = \prod_{i=1}^{n} \frac{\frac{1}{\sigma} \phi\left(\frac{y_i - X_i\beta}{\sigma}\right)}{\Phi\left(\frac{b - X_i\beta}{\sigma}\right) - \Phi\left(\frac{a - X_i\beta}{\sigma}\right)} \]

Максимизация логарифма этой функции по \( \beta \) и \( \sigma^2 \) производится численно (например, методом Ньютона-Рафсона или градиентными алгоритмами). Полученные оценки являются состоятельными, асимптотически нормальными и асимптотически эффективными при условии правильной спецификации модели.

Двухшаговая процедура Хекмана

Хотя процедура Хекмана (Heckman correction) разработана для коррекции смещения отбора (sample selection bias), она может быть адаптирована для усечённой регрессии. На первом шаге оценивается пробит-модель вероятности попадания наблюдения в выборку (то есть \( a \le Y \le b \)). На втором шаге в основное регрессионное уравнение добавляется обратное отношение Миллса, рассчитанное из пробит-модели. Однако этот метод менее эффективен, чем MLE, и требует гомоскедастичности ошибок.

Байесовские методы

В байесовском подходе усечённая регрессия рассматривается как модель с усечённым априорным распределением для зависимой переменной. Оценка параметров производится с помощью методов марковских цепей Монте-Карло (MCMC), например, сэмплера Гиббса. Байесовские методы позволяют учитывать априорную информацию и работать с малыми выборками, но требуют значительных вычислительных ресурсов.

Применение

Усечённая регрессия широко используется в областях, где данные естественным образом ограничены:

• Экономика труда: анализ заработной платы работников, занятых только в определённом секторе (например, с почасовой оплатой выше минимального размера оплаты труда — МРОТ). Исследование факторов, влияющих на доходы самозанятых, чьи доходы декларируются только выше порога налогообложения.
• Социология и маркетинг: изучение потребительских расходов на товары длительного пользования, где покупки ниже определённой стоимости (например, 1000 руб.) не фиксируются в базе данных. Анализ времени, затраченного на просмотр видео, если платформа учитывает только сессии длительностью более 30 секунд.
• Медицина и эпидемиология: моделирование времени выживаемости пациентов, если в исследование включаются только те, кто прожил более определённого срока после лечения. Анализ дозировок лекарств, назначаемых только при превышении порога тяжести заболевания.
• Экология: оценка зависимости загрязнения воздуха от промышленных выбросов, если измерения проводятся только при концентрациях выше предела обнаружения приборов.

Ограничения и критика

Основные ограничения усечённой регрессии включают:

1. Чувствительность к спецификации: модель предполагает нормальное распределение ошибок. При сильном отклонении от нормальности оценки MLE могут быть смещёнными. В таких случаях применяют робастные методы или обобщённые линейные модели с другими распределениями (логистическим, гамма).
2. Требовательность к объёму выборки: для получения состоятельных оценок требуется достаточно большое количество наблюдений (обычно не менее нескольких сотен), особенно при сильном усечении (когда за порогом остаётся малая часть генеральной совокупности).
3. Сложность интерпретации: коэффициенты \( \beta \) в усечённой регрессии не имеют прямой интерпретации как предельные эффекты на наблюдаемую переменную. Для расчёта предельных эффектов необходимо учитывать поправочный член, что усложняет анализ.
4. Проблема идентификации: при очень сильном усечении (например, когда в выборку попадает менее 5% генеральной совокупности) модель может быть плохо идентифицируемой, и оценки становятся неустойчивыми.

Критики также отмечают, что на практике исследователи часто путают усечение с цензурированием и применяют неподходящие методы, что приводит к ошибочным выводам. Кроме того, в некоторых случаях усечение может быть эндогенным (например, если порог определяется самими субъектами), что требует применения инструментальных переменных или структурных моделей.

Программная реализация

Усечённая регрессия реализована в основных статистических пакетах:

• STATA: команда truncreg (с опциями ll() и ul() для нижнего и верхнего порогов).
• R: функция truncreg из пакета truncreg; также доступна в пакете censReg с аргументом trunc = TRUE.
• SAS: процедура PROC QLIM с опцией TRUNCATED.
• Python: библиотека statsmodels (класс TruncatedModel в модуле statsmodels.regression.truncated).

Пример

Пусть исследуется зависимость годового дохода (в тыс. руб.) от уровня образования (лет обучения) для работников, чей доход превышает 300 тыс. руб. (нижнее усечение). Выборка содержит 500 наблюдений. Применение обычного МНК к таким данным даст смещённую оценку коэффициента при образовании, так как работники с низким доходом (менее 300 тыс.) исключены. Усечённая регрессия с нижним порогом 300 позволяет получить несмещённую оценку: например, каждый дополнительный год обучения увеличивает ожидаемый доход на 15 тыс. руб. (при условии, что доход уже превышает порог).

Источники

1. Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson.
2. Tobin, J. (1958). Estimation of Relationships for Limited Dependent Variables. Econometrica, 26(1), 24–36.
3. Heckman, J. J. (1979). Sample Selection Bias as a Specification Error. Econometrica, 47(1), 153–161.
4. Cameron, A. C., & Trivedi, P. K. (2005). Microeconometrics: Methods and Applications. Cambridge University Press.
5. Wooldridge, J. M. (2010). Econometric Analysis of Cross Section and Panel Data (2nd ed.). MIT Press.
6. Maddala, G. S. (1983). Limited-Dependent and Qualitative Variables in Econometrics. Cambridge University Press.