Ограниченный регресс

Ограниченный регресс — это понятие, используемое в теории вероятностей, математической статистике и эконометрике для описания модели регрессионного анализа, в которой на значения зависимой переменной накладываются ограничения. В отличие от классической линейной регрессии, где зависимая переменная может принимать любые действительные значения, в моделях ограниченного регресса её диапазон или характер распределения искусственно ограничены. Такие модели применяются, когда исследуемая переменная является дискретной, категориальной, цензурированной (усечённой) или имеет ограниченный интервал значений.

Определение и основные характеристики

В классической линейной регрессии предполагается, что зависимая переменная \( Y \) является непрерывной и неограниченной, а её условное математическое ожидание линейно зависит от набора независимых переменных \( X \). Модель ограниченного регресса отходит от этого допущения. Основные характеристики таких моделей включают:

• Ограниченный диапазон значений: \( Y \) может принимать только значения из определённого множества, например, бинарные (0 или 1), порядковые (1, 2, 3), счётные (0, 1, 2, ...) или непрерывные, но ограниченные сверху и/или снизу (например, от 0 до 100).
• Непрерывность и дискретность: Модели могут описывать как дискретные, так и непрерывные, но ограниченные переменные.
• Необходимость специальных методов оценки: Обычный метод наименьших квадратов (МНК) в таких случаях даёт смещённые, несостоятельные или неэффективные оценки, поэтому применяются методы максимального правдоподобия, обобщённый метод моментов или байесовские подходы.

Классификация моделей ограниченного регресса

Модели ограниченного регресса делятся на несколько основных типов в зависимости от характера ограничений на зависимую переменную.

Бинарные модели

Бинарные модели используются, когда зависимая переменная принимает только два значения, обычно 0 и 1. Например, решение о покупке товара (купил/не купил), наличие заболевания (болен/здоров), результат голосования (за/против). Основные модели:

• Логит-модель (logit model): основана на логистическом распределении. Вероятность того, что \( Y = 1 \), задаётся функцией \( P(Y=1|X) = \frac{e^{X\beta}}{1 + e^{X\beta}} \), где \( \beta \) — вектор коэффициентов.
• Пробит-модель (probit model): основана на нормальном распределении. Вероятность \( P(Y=1|X) = \Phi(X\beta) \), где \( \Phi \) — функция стандартного нормального распределения.

Обе модели оцениваются методом максимального правдоподобия. Различия между ними в основном касаются формы функции связи и хвостов распределения, но на практике они часто дают схожие результаты.

Мультиномиальные и порядковые модели

Эти модели применяются, когда зависимая переменная имеет более двух категорий.

• Мультиномиальный логит (multinomial logit): используется для неупорядоченных категорий (например, выбор вида транспорта: автомобиль, автобус, велосипед). Предполагает независимость от нерелевантных альтернатив (IIA), что может быть ограничением.
• Порядковый логит/пробит (ordered logit/probit): применяется для упорядоченных категорий (например, уровень образования: начальное, среднее, высшее). Моделирует кумулятивные вероятности через пороговые значения.

Модели для счётных данных

Когда зависимая переменная представляет собой количество событий (число посещений врача, количество ДТП, число патентов), используются модели счётных данных:

• Пуассоновская регрессия (Poisson regression): предполагает, что \( Y \) распределена по закону Пуассона с параметром \( \lambda = e^{X\beta} \). Ограничение — равенство среднего и дисперсии.
• Отрицательная биномиальная регрессия (negative binomial regression): обобщение пуассоновской модели, допускающее передисперсию (дисперсия больше среднего).

Цензурированные и усечённые модели

Эти модели используются, когда значения зависимой переменной наблюдаются не полностью.

• Тобит-модель (Tobit model): применяется, когда переменная цензурирована, то есть её значения ниже или выше некоторого порога заменяются на этот порог. Классический пример — расходы на товары длительного пользования: многие домохозяйства имеют нулевые расходы, но потенциально могли бы потратить положительную сумму. Тобит-модель оценивает как вероятность ненулевого значения, так и величину положительных расходов.
• Усечённая регрессия (truncated regression): используется, когда наблюдения с определёнными значениями \( Y \) полностью отсутствуют в выборке. Например, анализ доходов только среди людей с доходом выше прожиточного минимума.

Модели с ограниченным диапазоном

Для непрерывных переменных, ограниченных интервалом (например, проценты, доли, рейтинги от 0 до 100), применяются:

• Бета-регрессия (beta regression): предполагает, что \( Y \) распределена по бета-распределению на интервале (0, 1). Подходит для долей и пропорций.
• Модели с логит- или пробит-преобразованием: зависимая переменная преобразуется, чтобы снять ограничения, например, \( \ln\left(\frac{Y}{1-Y}\right) \).

Методы оценки

Оценка параметров моделей ограниченного регресса обычно производится методом максимального правдоподобия (ММП). Для каждой модели строится функция правдоподобия, которая отражает вероятность наблюдения данных при заданных параметрах. ММП даёт состоятельные, асимптотически эффективные и нормально распределённые оценки при выполнении условий регулярности.

Для некоторых моделей (например, бинарных) ММП реализуется итеративными методами, такими как метод Ньютона-Рафсона или метод scoring Фишера. В случае сложных моделей (например, с эндогенностью) могут применяться обобщённый метод моментов (GMM) или байесовские методы с использованием цепей Маркова (MCMC).

Применение

Модели ограниченного регресса широко используются в различных областях, где классическая линейная регрессия неприменима из-за характера данных.

Экономика и финансы

• Анализ потребительского выбора: бинарные модели для решения о покупке, мультиномиальные модели для выбора бренда.
• Оценка кредитного риска: логит- и пробит-модели для прогнозирования дефолта заёмщика.
• Исследование рынка труда: тобит-модели для анализа почасовой заработной платы с учётом нулевых значений для безработных.
• Анализ счётных данных: пуассоновские модели для числа патентов, выданных компанией.

Медицина и эпидемиология

• Бинарные модели для наличия заболевания (например, рака) на основе факторов риска.
• Порядковые модели для стадий заболевания (лёгкая, средняя, тяжёлая).
• Модели счётных данных для числа госпитализаций или приступов.

Социология и политология

• Бинарные модели для голосования на выборах.
• Мультиномиальные модели для выбора политической партии.
• Порядковые модели для уровня доверия к институтам (низкий, средний, высокий).

Маркетинг

• Модели для прогнозирования отклика на рекламную кампанию (бинарная переменная).
• Анализ удовлетворённости клиентов (порядковая шкала).
• Модели для числа покупок (счётные данные).

Примеры

Пример 1: Логит-модель для вероятности дефолта

Пусть исследуется зависимость вероятности дефолта заёмщика (\( Y = 1 \) при дефолте, 0 — иначе) от его дохода (\( X_1 \)) и кредитной истории (\( X_2 \)). Оценка логит-модели даёт коэффициенты \( \beta_0, \beta_1, \beta_2 \). Вероятность дефолта для конкретного заёмщика вычисляется как \( P = \frac{e^{\beta_0 + \beta_1 X_1 + \beta_2 X_2}}{1 + e^{\beta_0 + \beta_1 X_1 + \beta_2 X_2}} \). Если \( P > 0.5 \), заёмщик классифицируется как рискованный.

Пример 2: Тобит-модель для расходов на образование

Рассматриваются расходы домохозяйств на дополнительное образование. Многие домохозяйства тратят 0 рублей, а некоторые — положительные суммы. Тобит-модель позволяет оценить как вероятность положительных расходов, так и их величину, учитывая, что нулевые значения являются результатом цензурирования.

Пример 3: Пуассоновская регрессия для числа ДТП

Изучается зависимость числа дорожно-транспортных происшествий (\( Y \)) от интенсивности движения (\( X_1 \)) и погодных условий (\( X_2 \)). Пуассоновская регрессия оценивает, как \( X \) влияют на среднее число ДТП, предполагая, что \( Y \) распределена по Пуассону.

Критика и ограничения

Модели ограниченного регресса имеют ряд недостатков:

• Предположения о распределении: Логит- и пробит-модели требуют выбора функции распределения, который может быть произвольным. Неправильный выбор может привести к смещению оценок.
• Проблема идентификации: В некоторых моделях (например, мультиномиальный логит) может возникать проблема неидентифицируемости параметров, если категории редки.
• Чувствительность к выбросам: ММП может быть чувствителен к выбросам, особенно в малых выборках.
• Интерпретация коэффициентов: В отличие от линейной регрессии, коэффициенты в моделях ограниченного регресса не имеют прямого смысла как «изменение \( Y \) при изменении \( X \) на единицу». Для интерпретации требуются предельные эффекты, которые зависят от точки оценки.
• Вычислительная сложность: Для сложных моделей (например, с эндогенностью) оценка может быть трудоёмкой и требовать специализированного программного обеспечения.

Источники

1. Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson.
2. Wooldridge, J. M. (2010). Econometric Analysis of Cross Section and Panel Data (2nd ed.). MIT Press.
3. Cameron, A. C., & Trivedi, P. K. (2005). Microeconometrics: Methods and Applications. Cambridge University Press.
4. Long, J. S. (1997). Regression Models for Categorical and Limited Dependent Variables. Sage Publications.
5. Maddala, G. S. (1983). Limited-Dependent and Qualitative Variables in Econometrics. Cambridge University Press.