Обобщённая линейная модель

Обобщённая линейная модель (ОЛМ, англ. Generalized Linear Model, GLM) — это статистическая модель, обобщающая классическую линейную регрессию на случаи, когда зависимая переменная (отклик) не подчиняется нормальному закону распределения или её связь с предикторами (независимыми переменными) не является линейной в обычном смысле. ОЛМ позволяет моделировать отклики, распределённые по биномиальному, пуассоновскому, гамма-распределению и другим законам, используя функцию связи, которая преобразует математическое ожидание отклика в линейную комбинацию предикторов. Модель была формализована в 1972 году британскими статистиками Джоном Нелдером и Робертом Уэддербёрном.

История

Истоки обобщённых линейных моделей восходят к работам по логистической регрессии, разработанной в середине XX века для анализа бинарных данных (например, в эпидемиологии). Однако единая теория отсутствовала. В 1972 году Джон Нелдер и Роберт Уэддербёрн в статье «Обобщённые линейные модели» (Journal of the Royal Statistical Society) предложили объединить линейную регрессию, логистическую регрессию, пробит-модель и модель Пуассона в рамках единого формализма. Ключевым вкладом стало введение понятия функции связи и экспоненциального семейства распределений. В 1980-х годах развитие вычислительной техники позволило применять ОЛМ для больших наборов данных, а в 1990-х годах модель была включена в стандартные статистические пакеты (R, SAS, SPSS, Stata).

Определение и формализация

Обобщённая линейная модель состоит из трёх компонентов:

1. Случайная компонента: зависимая переменная \( Y \) имеет распределение из экспоненциального семейства. К этому семейству относятся нормальное, биномиальное, пуассоновское, гамма-распределение, обратное гауссово и другие. Каждое распределение характеризуется параметром сдвига (математическое ожидание \( \mu \)) и, возможно, дисперсионным параметром.

1. Систематическая компонента: линейный предиктор \( \eta = \beta_0 + \beta_1 x_1 + \dots + \beta_p x_p \), где \( x_j \) — предикторы, \( \beta_j \) — коэффициенты.

1. Функция связи: монотонная дифференцируемая функция \( g(\mu) = \eta \), которая связывает математическое ожидание отклика с линейным предиктором. Обратная функция \( g^{-1} \) называется функцией отклика.

Оценка параметров \( \beta_j \) производится методом максимального правдоподобия, обычно с помощью итеративно перевзвешенного метода наименьших квадратов (IWLS). Для проверки значимости коэффициентов используются тесты Вальда, отношения правдоподобия или критерий хи-квадрат.

Виды и классификация

По типу распределения отклика

• Линейная регрессия (нормальное распределение, функция связи — тождественная \( g(\mu) = \mu \)).
• Логистическая регрессия (биномиальное распределение, логит-функция \( g(\mu) = \ln(\mu/(1-\mu)) \)).
• Пробит-регрессия (биномиальное распределение, пробит-функция — обратная функция стандартного нормального распределения).
• Пуассоновская регрессия (распределение Пуассона, логарифмическая функция связи \( g(\mu) = \ln(\mu) \)).
• Гамма-регрессия (гамма-распределение, обратная или логарифмическая связь).
• Модель обратного гауссова распределения.

По функции связи

• Каноническая функция связи: для каждого распределения существует естественная (каноническая) связь, при которой достаточная статистика совпадает с параметром. Например, для биномиального — логит, для пуассоновского — логарифм.
• Непосредственные функции связи: могут быть выбраны произвольно, например, пробит или комплементарный логарифм-логарифм для биномиальных данных.

По количеству предикторов

• Однофакторные модели: один предиктор.
• Многофакторные модели: несколько предикторов, включая взаимодействия.
• Модели с ковариатами: непрерывные и категориальные предикторы.

Устройство и оценка

Оценка параметров

Оценка максимального правдоподобия для ОЛМ не имеет аналитического решения в общем случае, поэтому применяется итеративный алгоритм. На каждом шаге вычисляются взвешенные наименьшие квадраты с весами, обратно пропорциональными дисперсии отклика на текущей итерации. Алгоритм сходится к оценкам, асимптотически нормальным и состоятельным.

Диагностика модели

• Остатки: стандартизированные остатки, остатки Пирсона, остатки девианса.
• Девианс: мера расхождения между наблюдаемыми данными и предсказанными моделью. Используется для сравнения моделей и проверки гипотез.
• Информационные критерии: AIC (информационный критерий Акаике), BIC (байесовский информационный критерий) для выбора модели.
• Проверка на передисперсию: для пуассоновской и биномиальной моделей — тест на дисперсию, превышающую теоретическую.

Применение

Медицина и эпидемиология

• Логистическая регрессия: оценка вероятности заболевания (например, рака лёгкого) в зависимости от курения, возраста, пола.
• Пуассоновская регрессия: моделирование числа случаев заболеваний в популяции за единицу времени.
• Гамма-регрессия: анализ времени до события (выживаемость) с гамма-распределением.

Экономика и финансы

• Логистическая регрессия: кредитный скоринг — вероятность дефолта заёмщика.
• Пуассоновская регрессия: моделирование числа страховых случаев.
• Гамма-регрессия: анализ стоимости страховых выплат.

Экология и биология

• Пуассоновская регрессия: учёт численности видов на участке.
• Логистическая регрессия: моделирование присутствия/отсутствия вида.
• Биномиальная модель с пробит-связью: анализ всхожести семян.

Социология и маркетинг

• Логистическая регрессия: прогнозирование покупки товара.
• Мультиномиальная логистическая регрессия: выбор среди нескольких категорий.

Примеры

Пример 1: Логистическая регрессия

Исследуется зависимость наличия ишемической болезни сердца (ИБС) от возраста (лет) и уровня холестерина (мг/дл). Модель: \( \ln(p/(1-p)) = \beta_0 + \beta_1 \cdot \text{возраст} + \beta_2 \cdot \text{холестерин} \). Оценка: \( \beta_1 = 0.05 \), \( \beta_2 = 0.02 \). При увеличении возраста на 1 год шансы ИБС увеличиваются в \( e^{0.05} \approx 1.05 \) раза.

Пример 2: Пуассоновская регрессия

Моделируется число дорожно-транспортных происшествий на перекрёстке за месяц в зависимости от интенсивности движения (тыс. автомобилей в день). Модель: \( \ln(\mu) = \beta_0 + \beta_1 \cdot \text{интенсивность} \). Оценка: \( \beta_1 = 0.3 \). При увеличении интенсивности на 1 тыс. автомобилей ожидаемое число ДТП увеличивается в \( e^{0.3} \approx 1.35 \) раза.

Критика и ограничения

1. Предположение о распределении: ОЛМ требует, чтобы распределение отклика принадлежало экспоненциальному семейству. Для данных с мультимодальным распределением или с большим числом нулей (например, в страховании) могут потребоваться более сложные модели (например, нуль-инфляционные модели).
2. Линейность в предикторах: модель предполагает линейную зависимость между функцией связи и предикторами. Нелинейные эффекты требуют включения полиномиальных членов или сплайнов, что выходит за рамки базовой ОЛМ.
3. Передисперсия: для пуассоновской и биномиальной моделей реальная дисперсия часто превышает теоретическую. Это может быть скорректировано введением квази-правдоподобия или использованием отрицательного биномиального распределения.
4. Чувствительность к выбросам: оценки максимального правдоподобия могут быть неустойчивы при наличии выбросов. Робастные методы оценки (например, M-оценки) разработаны, но менее распространены.
5. Интерпретация коэффициентов: коэффициенты интерпретируются через функцию связи, что может быть неочевидно для неспециалистов. Например, в логистической регрессии — логарифм шансов, а не вероятности.

Связь с другими моделями

• Линейная регрессия является частным случаем ОЛМ с нормальным распределением и тождественной функцией связи.
• Обобщённые аддитивные модели (GAM) расширяют ОЛМ, заменяя линейные члены на гладкие непараметрические функции.
• Обобщённые линейные смешанные модели (GLMM) добавляют случайные эффекты для учёта кластеризации данных.
• Модели с нулевым завышением (ZIP, ZINB) комбинируют ОЛМ с бинарной моделью для избыточных нулей.

Источники

1. Nelder, J. A., & Wedderburn, R. W. M. (1972). Generalized Linear Models. Journal of the Royal Statistical Society. Series A (General), 135(3), 370–384.
2. McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.). Chapman and Hall.
3. Dobson, A. J., & Barnett, A. G. (2018). An Introduction to Generalized Linear Models (4th ed.). CRC Press.
4. Agresti, A. (2015). Foundations of Linear and Generalized Linear Models. Wiley.
5. Faraway, J. J. (2016). Extending the Linear Model with R: Generalized Linear, Mixed Effects and Nonparametric Regression Models (2nd ed.). CRC Press.