Общая линейная модель

Общая линейная модель — это статистическая модель, которая описывает зависимость количественной (непрерывной) переменной отклика от одной или нескольких независимых переменных (факторов) через линейную комбинацию параметров. В отличие от множественной линейной регрессии, общая линейная модель допускает, что зависимая переменная может быть многомерной (векторной), а независимые переменные могут быть как количественными, так и качественными (категориальными). Модель является обобщением классической линейной регрессии, дисперсионного анализа (ANOVA), ковариационного анализа (ANCOVA) и t-теста.

История

Основы общей линейной модели были заложены в работах Карла Фридриха Гаусса (метод наименьших квадратов, начало XIX века) и Рональда Фишера (дисперсионный анализ, 1920-е годы). Фишер разработал методы анализа данных для сельскохозяйственных опытов, где требовалось учитывать влияние нескольких факторов одновременно. В середине XX века математики, такие как Джордж Бокс и Генри Шеффе, формализовали модель как единую систему уравнений. С развитием вычислительной техники в 1960–1970-х годах общая линейная модель стала широко применяться в социальных, биологических и экономических науках. В современной статистике она реализована во всех основных пакетах (R, SPSS, SAS, Python (statsmodels)).

Определение и формальная запись

Общая линейная модель записывается в матричной форме:

Y = Xβ + ε

где:

• Y — матрица зависимых переменных размерности n × m (n наблюдений, m переменных отклика);
• X — матрица плана (дизайн-матрица) размерности n × p (n наблюдений, p предикторов, включая константу);
• β — матрица параметров (коэффициентов) размерности p × m;
• ε — матрица случайных ошибок размерности n × m, предполагаемая распределённой по многомерному нормальному закону с нулевым математическим ожиданием и ковариационной матрицей σ²I.

Ключевые допущения модели:

1. Линейность связи между откликом и предикторами.
2. Независимость наблюдений.
3. Гомоскедастичность (постоянная дисперсия ошибок).
4. Нормальность распределения ошибок (для проверки гипотез и построения доверительных интервалов).
5. Отсутствие мультиколлинеарности (строгая линейная независимость столбцов матрицы X).

Классификация и виды

По числу зависимых переменных

• Унивариантная общая линейная модель — одна зависимая переменная (m = 1). Частные случаи: простая и множественная линейная регрессия, однофакторный и многофакторный дисперсионный анализ.
• Мультивариантная общая линейная модель — несколько зависимых переменных (m > 1). Используется, когда отклик измеряется по нескольким шкалам одновременно (например, рост, вес и объём лёгких). Пример — мультивариантный дисперсионный анализ (MANOVA).

По типу предикторов

• Только количественные предикторы — множественная линейная регрессия.
• Только качественные предикторы — дисперсионный анализ (ANOVA).
• Смешанные предикторы — ковариационный анализ (ANCOVA).

По структуре матрицы плана

• Сбалансированные модели — равное число наблюдений в каждой группе (типично для спланированных экспериментов).
• Несбалансированные модели — разное число наблюдений (часто встречается в наблюдательных исследованиях).

Оценка параметров

Параметры β оцениваются методом наименьших квадратов (МНК). Оценка находится по формуле:

β̂ = (XᵀX)⁻¹XᵀY

Для проверки статистической значимости коэффициентов используются t-тесты (для отдельных параметров) и F-тесты (для групп параметров). Оценка качества модели производится с помощью коэффициента детерминации R², скорректированного R², информационных критериев Акаике (AIC) и Байеса (BIC).

Применение

В науке

• Биология и медицина: анализ эффективности лекарств (ANCOVA с поправкой на возраст и пол), сравнение групп пациентов.
• Психология и социология: изучение влияния социально-демографических факторов на психологические тесты.
• Экономика: оценка производственных функций, анализ панельных данных.

В промышленности и инженерии

• Контроль качества: дисперсионный анализ для выявления влияния параметров производства на характеристики продукции.
• Агрономия: сравнение урожайности сортов растений при разных удобрениях.

В государственном управлении

• Оценка эффективности образовательных программ (ANCOVA с учётом начального уровня знаний).
• Анализ региональных различий в социально-экономических показателях.

Связь с другими моделями

Общая линейная модель является частным случаем обобщённой линейной модели (GLM), где функция распределения отклика может быть не нормальной (биномиальное, пуассоновское распределение), а связь между математическим ожиданием и линейным предиктором задаётся через функцию связи. В отличие от GLM, общая линейная модель требует нормальности ошибок и линейной зависимости.

Также общая линейная модель лежит в основе линейных смешанных моделей (LMM), которые добавляют случайные эффекты для учёта иерархической структуры данных (например, измерения внутри одного пациента).

Критика и ограничения

1. Чувствительность к выбросам — метод наименьших квадратов сильно искажается при наличии аномальных наблюдений.
2. Требование нормальности — при малых выборках нарушение нормальности ошибок ведёт к неверным выводам.
3. Линейность — модель не может улавливать нелинейные зависимости без преобразования переменных (например, добавления полиномов).
4. Мультиколлинеарность — высокая корреляция между предикторами делает оценки коэффициентов нестабильными.
5. Интерпретация причинности — общая линейная модель устанавливает статистическую связь, но не доказывает причинно-следственную связь без рандомизации.

Интересные факты

• Общая линейная модель является основой для многих методов машинного обучения, включая линейные классификаторы (логистическая регрессия — частный случай GLM, но не общей линейной модели).
• В пакете SPSS общая линейная модель реализована в модуле «General Linear Model» (GLM), который позволяет проводить как унивариантный, так и мультивариантный анализ.
• Термин «общая линейная модель» часто путают с «обобщённой линейной моделью» — это разные классы моделей, хотя названия схожи.

Источники

• Дрейпер Н., Смит Г. «Прикладной регрессионный анализ» (1986).
• Монтгомери Д.К. «Планирование эксперимента и анализ данных» (2012).
• Рао С.Р. «Линейные статистические методы и их применения» (1968).
• Хартли Х.О. «The General Linear Model» (1970).