Стандартная линейная модель

Стандартная линейная модель (СЛМ) — это статистическая модель, описывающая зависимость количественной переменной отклика (зависимой переменной) от одной или нескольких независимых переменных (предикторов, факторов) с помощью линейной функции. Модель предполагает, что связь между переменными является линейной, а ошибки (отклонения наблюдаемых значений от предсказанных) распределены нормально, независимо и с постоянной дисперсией. СЛМ является фундаментальным инструментом параметрической статистики, лежащим в основе регрессионного анализа, дисперсионного анализа (ANOVA), ковариационного анализа (ANCOVA) и многих других методов.

История

Истоки стандартной линейной модели восходят к работам Карла Фридриха Гаусса и Адриена Мари Лежандра в начале XIX века, которые независимо друг от друга разработали метод наименьших квадратов (МНК) для оценки параметров линейных уравнений. Гаусс в 1809 году опубликовал работу «Теория движения небесных тел», где применил МНК для расчета орбит астероидов. Лежандр в 1805 году в книге «Новые методы определения орбит комет» впервые формально описал метод.

В XX веке теория линейных моделей была существенно развита. Рональд Фишер в 1920-х годах заложил основы дисперсионного анализа, формализовав идею разложения общей вариации данных на компоненты, объясняемые факторами, и остаточную вариацию. В 1930-е годы Джордж Снедекор и Уильям Кокран разработали методы планирования экспериментов на основе линейных моделей. С развитием вычислительной техники в 1960-1970-х годах СЛМ стала широко доступна для практического применения в биологии, экономике, психологии и технике.

Определение и формальная запись

Стандартная линейная модель в общем виде записывается как:

\[ \mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon} \]

где:

• \(\mathbf{y}\) — вектор значений зависимой переменной размерности \(n \times 1\) (n — количество наблюдений);
• \(\mathbf{X}\) — матрица плана (или матрица регрессоров) размерности \(n \times p\), содержащая значения независимых переменных (включая столбец единиц для свободного члена);
• \(\boldsymbol{\beta}\) — вектор неизвестных параметров (коэффициентов) размерности \(p \times 1\), подлежащих оценке;
• \(\boldsymbol{\varepsilon}\) — вектор случайных ошибок (остатков) размерности \(n \times 1\), удовлетворяющий определённым предположениям.

Основные предположения (условия Гаусса-Маркова)

Для того чтобы оценки параметров, полученные методом наименьших квадратов, были несмещёнными и эффективными (с минимальной дисперсией среди всех линейных несмещённых оценок), должны выполняться следующие условия:

1. Линейность: зависимая переменная является линейной комбинацией независимых переменных и случайной ошибки.
2. Экзогенность: математическое ожидание ошибки равно нулю при любых значениях предикторов: \(E(\boldsymbol{\varepsilon}|\mathbf{X}) = 0\).
3. Гомоскедастичность: дисперсия ошибки постоянна для всех наблюдений: \(Var(\varepsilon_i) = \sigma^2\).
4. Отсутствие автокорреляции: ошибки разных наблюдений не коррелированы: \(Cov(\varepsilon_i, \varepsilon_j) = 0\) для \(i \neq j\).
5. Невырожденность матрицы плана: матрица \(\mathbf{X}\) имеет полный ранг (столбцы линейно независимы), что обеспечивает единственность решения.

Для проверки статистических гипотез и построения доверительных интервалов дополнительно предполагается нормальность распределения ошибок: \(\boldsymbol{\varepsilon} \sim N(0, \sigma^2\mathbf{I})\).

Оценка параметров

Основным методом оценки параметров \(\boldsymbol{\beta}\) является метод наименьших квадратов (МНК). Оценка \(\hat{\boldsymbol{\beta}}\) находится путём минимизации суммы квадратов остатков:

\[ \hat{\boldsymbol{\beta}} = \arg\min_{\boldsymbol{\beta}} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T(\mathbf{y} - \mathbf{X}\boldsymbol{\beta}) \]

Решение в матричной форме имеет вид:

\[ \hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T\mathbf{y} \]

При выполнении предположений Гаусса-Маркова оценка \(\hat{\boldsymbol{\beta}}\) является несмещённой (\(E(\hat{\boldsymbol{\beta}}) = \boldsymbol{\beta}\)) и эффективной (теорема Гаусса-Маркова). Дисперсионно-ковариационная матрица оценок равна:

\[ Var(\hat{\boldsymbol{\beta}}) = \sigma^2 (\mathbf{X}^T\mathbf{X})^{-1} \]

Несмещённая оценка дисперсии ошибок \(\sigma^2\) вычисляется как:

\[ \hat{\sigma}^2 = \frac{(\mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}})^T(\mathbf{y} - \mathbf{X}\hat{\boldsymbol{\beta}})}{n - p} \]

Виды и частные случаи

Стандартная линейная модель включает несколько частных случаев, различающихся природой независимых переменных:

Простая линейная регрессия

Модель с одной независимой переменной: \(y_i = \beta_0 + \beta_1 x_i + \varepsilon_i\). Используется для анализа линейной связи между двумя количественными переменными.

Множественная линейная регрессия

Модель с двумя и более независимыми переменными: \(y_i = \beta_0 + \beta_1 x_{i1} + \beta_2 x_{i2} + \dots + \beta_k x_{ik} + \varepsilon_i\). Позволяет учитывать влияние нескольких факторов одновременно.

Дисперсионный анализ (ANOVA)

Частный случай, когда все независимые переменные являются категориальными (факторами). Матрица плана строится с использованием фиктивных (дамми) переменных. Модель проверяет гипотезы о равенстве средних в группах.

Ковариационный анализ (ANCOVA)

Модель, включающая как категориальные, так и количественные предикторы. Позволяет скорректировать влияние количественных ковариат при сравнении групповых средних.

Диагностика и проверка адекватности

После построения модели необходимо проверить выполнение предположений. Основные диагностические процедуры включают:

• Анализ остатков: построение графиков остатков (например, «остатки vs. предсказанные значения») для выявления гетероскедастичности или нелинейности.
• Тесты на нормальность: критерий Шапиро-Уилка, тест Колмогорова-Смирнова.
• Тесты на гетероскедастичность: тест Бреуша-Пагана, тест Уайта.
• Тесты на автокорреляцию: критерий Дарбина-Уотсона.
• Мультиколлинеарность: проверка с помощью фактора инфляции дисперсии (VIF). Значение VIF > 10 (или > 5 в строгих вариантах) указывает на проблему.

Для выбора наилучшей модели среди нескольких альтернатив используются информационные критерии: AIC (критерий Акаике) и BIC (байесовский информационный критерий). Чем меньше значение, тем предпочтительнее модель.

Применение

Стандартная линейная модель широко применяется в различных областях:

• Экономика и эконометрика: моделирование спроса, прогнозирование ВВП, анализ влияния факторов на цены.
• Биология и медицина: анализ зависимости доза-эффект, сравнение эффективности лечения, изучение влияния генетических факторов.
• Психология и социология: анализ результатов опросов, изучение влияния социально-демографических факторов на поведение.
• Инженерия и техника: моделирование технологических процессов, контроль качества, калибровка приборов.
• Сельское хозяйство: планирование экспериментов, оценка влияния удобрений и сортов на урожайность.

Ограничения и критика

Несмотря на широкую распространённость, СЛМ имеет ряд ограничений:

• Чувствительность к выбросам: метод наименьших квадратов сильно реагирует на аномальные наблюдения, что может искажать оценки.
• Предположение о линейности: если истинная связь нелинейна, модель даёт смещённые и неинтерпретируемые результаты.
• Требование независимости наблюдений: нарушение (например, во временных рядах) требует специальных методов (авторегрессионные модели).
• Мультиколлинеарность: при сильной корреляции между предикторами оценки становятся неустойчивыми.
• Нормальность ошибок: при малых выборках отклонение от нормальности может существенно влиять на статистические выводы.

В случаях, когда предположения СЛМ не выполняются, применяют робастные методы (например, робастная регрессия), обобщённые линейные модели (GLM), непараметрические методы или машинное обучение.

Интересные факты

• Теорема Гаусса-Маркова, лежащая в основе обоснования МНК, была впервые доказана Гауссом в 1821 году, но опубликована лишь в 1828 году. Марков независимо переоткрыл её в 1900 году.
• В 1970-е годы советский математик Юрий Линник внёс значительный вклад в теорию линейных моделей, разработав методы построения оптимальных оценок при наличии ограничений на параметры.
• В русскоязычной научной литературе термин «стандартная линейная модель» часто используется как синоним «классической линейной регрессионной модели» или «общей линейной модели» (general linear model).

Источники

1. Гаусс К. Ф. Теория движения небесных тел. — 1809.
2. Лежандр А. М. Новые методы определения орбит комет. — 1805.
3. Фишер Р. А. Статистические методы для исследователей. — 1925.
4. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. — 3-е изд. — М.: Диалектика, 2007.
5. Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. Начальный курс. — 8-е изд. — М.: Дело, 2007.
6. Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики. — М.: ЮНИТИ, 1998.