Невложенные модели

Невложенные модели — это класс статистических и эконометрических моделей, в которых зависимая переменная не может быть адекватно описана как вложенная (иерархически подчинённая) в рамках одной общей модели, а требует сравнения альтернативных, не связанных отношением включения, спецификаций. В отличие от вложенных моделей, где одна модель является частным случаем другой (например, путём обнуления части коэффициентов), невложенные модели представляют собой принципиально разные теоретические конструкции, объясняющие одно и то же явление с помощью различных наборов предикторов или функциональных форм. Термин широко используется в эконометрике, статистике, машинном обучении и социальных науках при выборе наилучшей объясняющей модели.

История и происхождение термина

Понятие невложенных моделей возникло в середине XX века в рамках развития теории статистического вывода. Классические методы проверки гипотез (например, F-тест или тест отношения правдоподобия) были разработаны для вложенных моделей, где одна модель является частным случаем другой. Однако на практике исследователи часто сталкивались с ситуациями, когда необходимо сравнить модели, не являющиеся вложенными. Первые формальные подходы к сравнению невложенных моделей были предложены в 1960-х годах, в частности, работами Дэвида Кокса (1961, 1962), который разработал тест для проверки одной модели против другой, не предполагающей вложенности. В 1980-х годах Халберт Уайт и другие исследователи развили методы, основанные на информационных критериях (AIC, BIC), которые позволяют сравнивать любые модели, включая невложенные, без необходимости формального тестирования гипотез.

Классификация невложенных моделей

Невложенные модели можно разделить на несколько типов в зависимости от природы их различий.

По структуре предикторов

• Модели с разными наборами переменных: две модели объясняют одну и ту же зависимую переменную, но используют разные наборы независимых переменных. Например, модель A: \( Y = \beta_0 + \beta_1 X_1 + \varepsilon \); модель B: \( Y = \gamma_0 + \gamma_1 Z_1 + \gamma_2 Z_2 + \varepsilon \). Здесь ни одна из моделей не является частным случаем другой.
• Модели с разными функциональными формами: одна модель может быть линейной, другая — логарифмической, степенной или экспоненциальной. Например, \( Y = \alpha + \beta X \) против \( Y = \alpha X^\beta \).

По теоретической основе

• Конкурирующие теории: модели, основанные на разных экономических, социологических или физических теориях. Например, в экономике труда одна модель может объяснять заработную плату через теорию человеческого капитала (образование, опыт), а другая — через теорию сигналов (дипломы, сертификаты).
• Альтернативные спецификации: модели, различающиеся способом учёта одних и тех же факторов (например, включение переменной в линейном или квадратичном виде).

Методы сравнения невложенных моделей

Сравнение невложенных моделей представляет собой более сложную задачу, чем сравнение вложенных, поскольку классические тесты (F-тест, тест Вальда) здесь неприменимы. Разработано несколько подходов.

Информационные критерии

Наиболее распространённый метод — использование информационных критериев, таких как AIC (информационный критерий Акаике) и BIC (байесовский информационный критерий). Эти критерии оценивают качество модели с учётом её сложности (числа параметров). Модель с меньшим значением AIC или BIC считается предпочтительной. Преимущество метода — возможность сравнивать любые модели, включая невложенные, без необходимости формального тестирования. Однако критерии не дают вероятностной оценки превосходства одной модели над другой.

Тест Кокса

Тест, предложенный Дэвидом Коксом, предназначен для проверки гипотезы о том, что одна модель (H0) правильно специфицирована, против альтернативы, что другая модель (H1) является истинной. Тест основан на сравнении логарифмических функций правдоподобия и вычислении статистики, имеющей асимптотически нормальное распределение. Если статистика значима, H0 отвергается. Существует модификация теста — тест Дэвидсона-Маккиннона (J-тест), который более удобен для практического применения.

J-тест (тест Дэвидсона-Маккиннона)

Этот тест предполагает, что сравниваются две модели: \( M_1: Y = X\beta + \varepsilon \) и \( M_2: Y = Z\gamma + \varepsilon \). Для проверки M1 против M2 строится вспомогательная регрессия: \( Y = X\beta + \alpha \hat{Y}_2 + \varepsilon \), где \( \hat{Y}_2 \) — прогнозные значения из модели M2. Если коэффициент \( \alpha \) значимо отличается от нуля, то M1 отвергается в пользу M2. Аналогично проверяется M2 против M1. Возможны ситуации, когда обе модели отвергаются или ни одна не отвергается.

Метод скользящего контроля (кросс-валидация)

В машинном обучении и прикладной статистике для сравнения невложенных моделей часто используется кросс-валидация. Данные разбиваются на обучающую и тестовую выборки, модели обучаются на обучающей выборке, а их прогностическая способность оценивается на тестовой. Выбирается модель с наименьшей ошибкой прогноза (например, MSE или MAE). Этот метод не требует предположений о распределении ошибок и применим к любым моделям.

Байесовский подход

В байесовской статистике сравнение невложенных моделей осуществляется с помощью байесовского фактора, который представляет собой отношение маргинальных правдоподобий двух моделей. Байесовский фактор учитывает априорные вероятности моделей и сложность модели (чем больше параметров, тем сильнее штраф). Значение фактора больше 1 свидетельствует в пользу первой модели, меньше 1 — в пользу второй.

Применение в различных областях

Эконометрика

В эконометрике невложенные модели используются для сравнения альтернативных экономических теорий. Например, при анализе потребительского спроса сравниваются модели, основанные на разных функциональных формах (линейная, логарифмическая, трансалоговая). В макроэкономике — модели, объясняющие инфляцию через монетарные или фискальные факторы. В финансовой эконометрике — модели оценки риска (GARCH против стохастической волатильности).

Социальные науки

В социологии и политологии невложенные модели применяются для проверки конкурирующих гипотез. Например, при изучении электорального поведения сравниваются модели, основанные на классовой принадлежности, религиозной идентичности или партийной идентификации. В психологии — модели, объясняющие когнитивные процессы через разные теоретические конструкты (например, теория ожидаемой полезности против теории перспектив).

Машинное обучение

В машинном обучении невложенные модели — это, по сути, любые модели, не являющиеся частными случаями друг друга (например, случайный лес и нейронная сеть). Сравнение осуществляется через метрики качества (точность, F1-мера, AUC-ROC) на отложенной выборке. Информационные критерии здесь применяются реже из-за сложности вычисления правдоподобия для многих моделей.

Биология и медицина

В эпидемиологии сравниваются модели, предсказывающие риск заболевания на основе разных наборов факторов (генетические, поведенческие, экологические). В экологии — модели, описывающие динамику популяций (логистическая модель против модели Рикера).

Критика и ограничения

Методы сравнения невложенных моделей имеют ряд ограничений. Тест Кокса и J-тест чувствительны к спецификации моделей и могут давать противоречивые результаты (обе модели отвергаются или ни одна не отвергается). Информационные критерии не дают формальной проверки гипотез и могут быть ненадёжны при малых выборках. Байесовский фактор требует задания априорных распределений, что может быть субъективным. Кроме того, при сравнении большого числа моделей возрастает риск переобучения и множественного сравнения.

В российской научной практике методы сравнения невложенных моделей активно используются в эконометрических исследованиях, особенно в работах, посвящённых анализу макроэкономических данных и поведенческой экономике. Однако доступность современных статистических пакетов (R, Stata, Python) позволяет применять эти методы и в других областях.

Интересные факты

• Понятие невложенных моделей тесно связано с проблемой мультиколлинеарности: если предикторы в двух моделях сильно коррелированы, различить модели становится сложнее.
• В некоторых случаях невложенные модели могут быть преобразованы во вложенные путём включения дополнительных переменных (например, объединение всех предикторов в одну «супермодель»), но это часто приводит к переобучению и потере интерпретируемости.
• В 2010-х годах получили развитие методы, основанные на машинном обучении, которые автоматически выбирают между невложенными моделями с помощью ансамблевых методов (например, бустинг).

Источники

• Cox, D. R. (1961). Tests of separate families of hypotheses. Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, 1, 105–123.
• Davidson, R., & MacKinnon, J. G. (1981). Several tests for model specification in the presence of alternative hypotheses. Econometrica, 49(3), 781–793.
• Burnham, K. P., & Anderson, D. R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer.
• Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson.
• Магнус, Я. Р., Катышев, П. К., & Пересецкий, А. А. (2007). Эконометрика. Начальный курс. Дело.