Логит-модель¶

Логит-модель (логистическая регрессия, logit model) — это статистическая модель, используемая для прогнозирования вероятности наступления бинарного события (например, «да/нет», «успех/неудача», «дефолт/отсутствие дефолта») на основе одного или нескольких независимых переменных (предикторов). В отличие от линейной регрессии, логит-модель оценивает не само значение зависимой переменной, а вероятность её принадлежности к определённой категории, при этом результат преобразуется с помощью логистической функции (логита), что гарантирует нахождение прогнозируемой вероятности в интервале от 0 до 1.

¶История возникновения

Логит-модель была разработана в середине XX века как развитие методов регрессионного анализа для работы с категориальными зависимыми переменными. В 1944 году американский статистик Джозеф Берксон ввёл термин «логит» (logit) как сокращение от «logistic unit». Однако математические основы логистической функции были заложены ещё в XIX веке бельгийским математиком Пьером-Франсуа Ферхюльстом, который использовал её для моделирования роста популяции. В 1950-х годах логит-модель получила широкое распространение в биометрии и эпидемиологии, а с 1970-х годов — в экономике, социологии и маркетинге, благодаря работам Дэниела Макфаддена, получившего за вклад в теорию дискретного выбора Нобелевскую премию по экономике в 2000 году.

¶Математическая основа

¶Логистическая функция

Логит-модель базируется на логистической функции (сигмоиде), которая отображает любое вещественное число в интервал (0, 1):

\[ P(Y=1 | X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 X_1 + \dots + \beta_k X_k)}} \]

где:

• \( P(Y=1 | X) \) — вероятность того, что зависимая переменная \( Y \) принимает значение 1 при заданных значениях предикторов \( X_1, \dots, X_k \);
• \( \beta_0, \beta_1, \dots, \beta_k \) — оцениваемые коэффициенты модели;
• \( e \) — основание натурального логарифма.

¶Логит-преобразование

Логит — это натуральный логарифм отношения шансов (odds):

\[ \text{logit}(P) = \ln\left(\frac{P}{1-P}\right) = \beta_0 + \beta_1 X_1 + \dots + \beta_k X_k \]

Таким образом, логит-модель линейна по отношению к логиту, что позволяет интерпретировать коэффициенты как изменение логарифма шансов при увеличении соответствующего предиктора на единицу. Экспонента коэффициента (\( e^{\beta_i} \)) даёт отношение шансов (odds ratio) — во сколько раз изменяются шансы наступления события при изменении предиктора на единицу.

¶Оценка параметров

Параметры логит-модели оцениваются методом максимального правдоподобия (ММП). В отличие от линейной регрессии, где используется метод наименьших квадратов, ММП подбирает коэффициенты, максимизирующие вероятность наблюдения имеющихся данных. Процедура оценки является итеративной (например, метод Ньютона-Рафсона) и не имеет аналитического решения.

¶Критерии качества

Для оценки качества логит-модели используются:

• Псевдо-\( R^2 \) Макфаддена — аналог коэффициента детерминации, показывающий долю объяснённой неопределённости;
• Информационные критерии Акаике (AIC) и Байеса (BIC) — для сравнения моделей с разным числом предикторов;
• Тест отношения правдоподобия — для проверки значимости модели в целом;
• ROC-кривая и площадь под ней (AUC) — для оценки дискриминационной способности модели (способности различать два класса).

¶Отличия от пробит-модели

Логит-модель часто сравнивают с пробит-моделью, которая использует вместо логистической функции функцию нормального распределения (интеграл Гаусса). Основные различия:

• Логит-модель имеет более тяжёлые хвосты (медленнее стремится к 0 и 1), что делает её более чувствительной к крайним значениям.
• Пробит-модель чаще применяется в эконометрике и биологии, где предполагается нормальное распределение ошибок.
• На практике обе модели дают схожие результаты, особенно при большом объёме выборки, и выбор между ними часто определяется традициями конкретной области.

¶Применение

¶Медицина и эпидемиология

Логит-модель используется для оценки вероятности заболевания (например, инфаркта миокарда) на основе факторов риска (возраст, курение, давление). В клинических исследованиях она позволяет вычислять прогностические индексы.

¶Экономика и финансы

В кредитном скоринге логит-модель оценивает вероятность дефолта заёмщика по его кредитной истории, доходу и другим характеристикам. В маркетинге — вероятность покупки товара или отклика на рекламную кампанию.

¶Социология и политология

Модель применяется для анализа бинарных решений: голосование за кандидата, участие в выборах, миграционные намерения. Например, логит-модель может оценить, как уровень образования влияет на вероятность поддержки определённой политической партии.

¶Биология и экология

Используется для моделирования присутствия или отсутствия вида на территории (например, вероятность встречи редкого растения в зависимости от влажности почвы и высоты над уровнем моря).

¶Технические науки

В инженерии логит-модель применяется для оценки надёжности систем (вероятность отказа оборудования) и в задачах классификации (например, распознавание дефектов на производстве).

¶Ограничения и критика

• Линейность логита: модель предполагает, что влияние предикторов на логит является линейным, что не всегда выполняется на практике. Для учёта нелинейностей могут добавляться квадратичные члены или взаимодействия.
• Отсутствие мультиколлинеарности: сильная корреляция между предикторами может приводить к неустойчивым оценкам коэффициентов.
• Необходимость большого объёма выборки: для надёжной оценки параметров требуется не менее 10–20 событий на каждый предиктор (правило «10 событий на переменную»).
• Чувствительность к выбросам: экстремальные значения могут существенно искажать результаты.
• Интерпретация вероятностей: модель оценивает не индивидуальные вероятности, а условные средние, поэтому прямое применение к отдельным объектам может быть некорректным.

¶Примеры

¶Простой пример

Пусть изучается зависимость вероятности сдачи экзамена (Y=1 — сдал, Y=0 — не сдал) от количества часов подготовки (X). Логит-модель может дать уравнение: \[ \text{logit}(P) = -2.5 + 0.4 \cdot X \] Тогда при 5 часах подготовки шансы сдать экзамен составляют \( e^{-2.5 + 0.4 \cdot 5} = e^{-0.5} \approx 0.607 \), а вероятность — \( \frac{0.607}{1+0.607} \approx 0.378 \).

¶Реальный случай

В кредитном скоринге банк строит логит-модель для прогноза дефолта. Если коэффициент для переменной «долговая нагрузка» равен 0.8, то увеличение нагрузки на 1% повышает логарифм шансов дефолта на 0.8, а отношение шансов — в \( e^{0.8} \approx 2.23 \) раза.

¶Программная реализация

Логит-модель реализована во всех основных статистических пакетах и языках программирования:

• R: функция glm() с параметром family = binomial(link = "logit");
• Python: класс LogisticRegression из библиотеки scikit-learn или statsmodels.Logit;
• STATA: команда logit;
• SAS: процедура PROC LOGISTIC;
• SPSS: модуль «Логистическая регрессия».

¶Интересные факты

• Логит-модель является частным случаем обобщённых линейных моделей (GLM), где функция связи — логит, а распределение ошибки — биномиальное.
• В машинном обучении логистическая регрессия часто используется как базовый алгоритм для бинарной классификации, несмотря на название, относящееся к регрессии.
• Модель широко применяется в эпидемиологии: например, для оценки эффективности вакцин (вероятность заражения среди вакцинированных и невакцинированных).

¶Источники

• Берксон, Дж. (1944). «Application of the Logistic Function to Bio-Assay». Journal of the American Statistical Association.
• Макфадден, Д. (1974). «Conditional Logit Analysis of Qualitative Choice Behavior». Frontiers in Econometrics.
• Хосмер, Д. В., Лемешоу, С. (2000). Applied Logistic Regression. 2nd ed. Wiley.
• Агарева, М. И. (2018). Эконометрика: логит- и пробит-модели. М.: Финансы и статистика.
• Hastie, T., Tibshirani, R., Friedman, J. (2009). The Elements of Statistical Learning. 2nd ed. Springer.