Логит-функция

Логит-функция (от англ. logistic unit) — это математическая функция, обратная логистической функции, используемая в статистике и машинном обучении для преобразования вероятности (значения в интервале от 0 до 1) в действительное число. Формально логит-функция определяется как логарифм отношения вероятности события к вероятности его отсутствия (отношения шансов, или оддсов).

Определение

Пусть \( p \) — вероятность наступления некоторого события, где \( 0 < p < 1 \). Тогда логит-функция \( \text{logit}(p) \) задаётся формулой:

\[ \text{logit}(p) = \ln\left(\frac{p}{1-p}\right) \]

где \( \ln \) — натуральный логарифм. Величина \( \frac{p}{1-p} \) называется отношением шансов (odds). Логит-функция отображает интервал (0, 1) на всю числовую прямую (\( -\infty, +\infty \)): при \( p \to 0^+ \) логит стремится к \( -\infty \), при \( p \to 1^- \) — к \( +\infty \), а при \( p = 0.5 \) логит равен нулю.

Свойства

• Монотонность: функция строго возрастает на интервале (0, 1).
• Симметричность: выполняется соотношение \( \text{logit}(p) = -\text{logit}(1-p) \).
• Обратимость: обратной функцией к логиту является логистическая функция (сигмоида):

\[ p = \frac{1}{1 + e^{-\text{logit}(p)}} \]

• Производная: производная логит-функции по \( p \) равна \( \frac{1}{p(1-p)} \), что отражает увеличение чувствительности преобразования вблизи границ интервала.

История

Термин «логит» был введён в 1944 году американским статистиком Джозефом Берксоном (Joseph Berkson) как аналог термина «пробит» (от probability unit), использовавшегося в биологических и токсикологических исследованиях с 1930-х годов. Берксон предложил логит-модель как альтернативу пробит-модели для анализа бинарных зависимых переменных, отметив её более простую математическую форму и вычислительные преимущества. В 1950-х — 1960-х годах логит-модель получила развитие в работах Дэвида Кокса и других статистиков, а с 1970-х годов стала широко применяться в экономике, социологии и эпидемиологии.

Применение

Логистическая регрессия

Основная область применения логит-функции — логистическая регрессия, статистическая модель для прогнозирования вероятности бинарного исхода (например, «да»/«нет», «болен»/«здоров») на основе одного или нескольких предикторов. В этой модели логит вероятности представляется как линейная комбинация независимых переменных:

\[ \text{logit}(p) = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \dots + \beta_k x_k \]

где \( \beta_i \) — коэффициенты модели, оцениваемые методом максимального правдоподобия. Преимущество логит-преобразования — возможность интерпретировать экспоненцированные коэффициенты (\( e^{\beta_i} \)) как отношение шансов (odds ratio) для единичного изменения соответствующего предиктора.

Машинное обучение и нейронные сети

В машинном обучении логит-функция используется как часть логистической функции потерь (log-loss) для бинарной классификации. В нейронных сетях на последнем слое часто применяется сигмоидная активация, а выходные значения перед активацией (так называемые логиты) представляют собой неограниченные действительные числа, которые затем преобразуются в вероятности. Термин «логит» в этом контексте часто используется для обозначения сырых выходов модели до применения softmax или сигмоиды.

Биостатистика и эпидемиология

В медицинских исследованиях логит-модель применяется для анализа факторов риска заболеваний, оценки эффективности лечения и построения прогностических шкал. Например, в логистической регрессии для оценки вероятности развития инфаркта миокарда в зависимости от возраста, уровня холестерина и артериального давления.

Социология и экономика

В социальных науках логит-модель используется для анализа бинарных решений: голосование на выборах, принятие решения о покупке, трудоустройство, миграция. В экономике — для моделирования вероятности дефолта заёмщика, выбора потребителем определённого товара (в рамках мультиномиальной логит-модели).

Связь с другими функциями

• Пробит-функция: \( \text{probit}(p) = \Phi^{-1}(p) \), где \( \Phi \) — функция распределения стандартного нормального распределения. Логит и пробит дают схожие результаты, но логит имеет более тяжёлые хвосты (быстрее стремится к ±∞).
• Логистическая функция: обратная к логиту, используется для преобразования действительных чисел в вероятности.
• Клоглог-функция: \( \text{cloglog}(p) = \ln(-\ln(1-p)) \), применяется в моделях с асимметричной связью.

Критика и ограничения

• Логит-функция не определена при \( p = 0 \) или \( p = 1 \), что требует корректировки данных (например, добавления малых констант) при работе с экстремальными вероятностями.
• В случае редких событий (малые \( p \)) логит-модель может давать смещённые оценки, особенно при малом объёме выборки.
• Интерпретация коэффициентов в терминах отношения шансов предполагает, что эффект предикторов постоянен на всём диапазоне значений, что не всегда выполняется на практике.
• Альтернативные модели (пробит, клоглог) могут лучше описывать данные с определённой структурой ошибок.

Интересные факты

• Логит-функция является канонической функцией связи для биномиального распределения в обобщённых линейных моделях (GLM).
• В некоторых русскоязычных источниках термин «логит» может использоваться как синоним «логистической регрессии», хотя это некорректно: логит — это преобразование, а регрессия — модель.
• В современных фреймворках глубокого обучения (PyTorch, TensorFlow) функция torch.nn.functional.logsigmoid реализует логарифм сигмоиды, что тесно связано с логит-преобразованием.

Источники

• Berkson, J. (1944). Application of the Logistic Function to Bio-Assay. Journal of the American Statistical Association, 39(227), 357–365.
• Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied Logistic Regression (3rd ed.). Wiley.
• McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.). Chapman and Hall.
• Agresti, A. (2013). Categorical Data Analysis (3rd ed.). Wiley.