Probit

Probit — это функция, обратная к стандартной функции нормального распределения, используемая в статистике и теории вероятностей. Формально, для вероятности \( p \in [0,1] \) пробит-функция \( \Phi^{-1}(p) \) возвращает такое значение \( x \), при котором интегральная функция стандартного нормального распределения \( \Phi(x) \) равна \( p \). Термин является сокращением от англ. «probability unit» (вероятностная единица). Пробит-модели широко применяются в бинарной регрессии, токсикологии, экономике и машинном обучении для анализа дихотомических зависимых переменных (например, «успех/неудача», «жив/мёртв»).

История

Концепция пробита возникла в первой половине XX века в связи с потребностями биологических и сельскохозяйственных исследований. В 1934 году американский энтомолог Честер Блисс (Chester Bliss) впервые предложил преобразование процентов гибели организмов в «пробиты» для анализа зависимости смертности от дозы токсичного вещества. Блисс заметил, что кривая «доза-эффект» часто имеет S-образную форму, близкую к интегральной функции нормального распределения. Он ввёл шкалу, где 50 % гибели соответствовало значение 5 пробитов, а каждый сдвиг на единицу пробита соответствовал изменению вероятности на одно стандартное отклонение.

В 1944 году британский статистик Рональд Фишер (Ronald Fisher) математически обосновал метод максимального правдоподобия для оценки параметров пробит-модели. В 1952 году Дэвид Финни (David Finney) опубликовал монографию «Probit Analysis», ставшую классическим руководством по применению метода в токсикологии и фармакологии. С развитием вычислительной техники в 1960–1970-х годах пробит-модели начали активно применяться в экономике и социологии для анализа бинарных данных, а позже — в эпидемиологии и машинном обучении.

Математическое определение

Функция пробита

Пробит-функция \( \Phi^{-1}(p) \) определяется как обратная к стандартной нормальной интегральной функции распределения:

\[ \Phi(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} e^{-t^2/2} dt \]

\[ \text{probit}(p) = \Phi^{-1}(p), \quad p \in [0,1] \]

Для \( p=0.5 \) значение пробита равно 0, для \( p=0.975 \) — примерно 1.96, для \( p=0.025 \) — примерно −1.96. На практике пробит-функция не имеет аналитического выражения в элементарных функциях и вычисляется численно (например, с помощью аппроксимаций или таблиц).

Связь с логит-функцией

Альтернативой пробиту является логит-функция \( \text{logit}(p) = \ln\left( \frac{p}{1-p} \right) \). Обе функции преобразуют вероятности из интервала (0,1) в вещественную прямую, но логит имеет более «тяжёлые» хвосты: при экстремальных значениях вероятности логит растёт медленнее, чем пробит. На практике пробит и логит дают схожие результаты, за исключением случаев с большим количеством наблюдений на краях распределения. Различие между ними часто описывают как множитель около 1.6–1.8: \( \text{probit}(p) \approx 1.6 \cdot \text{logit}(p) \).

Пробит-модель

Постановка задачи

Пробит-модель — это регрессионная модель для бинарной зависимой переменной \( Y \in \{0,1\} \). Предполагается, что существует скрытая (латентная) непрерывная переменная \( Y^* \), линейно зависящая от набора предикторов \( X_1, X_2, \dots, X_k \):

\[ Y^* = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \dots + \beta_k X_k + \varepsilon \]

где \( \varepsilon \) — случайная ошибка, имеющая стандартное нормальное распределение \( \mathcal{N}(0,1) \). Наблюдаемая бинарная переменная \( Y \) определяется пороговым правилом:

\[ Y = \begin{cases} 1, & \text{если } Y^ > 0 \\ 0, & \text{если } Y^ \leq 0 \end{cases} \]

Тогда вероятность того, что \( Y=1 \) при заданных значениях предикторов, равна:

\[ P(Y=1|X) = \Phi(\beta_0 + \beta_1 X_1 + \dots + \beta_k X_k) \]

где \( \Phi \) — стандартная нормальная интегральная функция.

Оценка параметров

Параметры \( \beta \) оцениваются методом максимального правдоподобия (ММП). Функция правдоподобия для выборки из \( n \) наблюдений имеет вид:

\[ L(\beta) = \prod_{i=1}^{n} \left[ \Phi(\mathbf{X}_i \beta) \right]^{y_i} \left[ 1 - \Phi(\mathbf{X}_i \beta) \right]^{1-y_i} \]

Логарифмическая функция правдоподобия максимизируется численно (например, методом Ньютона-Рафсона). Оценки ММП состоятельны, асимптотически эффективны и нормально распределены при больших выборках.

Интерпретация коэффициентов

В отличие от линейной регрессии, коэффициенты пробит-модели интерпретируются не как изменение вероятности, а как изменение скрытой переменной \( Y^* \). Для получения практического смысла рассчитывают предельные эффекты (marginal effects) — изменение вероятности \( P(Y=1) \) при единичном изменении предиктора:

\[ \frac{\partial P(Y=1|X)}{\partial X_j} = \phi(\mathbf{X} \beta) \cdot \beta_j \]

где \( \phi \) — плотность стандартного нормального распределения. Предельные эффекты зависят от точки, в которой они вычисляются (часто используют средние значения предикторов или средние по выборке).

Применение

Токсикология и фармакология

Пробит-анализ традиционно используется для оценки зависимости «доза-эффект». Например, в экспериментах по определению летальной дозы (LD50) для токсичного вещества строится пробит-модель, где предиктором является логарифм дозы, а зависимой переменной — гибель организма. Значение пробита, соответствующее 50 % гибели, позволяет вычислить LD50.

Экономика и социология

В экономике пробит-модели применяются для анализа бинарных решений: покупка товара, участие в рынке труда, дефолт по кредиту, выбор политического кандидата. В социологии — для изучения факторов, влияющих на бинарные исходы (например, получение высшего образования, участие в выборах).

Медицина и эпидемиология

В медицинских исследованиях пробит-модели используются для анализа эффективности лечения (выздоровление/смерть), диагностики (наличие/отсутствие заболевания) и факторов риска. Например, модель может оценивать вероятность развития осложнений в зависимости от возраста, пола и сопутствующих заболеваний.

Машинное обучение

В машинном обучении пробит-модель является частным случаем обобщённой линейной модели (GLM) с пробит-функцией связи. Она применяется в задачах бинарной классификации, особенно когда предполагается нормальное распределение ошибок. Существуют также байесовские варианты пробит-модели, где априорное распределение задаётся на параметры.

Модификации и расширения

Многомерная пробит-модель

Для анализа нескольких бинарных или упорядоченных зависимых переменных используется многомерная пробит-модель (multivariate probit). Она учитывает корреляцию между ошибками разных уравнений и оценивается методами симуляции (например, методом GHK).

Порядковая пробит-модель

Если зависимая переменная принимает более двух упорядоченных значений (например, «низкий», «средний», «высокий»), применяется порядковая пробит-модель (ordered probit). В ней предполагается несколько порогов для скрытой переменной.

Байесовская пробит-модель

В байесовском подходе параметры пробит-модели рассматриваются как случайные величины с априорными распределениями. Оценка производится методами Монте-Карло по схеме Марковской цепи (MCMC). Байесовская пробит-модель удобна при малых выборках и наличии априорной информации.

Сравнение с другими моделями

Пробит vs логит

Обе модели дают близкие результаты в большинстве прикладных задач. Различия проявляются при анализе редких событий или при экстремальных значениях предикторов. Логит-модель проще в вычислительном плане и чаще используется в эконометрике, пробит — в токсикологии и биологии, где нормальное распределение ошибок имеет теоретическое обоснование.

Пробит vs линейная вероятностная модель (LPM)

Линейная вероятностная модель (LPM) оценивает вероятность \( P(Y=1) \) как линейную функцию предикторов. Её недостатки: предсказания могут выходить за пределы [0,1], гетероскедастичность ошибок и нереалистичное предположение о постоянных предельных эффектах. Пробит-модель лишена этих проблем, но требует более сложных вычислений.

Критика и ограничения

1. Предположение о нормальности ошибок. Пробит-модель предполагает, что скрытая переменная имеет нормальное распределение. Если это предположение нарушается, оценки могут быть смещёнными. В таких случаях альтернативой может быть логит-модель или непараметрические методы.
2. Интерпретация коэффициентов. Коэффициенты пробит-модели не имеют прямой вероятностной интерпретации, что усложняет общение с практиками.
3. Чувствительность к выбросам. Как и другие модели максимального правдоподобия, пробит-модель чувствительна к выбросам, особенно при малых выборках.
4. Проблема идентификации. В пробит-модели дисперсия ошибки фиксирована на 1, что делает невозможным оценку абсолютного масштаба скрытой переменной.

Пример

Рассмотрим исследование влияния уровня образования (X, в годах) на вероятность трудоустройства (Y=1 — трудоустроен, Y=0 — безработный). По выборке из 500 человек оценивается пробит-модель:

\[ P(Y=1|X) = \Phi(-2.5 + 0.3 \cdot X) \]

Коэффициент 0.3 означает, что увеличение образования на один год повышает скрытую переменную трудоустройства на 0.3 единицы. Предельный эффект при среднем значении образования (12 лет) равен \( \phi(-2.5 + 0.3 \cdot 12) \cdot 0.3 = \phi(1.1) \cdot 0.3 \approx 0.217 \cdot 0.3 = 0.065 \), то есть дополнительный год образования увеличивает вероятность трудоустройства примерно на 6.5 процентных пункта.

Источники

1. Bliss, C. I. (1934). «The Method of Probits». Science, 79(2037), 38–39.
2. Finney, D. J. (1952). Probit Analysis: A Statistical Treatment of the Sigmoid Response Curve. Cambridge University Press.
3. Fisher, R. A. (1944). «The Theory of Probit Analysis». Journal of the Royal Statistical Society, 107(1/2), 1–19.
4. Greene, W. H. (2018). Econometric Analysis (8th ed.). Pearson.
5. McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.). Chapman and Hall.