Распределение Бернулли

Распределение Бернулли (также известное как бернуллиевское распределение) — это дискретное распределение вероятностей, моделирующее случайный эксперимент с двумя исходами: «успех» (1) и «неудача» (0). Оно является частным случаем биномиального распределения при одном испытании и фундаментальной моделью в теории вероятностей и математической статистике. Названо в честь швейцарского математика Якоба Бернулли, опубликовавшего закон больших чисел в работе «Искусство предположений» (1713).

Определение и математическая формулировка

Распределение Бернулли задаётся единственным параметром \( p \in [0, 1] \), который обозначает вероятность «успеха». Вероятность «неудачи» равна \( q = 1 - p \). Функция вероятности имеет вид:

\[ P(X = x) = \begin{cases} p, & \text{если } x = 1, \\ 1 - p, & \text{если } x = 0, \end{cases} \]

где \( X \) — случайная величина, принимающая значения 0 или 1. Математическое ожидание (среднее значение) распределения равно \( E[X] = p \), дисперсия — \( \text{Var}(X) = p(1-p) \). Коэффициент асимметрии (скошенность) равен \( \frac{1-2p}{\sqrt{p(1-p)}} \), а эксцесс (крутость) — \( \frac{1-6p(1-p)}{p(1-p)} \).

Производящая функция моментов: \( M(t) = 1 - p + p e^t \). Характеристическая функция: \( \phi(t) = 1 - p + p e^{it} \).

История

Якоб Бернулли (1654–1705) впервые систематически исследовал последовательности независимых испытаний с двумя исходами в своей книге «Ars Conjectandi» (1713, посмертно). Он сформулировал теорему, известную как закон больших чисел Бернулли: с ростом числа испытаний частота «успеха» стремится к его вероятности. Само распределение Бернулли как модель отдельного испытания было введено позже, в XIX веке, в работах Симеона Дени Пуассона и Пьера-Симона Лапласа. Термин «распределение Бернулли» закрепился в математической литературе к началу XX века, когда теория вероятностей была формализована Андреем Николаевичем Колмогоровым и другими учёными.

Свойства

Связь с другими распределениями

• Биномиальное распределение: сумма \( n \) независимых случайных величин с распределением Бернулли с параметром \( p \) образует биномиальное распределение с параметрами \( n \) и \( p \).
• Геометрическое распределение: число испытаний до первого «успеха» в последовательности Бернулли описывается геометрическим распределением.
• Распределение Пуассона: при малых \( p \) и большом \( n \) биномиальное распределение (сумма Бернулли) аппроксимируется распределением Пуассона с параметром \( \lambda = np \).
• Нормальное распределение: при больших \( n \) биномиальное распределение аппроксимируется нормальным распределением (центральная предельная теорема).

Информационные характеристики

Энтропия распределения Бернулли (в битах) равна:

\[ H(X) = -p \log_2 p - (1-p) \log_2 (1-p) \]

Максимальная энтропия достигается при \( p = 0.5 \) и равна 1 биту. При \( p = 0 \) или \( p = 1 \) энтропия равна 0 (исход детерминирован).

Примеры

Подбрасывание монеты

Классический пример: подбрасывание симметричной монеты. Если «орёл» считать успехом, то \( p = 0.5 \). Вероятность выпадения орла — 0.5, решки — 0.5. Распределение Бернулли с параметром \( p = 0.5 \) имеет нулевой коэффициент асимметрии и эксцесс -2.

Контроль качества

На производстве проверка изделия на брак: «успех» — изделие бракованное, \( p \) — доля брака в партии. Если \( p = 0.01 \), то вероятность брака в одном случайном изделии — 0.01, годного — 0.99.

Медицинские испытания

В клинических исследованиях: «успех» — положительный эффект лечения у пациента. Параметр \( p \) — эффективность лечения. Например, если препарат помогает в 70% случаев, то \( p = 0.7 \).

Применение

Распределение Бернулли используется в широком спектре областей:

• Теория вероятностей и статистика: основа для построения биномиальных, геометрических, отрицательных биномиальных моделей.
• Машинное обучение: моделирование бинарных признаков (например, наличие/отсутствие слова в тексте, клик/неклик в рекламе). В логистической регрессии зависимая переменная часто имеет распределение Бернулли.
• Эконометрика: анализ бинарных выборов (купить/не купить, проголосовать/не проголосовать).
• Генетика: наследование признаков, подчиняющихся законам Менделя (например, доминантный/рецессивный аллель).
• Теория информации: кодирование бинарных сообщений, оценка энтропии источника.
• Физика: моделирование случайных процессов с двумя состояниями (например, спин вверх/вниз в модели Изинга).

Оценка параметра

На практике параметр \( p \) неизвестен и оценивается по выборке. Пусть проведено \( n \) независимых испытаний, в которых зафиксировано \( k \) успехов. Тогда оценка максимального правдоподобия (ОМП) для \( p \) равна \( \hat{p} = k/n \). Эта оценка несмещённая, состоятельная и эффективная. Доверительный интервал для \( p \) строится, например, по методу Уилсона или с использованием нормальной аппроксимации.

Критика и ограничения

Распределение Бернулли предполагает:

• независимость испытаний (отсутствие влияния предыдущих исходов на последующие);
• постоянство вероятности \( p \) во всех испытаниях (стационарность).

На практике эти условия часто нарушаются. Например, в социологических опросах ответы респондентов могут коррелировать, а в производственных процессах доля брака может меняться со временем. В таких случаях применение распределения Бернулли без проверки допущений приводит к некорректным выводам. Альтернативой служат обобщённые линейные модели (например, логистическая регрессия) или распределения с переменной вероятностью (например, бета-биномиальное распределение).

Примечания

Распределение Бернулли является частным случаем распределения Бернулли — так в некоторых источниках называют биномиальное распределение, что может вызывать путаницу. В современной математической литературе под распределением Бернулли понимают именно распределение одного испытания.

Источники

• Феллер В. «Введение в теорию вероятностей и её приложения». Том 1. — М.: Мир, 1984.
• Гнеденко Б. В. «Курс теории вероятностей». — М.: Наука, 1988.
• Колмогоров А. Н. «Основные понятия теории вероятностей». — М.: Наука, 1974.
• Бернулли Я. «О законе больших чисел» (Ars Conjectandi, 1713).
• Уилсон Э. Б. «Probable inference, the law of succession, and statistical inference» (1927).