Бернуллиевское распределение

Бернуллиевское распределение (также распределение Бернулли) — это дискретное распределение вероятностей, моделирующее случайный эксперимент с двумя исходами: «успех» (обычно обозначается 1) и «неудача» (обозначается 0). Названо в честь швейцарского математика Якоба Бернулли, который внёс значительный вклад в теорию вероятностей. Распределение является частным случаем биномиального распределения для одного испытания и служит фундаментом для многих статистических моделей.

Определение и свойства

Пусть случайная величина \( X \) принимает значение 1 с вероятностью \( p \) (где \( 0 \leq p \leq 1 \)) и значение 0 с вероятностью \( q = 1 - p \). Тогда функция вероятности (массовая функция) задаётся формулой:

\[ P(X = x) = p^x (1-p)^{1-x}, \quad x \in \{0, 1\}. \]

Основные числовые характеристики:

• Математическое ожидание: \( \mathbb{E}[X] = p \).
• Дисперсия: \( \text{Var}[X] = p(1-p) \).
• Коэффициент асимметрии: \( \frac{1-2p}{\sqrt{p(1-p)}} \).
• Эксцесс: \( \frac{1-6p(1-p)}{p(1-p)} \).

Функция распределения имеет вид: \[ F(x) = \begin{cases} 0, & x < 0, \\ 1-p, & 0 \leq x < 1, \\ 1, & x \geq 1. \end{cases} \]

Производящая функция моментов: \( M_X(t) = 1 - p + p e^t \). Характеристическая функция: \( \phi_X(t) = 1 - p + p e^{it} \).

История

Термин «испытание Бернулли» ввёл в научный оборот французский математик Симеон Дени Пуассон в 1837 году в работе «Исследования о вероятности судебных приговоров». Однако сам Якоб Бернулли описал схему повторных независимых испытаний с двумя исходами в трактате «Искусство предположений» (Ars Conjectandi), опубликованном посмертно в 1713 году. В этой работе он сформулировал закон больших чисел для последовательности таких испытаний, что стало важнейшим вкладом в теорию вероятностей.

Связь с другими распределениями

Биномиальное распределение

Если провести \( n \) независимых испытаний Бернулли с одинаковой вероятностью успеха \( p \), то число успехов \( Y \) будет иметь биномиальное распределение с параметрами \( n \) и \( p \). Таким образом, бернуллиевское распределение — это биномиальное распределение при \( n = 1 \).

Геометрическое распределение

Число испытаний Бернулли до первого успеха (включая успешное) подчиняется геометрическому распределению с параметром \( p \). Если же считать число неудач до первого успеха, получается сдвинутое геометрическое распределение.

Отрицательное биномиальное распределение

Число испытаний до \( r \)-го успеха описывается отрицательным биномиальным распределением (распределение Паскаля). При \( r = 1 \) оно совпадает с геометрическим.

Распределение Бернулли как экспоненциальное семейство

Распределение Бернулли принадлежит к экспоненциальному семейству распределений. Его можно записать в канонической форме: \[ f(x; \theta) = \exp\left( x \ln\left(\frac{p}{1-p}\right) + \ln(1-p) \right), \] где \( \theta = \ln(p/(1-p)) \) — натуральный параметр.

Применение

Статистика и машинное обучение

• Логистическая регрессия: Моделирует вероятность бинарного исхода (например, болен/здоров, клик/не клик) как функцию от признаков. Предполагается, что зависимая переменная имеет распределение Бернулли.
• Байесовский вывод: Априорное распределение для параметра \( p \) часто выбирают из семейства бета-распределений (сопряжённое априорное распределение для бернуллиевского). Это позволяет легко обновлять апостериорное распределение по мере поступления данных.
• Метод Монте-Карло: Испытания Бернулли используются для моделирования случайных процессов, например, в методе «броуновского моста» или при оценке интегралов методом важности.

Экономика и социология

• Анализ выживаемости: Бинарные события (например, дефолт заёмщика, отказ оборудования) часто моделируются как последовательность испытаний Бернулли.
• Опросы общественного мнения: Ответы на вопросы с двумя вариантами (да/нет, за/против) рассматриваются как реализации бернуллиевской случайной величины.

Физика и инженерия

• Квантовая механика: Измерение спина частицы в заданном направлении даёт два возможных результата (например, «вверх» или «вниз»), что описывается распределением Бернулли с вероятностью, зависящей от состояния системы.
• Теория надёжности: Работа элемента системы в дискретные моменты времени может моделироваться как испытание Бернулли (работает/не работает).

Оценивание параметра

Наиболее распространённый метод оценки вероятности успеха \( p \) — метод моментов и метод максимального правдоподобия. Для выборки \( x_1, x_2, \dots, x_n \) из распределения Бернулли оценка максимального правдоподобия равна выборочной доле: \[ \hat{p} = \frac{1}{n} \sum_{i=1}^n x_i. \] Эта оценка несмещённая и состоятельная. Доверительный интервал для \( p \) можно построить, используя нормальное приближение (при достаточно большом \( n \)) или точный метод Клоппера — Пирсона.

Интересные факты

• Распределение Бернулли является вырожденным при \( p = 0 \) или \( p = 1 \): в этих случаях случайная величина принимает только одно значение с вероятностью 1.
• Сумма независимых бернуллиевских величин с разными вероятностями успеха имеет распределение Пуассона-Бернулли, которое не является биномиальным.
• В теории информации энтропия распределения Бернулли равна \( H(p) = -p \log_2 p - (1-p) \log_2 (1-p) \) (бит на символ). Максимум энтропии достигается при \( p = 0.5 \).

Источники

• Бернулли Я. Искусство предположений. — М.: Наука, 1986. — 320 с.
• Гнеденко Б. В. Курс теории вероятностей. — 8-е изд., испр. и доп. — М.: Едиториал УРСС, 2005. — 448 с.
• Прохоров Ю. В., Розанов Ю. А. Теория вероятностей. Основные понятия. Предельные теоремы. Случайные процессы. — 3-е изд., перераб. и доп. — М.: Наука, 1987. — 400 с.
• Ширяев А. Н. Вероятность. — 4-е изд., перераб. и доп. — М.: МЦНМО, 2007. — 968 с.