Функция плотности вероятности

Функция плотности вероятности (ФПВ, probability density function, PDF) — это функция, задающая распределение абсолютно непрерывной случайной величины. В отличие от дискретной случайной величины, для которой вероятности отдельных значений могут быть положительными, для непрерывной случайной величины вероятность принять любое конкретное значение равна нулю. Функция плотности вероятности описывает, как «плотно» распределена вероятность в окрестности каждой точки числовой оси. Интеграл от ФПВ на заданном интервале равен вероятности того, что случайная величина примет значение из этого интервала.

Определение и формальное описание

Пусть \(X\) — абсолютно непрерывная случайная величина. Функция \(f(x)\) называется её функцией плотности вероятности, если для любых \(a < b\) выполняется равенство:

\[ P(a \le X \le b) = \int_a^b f(x) \, dx. \]

При этом функция \(f(x)\) должна удовлетворять двум основным условиям:

1. Неотрицательность: \(f(x) \ge 0\) для всех \(x \in \mathbb{R}\).
2. Нормировка: \(\int_{-\infty}^{\infty} f(x) \, dx = 1\).

Первое условие следует из того, что вероятность не может быть отрицательной. Второе условие означает, что суммарная вероятность всех возможных значений случайной величины равна единице.

Функция распределения \(F(x)\) непрерывной случайной величины связана с ФПВ соотношением:

\[ F(x) = P(X \le x) = \int_{-\infty}^x f(t) \, dt. \]

Таким образом, ФПВ является производной функции распределения: \(f(x) = F'(x)\) (в точках, где производная существует).

Свойства

Вероятность попадания в интервал

Как следует из определения, вероятность того, что случайная величина примет значение в интервале \([a, b]\), равна площади под графиком ФПВ на этом интервале. Для точечного значения вероятность равна нулю: \(P(X = c) = 0\) для любого \(c\).

Размерность

ФПВ имеет размерность, обратную размерности случайной величины. Например, если случайная величина измеряется в метрах, то ФПВ измеряется в \(1/\text{м}\). Это обеспечивает безразмерность интеграла.

Мода и медиана

• Мода непрерывного распределения — это точка локального максимума ФПВ. Распределение может быть одномодальным (одна мода), бимодальным (две моды) или мультимодальным.
• Медиана — это значение \(m\), для которого \(F(m) = 0.5\), то есть площадь под графиком ФПВ слева от \(m\) равна площади справа.

Математическое ожидание и дисперсия

Математическое ожидание (среднее значение) непрерывной случайной величины вычисляется как:

\[ E[X] = \int_{-\infty}^{\infty} x f(x) \, dx. \]

Дисперсия:

\[ \text{Var}(X) = \int_{-\infty}^{\infty} (x - E[X])^2 f(x) \, dx. \]

Примеры распространённых распределений

Равномерное распределение

Случайная величина равномерно распределена на отрезке \([a, b]\), если её ФПВ имеет вид:

\[ f(x) = \begin{cases} \frac{1}{b - a}, & a \le x \le b, \\ 0, & \text{иначе}. \end{cases} \]

Площадь под графиком — прямоугольник высотой \(1/(b-a)\) и шириной \(b-a\), что даёт единицу.

Нормальное распределение (Гауссово)

ФПВ нормального распределения с математическим ожиданием \(\mu\) и стандартным отклонением \(\sigma\):

\[ f(x) = \frac{1}{\sigma \sqrt{2\pi}} \exp\left( -\frac{(x - \mu)^2}{2\sigma^2} \right). \]

График — колоколообразная кривая, симметричная относительно \(\mu\). Нормальное распределение широко используется в статистике, физике, биологии и других науках благодаря центральной предельной теореме.

Экспоненциальное распределение

ФПВ экспоненциального распределения с параметром \(\lambda > 0\):

\[ f(x) = \begin{cases} \lambda e^{-\lambda x}, & x \ge 0, \\ 0, & x < 0. \end{cases} \]

Используется для моделирования времени между событиями в пуассоновском потоке (например, время безотказной работы, время ожидания).

Распределение Коши

ФПВ распределения Коши с параметрами \(x_0\) (центр) и \(\gamma\) (масштаб):

\[ f(x) = \frac{1}{\pi \gamma \left[1 + \left(\frac{x - x_0}{\gamma}\right)^2 \right]}. \]

Характерная особенность — тяжёлые хвосты, из-за которых математическое ожидание и дисперсия не существуют.

Связь с дискретными распределениями

Для дискретных случайных величин аналогом ФПВ является функция вероятности (probability mass function, PMF), которая задаёт вероятность каждого отдельного значения. В непрерывном случае вероятность отдельного значения равна нулю, поэтому используется плотность. Однако существуют смешанные распределения, сочетающие непрерывную и дискретную компоненты, для которых ФПВ может содержать дельта-функции Дирака.

Применение

Функция плотности вероятности является фундаментальным инструментом в:

• Теории вероятностей и математической статистике: оценка параметров распределения, проверка гипотез, построение доверительных интервалов.
• Физике: распределение Максвелла для скоростей молекул газа, распределение Больцмана для энергий.
• Экономике и финансах: моделирование доходности активов, оценка рисков (например, нормальное распределение, распределение Стьюдента).
• Инженерии: анализ надёжности (экспоненциальное, Вейбулла распределения), обработка сигналов.
• Машинном обучении: вероятностные модели, байесовский вывод, генеративные модели (например, вариационные автокодировщики).

Оценка ФПВ по данным

На практике истинная ФПВ часто неизвестна, и её оценивают по выборке. Основные методы:

• Гистограмма: разбиение диапазона данных на интервалы (бины) и подсчёт частоты попаданий. Нормированная гистограмма даёт кусочно-постоянную оценку ФПВ.
• Ядерная оценка плотности (KDE): сглаживание с помощью ядерных функций (например, гауссова ядра). Позволяет получить гладкую оценку без привязки к бинам.
• Параметрические методы: предполагается, что данные подчиняются известному распределению (например, нормальному), и оцениваются его параметры (среднее, дисперсия).

Критика и ограничения

• ФПВ не является вероятностью: её значение в точке может быть больше единицы (например, для равномерного распределения на отрезке \([0, 0.5]\) плотность равна 2). Это может вызывать непонимание у начинающих.
• Для распределений с тяжёлыми хвостами (Коши, Парето) моменты могут не существовать, что ограничивает применение стандартных статистических методов.
• Оценка ФПВ по ограниченной выборке чувствительна к выбору параметров (ширина бина гистограммы, ширина ядра в KDE), что может приводить к переобучению или недообучению.

Источники

1. Вентцель Е. С. Теория вероятностей. — М.: Наука, 1969.
2. Гнеденко Б. В. Курс теории вероятностей. — М.: УРСС, 2005.
3. Ширяев А. Н. Вероятность. — М.: МЦНМО, 2007.
4. Feller W. An Introduction to Probability Theory and Its Applications. — Wiley, 1968.
5. Wasserman L. All of Statistics: A Concise Course in Statistical Inference. — Springer, 2004.