Неравенство Чебышёва

Неравенство Чебышёва (также неравенство Чебышёва — Бьенеме) — это фундаментальное неравенство в теории вероятностей и математической статистике, которое устанавливает верхнюю границу вероятности того, что значение случайной величины отклонится от её математического ожидания более чем на заданную величину. Оно применимо к любой случайной величине с конечным математическим ожиданием и конечной дисперсией, независимо от её распределения. Неравенство даёт грубую, но универсальную оценку, которая часто используется для доказательства других теорем (например, закона больших чисел) и для построения доверительных интервалов.

Формулировка

Пусть \(X\) — случайная величина с математическим ожиданием \(\mu\) и конечной дисперсией \(\sigma^2\). Тогда для любого положительного числа \(k > 0\) выполняется:

\[ P(|X - \mu| \ge k) \le \frac{\sigma^2}{k^2} \]

или, в эквивалентной форме:

\[ P(|X - \mu| \ge k\sigma) \le \frac{1}{k^2} \]

В первом варианте \(k\) — это абсолютное отклонение, во втором — количество стандартных отклонений. Неравенство гарантирует, что вероятность выхода за пределы интервала \([\mu - k, \mu + k]\) не превышает \(\sigma^2 / k^2\). Например, при \(k = 2\sigma\) вероятность отклонения более чем на два стандартных отклонения не превышает 1/4 (25 %), а при \(k = 3\sigma\) — не более 1/9 (около 11,1 %).

История

Неравенство впервые было опубликовано французским математиком Ирене-Жюлем Бьенеме в 1853 году в работе «Considérations à l’appui de la découverte de Laplace sur la loi de probabilité dans la méthode des moindres carrés». Однако широкую известность оно получило после работ Пафнутия Львовича Чебышёва, который в 1867 году в статье «О средних величинах» (на французском языке) доказал более общую форму неравенства, применимую к суммам независимых случайных величин. Чебышёв использовал это неравенство для доказательства своей версии закона больших чисел. Впоследствии его ученик Андрей Андреевич Марков обобщил результат на случай произвольных моментов (неравенство Маркова), а сам термин «неравенство Чебышёва» закрепился в русскоязычной литературе, хотя в западной традиции его часто называют неравенством Бьенеме — Чебышёва.

Доказательство

Неравенство Чебышёва является прямым следствием неравенства Маркова, которое утверждает, что для неотрицательной случайной величины \(Y\) и любого \(a > 0\) выполняется \(P(Y \ge a) \le \mathbb{E}[Y] / a\). Для доказательства достаточно положить \(Y = (X - \mu)^2\) и \(a = k^2\):

\[ P((X - \mu)^2 \ge k^2) \le \frac{\mathbb{E}[(X - \mu)^2]}{k^2} = \frac{\sigma^2}{k^2} \]

Поскольку событие \(\{|X - \mu| \ge k\}\) эквивалентно \(\{(X - \mu)^2 \ge k^2\}\), неравенство доказано. Доказательство не требует никаких предположений о распределении, кроме существования дисперсии.

Свойства и обобщения

Неравенство Маркова

Неравенство Чебышёва является частным случаем неравенства Маркова: если существует момент порядка \(r > 0\), то для любого \(k > 0\):

\[ P(|X - \mu| \ge k) \le \frac{\mathbb{E}[|X - \mu|^r]}{k^r} \]

При \(r = 2\) получается классическое неравенство Чебышёва.

Одностороннее неравенство Чебышёва (неравенство Кантелли)

Для односторонних отклонений существует более точная оценка, предложенная Франческо Кантелли в 1910 году:

\[ P(X - \mu \ge k) \le \frac{\sigma^2}{\sigma^2 + k^2} \]

Аналогично для \(P(X - \mu \le -k)\). Это неравенство даёт меньшую верхнюю границу, чем двустороннее, особенно при малых \(k\).

Неравенство Высочанского — Петунина

Для симметричных унимодальных распределений существуют более точные границы, например, неравенство Высочанского — Петунина (1980):

\[ P(|X - \mu| \ge k\sigma) \le \frac{4}{9k^2} \]

при \(k \ge \sqrt{8/3} \approx 1,633\). Это улучшает оценку Чебышёва примерно в 2,25 раза.

Многомерное обобщение

В многомерном случае для случайного вектора \(\mathbf{X}\) с ковариационной матрицей \(\Sigma\) и математическим ожиданием \(\boldsymbol{\mu}\) неравенство Чебышёва принимает вид:

\[ P\left( (\mathbf{X} - \boldsymbol{\mu})^\top \Sigma^{-1} (\mathbf{X} - \boldsymbol{\mu}) \ge k^2 \right) \le \frac{p}{k^2} \]

где \(p\) — размерность вектора. Это следует из неравенства Маркова, применённого к квадратичной форме.

Применение

Закон больших чисел

Неравенство Чебышёва является ключевым инструментом для доказательства слабого закона больших чисел. Пусть \(X_1, X_2, \dots, X_n\) — независимые одинаково распределённые случайные величины с математическим ожиданием \(\mu\) и дисперсией \(\sigma^2\). Для выборочного среднего \(\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i\) дисперсия равна \(\sigma^2 / n\). Тогда:

\[ P(|\bar{X}_n - \mu| \ge \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \]

При \(n \to \infty\) правая часть стремится к нулю, что доказывает сходимость по вероятности \(\bar{X}_n\) к \(\mu\).

Доверительные интервалы

Неравенство позволяет построить консервативные доверительные интервалы для математического ожидания без знания распределения. Например, для \(n\) наблюдений с выборочным средним \(\bar{x}\) и выборочной дисперсией \(s^2\) интервал \(\bar{x} \pm k s / \sqrt{n}\) накрывает истинное среднее с вероятностью не менее \(1 - 1/k^2\). Однако на практике такие интервалы обычно слишком широки, и предпочтение отдаётся методам, основанным на центральной предельной теореме.

Теория информации и машинное обучение

В статистическом обучении неравенство Чебышёва используется для оценки обобщающей способности алгоритмов (например, в PAC-обучении). Оно также применяется в теории концентрации мер для оценки отклонений эмпирических средних от истинных.

Финансовая математика

В управлении рисками неравенство Чебышёва позволяет оценить вероятность экстремальных убытков (Value at Risk) для портфелей с неизвестным распределением доходностей. Например, для портфеля с ожидаемой доходностью \(\mu\) и волатильностью \(\sigma\) вероятность убытка более чем на \(k\) долларов не превышает \(\sigma^2 / k^2\).

Ограничения и критика

Неравенство Чебышёва даёт верхнюю границу, которая часто оказывается очень грубой. Для многих конкретных распределений (например, нормального) реальная вероятность отклонения значительно меньше. Для нормального распределения вероятность отклонения более чем на \(3\sigma\) составляет около 0,27 %, тогда как неравенство Чебышёва даёт лишь 11,1 %. Поэтому на практике его используют только в ситуациях, когда распределение неизвестно или когда требуется гарантированная оценка без предположений.

Кроме того, неравенство требует существования конечной дисперсии. Для распределений с тяжёлыми хвостами (например, распределение Коши) дисперсия бесконечна, и неравенство неприменимо. В таких случаях используются более общие неравенства, например, неравенство Маркова с моментом порядка \(r < 2\).

Примеры

Пример 1. Пусть случайная величина \(X\) имеет математическое ожидание 10 и дисперсию 4. Оценим вероятность того, что \(X\) отклонится от 10 более чем на 5. По неравенству Чебышёва: \(P(|X - 10| \ge 5) \le 4 / 25 = 0,16\). То есть вероятность не превышает 16 %.

Пример 2. Для случайной величины с неизвестным распределением, но с известным средним 0 и дисперсией 1, вероятность того, что значение превысит 4 по модулю, не более \(1/16 = 6,25\%\). Реальная вероятность для стандартного нормального распределения — около 0,006 %.

Интересные факты

• Неравенство Чебышёва является одним из немногих вероятностных неравенств, которое не требует никаких предположений о распределении, кроме конечности первых двух моментов.
• Пафнутий Чебышёв доказал это неравенство в контексте своей работы по теории вероятностей, но сам он не использовал термин «дисперсия» — этот термин был введён позже Карлом Пирсоном.
• В 1930-х годах советский математик Александр Хинчин показал, что неравенство Чебышёва является точным в том смысле, что для любого \(k\) существует распределение, для которого граница достигается (например, двухточечное распределение).

Источники

• Чебышёв П. Л. «О средних величинах» (1867), Математический сборник, т. 2.
• Feller W. «An Introduction to Probability Theory and Its Applications», Vol. 1, 3rd ed., Wiley, 1968.
• Shiryaev A. N. «Probability», 2nd ed., Springer, 1996.
• Bienaymé I. J. «Considérations à l’appui de la découverte de Laplace sur la loi de probabilité dans la méthode des moindres carrés», 1853.
• Высочанский Д. Ф., Петунин Ю. И. «О неравенствах для вероятностей больших уклонений сумм случайных величин», Теория вероятностей и её применения, 1980.