Центральная предельная теорема

Центральная предельная теорема (ЦПТ) — фундаментальное утверждение теории вероятностей, устанавливающее, что при определенных условиях распределение суммы (или среднего) большого числа независимых и одинаково распределенных случайных величин стремится к нормальному распределению (распределению Гаусса), независимо от исходного распределения этих величин. ЦПТ является одной из главных причин, по которой нормальное распределение столь широко распространено в природе, науке и статистике, и служит теоретической основой для многих методов математической статистики, включая построение доверительных интервалов и проверку статистических гипотез.

История

Ранние работы

Первые шаги к формулировке ЦПТ были сделаны в начале XVIII века. Абрахам де Муавр в 1733 году опубликовал частный случай теоремы для биномиального распределения, показав, что при большом числе испытаний Бернулли распределение числа успехов аппроксимируется нормальной кривой. Эта работа, однако, не получила широкой известности до тех пор, пока Пьер-Симон Лаплас не развил её в 1812 году в своей книге «Аналитическая теория вероятностей», сформулировав то, что сейчас известно как теорема Муавра — Лапласа.

Развитие в XIX веке

В XIX веке Карл Фридрих Гаусс, разрабатывая метод наименьших квадратов, активно использовал нормальное распределение, но не дал строгого доказательства его универсальности. Симеон Дени Пуассон и другие математики рассматривали частные случаи. Ключевой прорыв произошел в 1901 году, когда Александр Ляпунов, русский математик, впервые сформулировал и доказал общую форму ЦПТ для независимых, но не обязательно одинаково распределенных случайных величин, введя условие, известное как условие Ляпунова. Его работа заложила современный фундамент теоремы.

XX век и современность

В 1920-х годах Джордж Пойа ввел термин «центральная предельная теорема». В 1922 году Линдеберг и Леви разработали более общее условие (условие Линдеберга), которое является необходимым и достаточным для сходимости к нормальному закону в схеме серий независимых величин. В середине XX века теорема была обобщена на случайные векторы (многомерная ЦПТ) и случайные процессы. В 1950-х годах были получены результаты для слабо зависимых величин (например, для мартингалов). Современные исследования направлены на непараметрические и неасимптотические версии, а также на оценку скорости сходимости (например, неравенство Берри — Эссеена).

Формулировка

Классическая формулировка (для одинаково распределенных величин)

Пусть \( X_1, X_2, \dots, X_n \) — последовательность независимых и одинаково распределенных случайных величин с конечным математическим ожиданием \( \mu \) и конечной дисперсией \( \sigma^2 > 0 \). Обозначим выборочное среднее: \[ \bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i. \] Тогда распределение нормированной величины: \[ Z_n = \frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \] сходится по распределению к стандартному нормальному распределению \( N(0,1) \) при \( n \to \infty \). То есть для любого действительного числа \( z \): \[ \lim_{n \to \infty} P(Z_n \le z) = \Phi(z), \] где \( \Phi(z) \) — функция распределения стандартного нормального закона.

Условие Линдеберга (для неодинаково распределенных величин)

Более общая формулировка, применимая к последовательностям независимых, но не обязательно одинаково распределенных величин, требует выполнения условия Линдеберга. Пусть \( X_{n1}, X_{n2}, \dots, X_{nk_n} \) — схема серий независимых случайных величин с нулевыми математическими ожиданиями и конечными дисперсиями \( \sigma_{ni}^2 \). Пусть \( s_n^2 = \sum_{i=1}^{k_n} \sigma_{ni}^2 \). Условие Линдеберга гласит: для любого \( \varepsilon > 0 \): \[ \lim_{n \to \infty} \frac{1}{s_n^2} \sum_{i=1}^{k_n} \mathbb{E}\left[ X_{ni}^2 \cdot \mathbb{I}_{\{|X_{ni}| > \varepsilon s_n\}} \right] = 0, \] где \( \mathbb{I} \) — индикаторная функция. Если это условие выполнено, то распределение суммы \( S_n = \sum_{i=1}^{k_n} X_{ni} \) сходится к \( N(0, s_n^2) \).

Условия применимости

Для справедливости классической ЦПТ необходимо выполнение трех основных условий:

1. Независимость: случайные величины должны быть независимы друг от друга.
2. Одинаковая распределенность: все величины должны иметь одно и то же распределение.
3. Конечность дисперсии: дисперсия каждой величины должна быть конечной и положительной.

Нарушение любого из этих условий может привести к тому, что предельное распределение не будет нормальным. Например, для распределений с бесконечной дисперсией (таких как распределение Коши) ЦПТ не работает — сумма таких величин не стремится к нормальному закону. Для зависимых величин (например, временных рядов с автокорреляцией) также требуются специальные модификации теоремы.

Скорость сходимости

На практике важно знать, насколько быстро распределение суммы приближается к нормальному. Этот вопрос изучается в рамках оценок скорости сходимости. Наиболее известный результат — неравенство Берри — Эссеена (1941, 1942), которое дает верхнюю границу для расстояния между функциями распределения: \[ \sup_{z} |F_n(z) - \Phi(z)| \le \frac{C \cdot \mathbb{E}[|X_1 - \mu|^3]}{\sigma^3 \sqrt{n}}, \] где \( F_n(z) \) — функция распределения нормированной суммы, а \( C \) — абсолютная константа (современные оценки дают \( C \approx 0.4748 \)). Неравенство показывает, что скорость сходимости пропорциональна \( 1/\sqrt{n} \), и зависит от асимметрии исходного распределения (третьего центрального момента).

Многомерная центральная предельная теорема

ЦПТ обобщается на случайные векторы. Пусть \( \mathbf{X}_1, \mathbf{X}_2, \dots, \mathbf{X}_n \) — независимые одинаково распределенные случайные векторы в \( \mathbb{R}^d \) с вектором средних \( \boldsymbol{\mu} \) и ковариационной матрицей \( \Sigma \). Тогда нормированная сумма: \[ \frac{1}{\sqrt{n}} \sum_{i=1}^n (\mathbf{X}_i - \boldsymbol{\mu}) \] сходится по распределению к \( d \)-мерному нормальному распределению \( N(\mathbf{0}, \Sigma) \). Это утверждение широко используется в многомерном статистическом анализе, например, при проверке гипотез о средних векторах.

Применение

Математическая статистика

ЦПТ является теоретической основой для построения доверительных интервалов для среднего значения генеральной совокупности, особенно когда объем выборки велик (обычно \( n \ge 30 \)). Она также лежит в основе многих критериев проверки гипотез, таких как t-критерий Стьюдента (приближенно, при больших выборках) и z-тест.

Естественные науки

В физике, биологии и экономике многие явления, возникающие как сумма большого числа независимых случайных воздействий, демонстрируют нормальное распределение. Например, ошибки измерений, флуктуации цен на финансовых рынках (при определенных условиях), распределение роста людей в популяции.

Теория массового обслуживания и инженерия

ЦПТ используется для аппроксимации распределения времени ожидания, загрузки систем, а также в задачах надежности, где отказы компонентов суммируются.

Машинное обучение

В методах стохастической оптимизации, таких как стохастический градиентный спуск, ЦПТ позволяет оценивать скорость сходимости и строить доверительные интервалы для параметров модели.

Ограничения и критика

Несмотря на свою фундаментальность, ЦПТ не является универсальным законом. Её применение ограничено:

• Малые выборки: при малых \( n \) аппроксимация может быть плохой, особенно если исходное распределение сильно асимметрично или имеет тяжелые хвосты.
• Зависимость: для сильно коррелированных данных (например, в финансовых временных рядах с кластеризацией волатильности) классическая ЦПТ неприменима; требуются версии для зависимых величин.
• Бесконечная дисперсия: распределения с бесконечной дисперсией (например, распределение Коши, некоторые распределения Парето) не подчиняются ЦПТ — их суммы сходятся к устойчивым распределениям Леви.

В экономике и финансах критика ЦПТ связана с тем, что реальные данные часто имеют «тяжелые хвосты», что приводит к недооценке рисков при использовании нормальной аппроксимации.

Интересные факты

• Термин «центральная предельная теорема» был введен Джорджем Пойа в 1920 году в статье, где он отметил, что эта теорема занимает центральное место в теории вероятностей.
• Неравенство Берри — Эссеена было независимо доказано двумя математиками — Эндрю Берри и Карлом-Густавом Эссееном, работавшими в разных странах.
• В русскоязычной литературе ЦПТ часто называют «теоремой Ляпунова» в честь Александра Ляпунова, который дал первое строгое доказательство общего случая.
• Существуют «неклассические» версии ЦПТ для случайных величин с бесконечной дисперсией, которые сходятся к устойчивым распределениям, а не к нормальному.

Источники

1. Феллер В. «Введение в теорию вероятностей и ее приложения». Том 1, 2. — М.: Мир, 1984.
2. Ширяев А. Н. «Вероятность». — М.: Наука, 1989.
3. Биллингсли П. «Сходимость вероятностных мер». — М.: Наука, 1977.
4. Berry A. C. «The Accuracy of the Gaussian Approximation to the Sum of Independent Variates» // Transactions of the American Mathematical Society, 1941.
5. Ляпунов А. М. «Одна теорема теории вероятностей» // Известия Императорской Академии наук, 1901.