Функция Колмогорова

Функция Колмогорова — это математическая конструкция, используемая в теории вероятностей, теории информации и функциональном анализе, представляющая собой условное математическое ожидание случайной величины относительно сигма-алгебры, порождённой другой случайной величиной. В более широком смысле термин может относиться к различным объектам, введённым или названным в честь советского математика Андрея Николаевича Колмогорова, включая фундаментальные понятия в теории сложности (колмогоровская сложность) и теории динамических систем (энтропия Колмогорова — Синая). Однако наиболее часто под «функцией Колмогорова» в учебной литературе понимают именно условное математическое ожидание, которое является ключевым инструментом для построения мартингалов, регрессионного анализа и стохастических процессов.

Определение

Пусть задано вероятностное пространство \((\Omega, \mathcal{F}, \mathbb{P})\) и случайная величина \(X\) с конечным математическим ожиданием (\(\mathbb{E}|X| < \infty\)). Пусть \(\mathcal{G} \subset \mathcal{F}\) — сигма-алгебра. Тогда функцией Колмогорова (или условным математическим ожиданием) \(X\) относительно \(\mathcal{G}\) называется случайная величина \(\mathbb{E}(X \mid \mathcal{G})\), удовлетворяющая двум условиям:

1. \(\mathbb{E}(X \mid \mathcal{G})\) измерима относительно \(\mathcal{G}\);
2. Для любого множества \(A \in \mathcal{G}\) выполняется равенство:

\[ \int_A \mathbb{E}(X \mid \mathcal{G}) \, d\mathbb{P} = \int_A X \, d\mathbb{P}. \]

Существование и единственность такой функции (с точностью до почти наверное) доказывается с помощью теоремы Радона — Никодима. В частном случае, когда \(\mathcal{G}\) порождена случайной величиной \(Y\) (то есть \(\mathcal{G} = \sigma(Y)\)), условное математическое ожидание обозначают \(\mathbb{E}(X \mid Y)\) и называют функцией регрессии \(X\) на \(Y\).

История

Понятие условного математического ожидания в современной аксиоматической форме было введено Андреем Николаевичем Колмогоровым в 1933 году в его монографии «Основные понятия теории вероятностей». До этого условные вероятности и ожидания определялись лишь для дискретных или абсолютно непрерывных распределений, что ограничивало развитие теории случайных процессов. Колмогоров предложил общее определение через сигма-алгебры и теорему Радона — Никодима, что позволило строго обосновать теорию мартингалов (развитую позже Джозефом Дуом) и стохастическое исчисление.

Свойства

Функция Колмогорова обладает рядом фундаментальных свойств, которые делают её незаменимой в теории вероятностей:

• Линейность: \(\mathbb{E}(aX + bY \mid \mathcal{G}) = a\mathbb{E}(X \mid \mathcal{G}) + b\mathbb{E}(Y \mid \mathcal{G})\) почти наверное.
• Монотонность: если \(X \leq Y\) почти наверное, то \(\mathbb{E}(X \mid \mathcal{G}) \leq \mathbb{E}(Y \mid \mathcal{G})\) почти наверное.
• Свойство башни (итерации): если \(\mathcal{H} \subset \mathcal{G}\), то \(\mathbb{E}(\mathbb{E}(X \mid \mathcal{G}) \mid \mathcal{H}) = \mathbb{E}(X \mid \mathcal{H})\) почти наверное.
• Вынесение измеримой величины: если \(Z\) \(\mathcal{G}\)-измерима и \(\mathbb{E}|ZX| < \infty\), то \(\mathbb{E}(ZX \mid \mathcal{G}) = Z \mathbb{E}(X \mid \mathcal{G})\) почти наверное.
• Неравенство Йенсена: для выпуклой функции \(\varphi\) выполняется \(\varphi(\mathbb{E}(X \mid \mathcal{G})) \leq \mathbb{E}(\varphi(X) \mid \mathcal{G})\) почти наверное.

Применение

Теория мартингалов

Функция Колмогорова является основой для определения мартингала — последовательности случайных величин, для которой условное математическое ожидание будущего значения относительно прошлого равно текущему значению. Мартингалы широко используются в финансовой математике (моделирование цен активов), теории игр и статистике.

Регрессионный анализ

В статистике условное математическое ожидание \(\mathbb{E}(Y \mid X)\) представляет собой наилучшее (в среднеквадратическом смысле) приближение случайной величины \(Y\) функцией от \(X\). Это лежит в основе линейной и нелинейной регрессии.

Стохастические процессы

Для процессов с независимыми приращениями (например, винеровского процесса) функция Колмогорова позволяет вычислять прогнозы и фильтровать сигналы (фильтр Калмана).

Теория информации

В работах Колмогорова по теории информации условное математическое ожидание используется для определения количества информации и энтропии случайных величин.

Связанные понятия

Колмогоровская сложность

Несмотря на похожее название, колмогоровская сложность (или алгоритмическая сложность) — это отдельная концепция, предложенная Колмогоровым в 1960-х годах. Она определяет меру сложности конечной строки как длину кратчайшей программы, которая может её вывести. Хотя формально это не «функция Колмогорова» в вероятностном смысле, термин иногда используется в литературе по теории алгоритмов.

Энтропия Колмогорова — Синая

В теории динамических систем энтропия Колмогорова — Синая (метрическая энтропия) характеризует скорость потери информации в динамической системе. Она также связана с условными вероятностями, но не является прямой функцией Колмогорова.

Критика и ограничения

• Понятие условного математического ожидания определено с точностью до почти наверное, то есть может быть произвольно изменено на множестве меры нуль. Это создаёт технические сложности в приложениях, где требуется поточечная определённость.
• Вычисление \(\mathbb{E}(X \mid \mathcal{G})\) в явном виде возможно лишь для простых случаев (дискретные или гауссовские распределения). В общем виде оно остаётся абстрактным объектом.
• В неклассических вероятностных моделях (например, с неаддитивными мерами или квантовыми вероятностями) обобщение функции Колмогорова требует дополнительных аксиом.

Интересные факты

• Сам Колмогоров не использовал термин «функция Колмогорова» для условного математического ожидания; это название закрепилось в русскоязычной учебной литературе (например, в книгах А. Н. Ширяева «Вероятность»).
• В 1939 году Колмогоров совместно с А. Я. Хинчиным применил условные ожидания для построения теории стационарных случайных процессов.
• Понятие функции Колмогорова лежит в основе современного стохастического исчисления, включая интеграл Ито и формулу Ито.

Источники

• Колмогоров А. Н. Основные понятия теории вероятностей. — М.: Наука, 1974 (оригинал 1933).
• Ширяев А. Н. Вероятность. — М.: МЦНМО, 2011. — Т. 1.
• Биллингсли П. Сходимость вероятностных мер. — М.: Наука, 1977.
• Дуб Дж. Л. Вероятностные процессы. — М.: ИЛ, 1956.
• Колмогоров А. Н. Три подхода к определению понятия «количество информации» // Проблемы передачи информации. — 1965. — Т. 1, № 1. — С. 3–11.