Гауссовский процесс

Гауссовский процесс — это случайный процесс, представляющий собой совокупность случайных величин, любое конечное подмножество которых имеет совместное многомерное нормальное распределение. Гауссовские процессы являются одним из основных объектов изучения в теории вероятностей и математической статистике, а также находят широкое применение в машинном обучении, физике, инженерии и финансах. Ключевой особенностью гауссовского процесса является то, что его поведение полностью определяется двумя функциями: математическим ожиданием (средним значением) и ковариационной функцией (ядром), которая описывает корреляцию между значениями процесса в различных точках.

Определение и формализация

Пусть задано вероятностное пространство \((\Omega, \mathcal{F}, \mathbb{P})\) и индексное множество \(T\) (чаще всего \(T \subseteq \mathbb{R}^d\), но может быть и произвольным множеством). Случайный процесс \(\{X_t, t \in T\}\) называется гауссовским, если для любого конечного набора индексов \(t_1, t_2, \dots, t_n \in T\) случайный вектор \((X_{t_1}, X_{t_2}, \dots, X_{t_n})\) имеет многомерное нормальное распределение.

Гауссовский процесс полностью характеризуется двумя параметрами:

• Функция среднего \(m(t) = \mathbb{E}[X_t]\), где \(\mathbb{E}\) — оператор математического ожидания.
• Ковариационная функция (ядро) \(k(s, t) = \text{Cov}(X_s, X_t) = \mathbb{E}[(X_s - m(s))(X_t - m(t))]\).

Для любого конечного набора точек \(t_1, \dots, t_n\) вектор значений \((X_{t_1}, \dots, X_{t_n})\) распределён как \(\mathcal{N}(\mathbf{m}, \mathbf{K})\), где \(\mathbf{m}\) — вектор средних с компонентами \(m(t_i)\), а \(\mathbf{K}\) — ковариационная матрица с элементами \(K_{ij} = k(t_i, t_j)\).

Свойства

Гауссовские процессы обладают рядом важных свойств, которые делают их удобными для моделирования.

Линейность

Линейная комбинация (с детерминированными коэффициентами) независимых гауссовских процессов является гауссовским процессом. Если \(X_t\) и \(Y_t\) — независимые гауссовские процессы, то процесс \(Z_t = a X_t + b Y_t\) также будет гауссовским с параметрами \(m_Z(t) = a m_X(t) + b m_Y(t)\) и \(k_Z(s,t) = a^2 k_X(s,t) + b^2 k_Y(s,t)\).

Условные распределения

Одно из наиболее важных свойств для практического применения — возможность вычисления условных распределений. Если известны значения гауссовского процесса в некоторых точках, то распределение его значений в других точках также является гауссовским. Пусть \(\mathbf{X}_1\) — вектор значений в наблюдаемых точках, а \(\mathbf{X}_2\) — вектор значений в точках, для которых требуется предсказание. Тогда совместное распределение имеет вид: \[ \begin{pmatrix} \mathbf{X}_1 \\ \mathbf{X}_2 \end{pmatrix} \sim \mathcal{N} \left( \begin{pmatrix} \mathbf{m}_1 \\ \mathbf{m}_2 \end{pmatrix}, \begin{pmatrix} \mathbf{K}_{11} & \mathbf{K}_{12} \\ \mathbf{K}_{21} & \mathbf{K}_{22} \end{pmatrix} \right) \] Условное распределение \(\mathbf{X}_2 | \mathbf{X}_1 = \mathbf{x}_1\) также является гауссовским со следующими параметрами:

• Условное среднее: \(\mathbb{E}[\mathbf{X}_2 | \mathbf{X}_1 = \mathbf{x}_1] = \mathbf{m}_2 + \mathbf{K}_{21} \mathbf{K}_{11}^{-1} (\mathbf{x}_1 - \mathbf{m}_1)\)
• Условная ковариация: \(\text{Cov}[\mathbf{X}_2 | \mathbf{X}_1 = \mathbf{x}_1] = \mathbf{K}_{22} - \mathbf{K}_{21} \mathbf{K}_{11}^{-1} \mathbf{K}_{12}\)

Стационарность

Гауссовский процесс называется стационарным (в широком смысле), если его среднее значение постоянно, а ковариационная функция зависит только от разности аргументов: \(k(s, t) = k(s - t)\). Если процесс стационарен, это часто упрощает его анализ и моделирование, так как структура корреляции не зависит от абсолютного положения на временной оси.

Ковариационные функции (ядра)

Выбор ковариационной функции является ключевым этапом при использовании гауссовских процессов, так как она определяет форму и гладкость реализаций процесса. Ядро должно быть положительно определённым. Наиболее распространённые ядра:

• Радиальная базисная функция (RBF) или квадратичное экспоненциальное ядро:

\[ k(s, t) = \sigma^2 \exp\left(-\frac{\|s - t\|^2}{2l^2}\right) \] Параметр \(l\) (длина масштаба) определяет, насколько быстро корреляция убывает с расстоянием. Процессы с таким ядром являются бесконечно дифференцируемыми (гладкими).

• Ядро Матерна:

\[ k(s, t) = \sigma^2 \frac{2^{1-\nu}}{\Gamma(\nu)} \left( \frac{\sqrt{2\nu}\|s - t\|}{l} \right)^\nu K_\nu \left( \frac{\sqrt{2\nu}\|s - t\|}{l} \right) \] Параметр \(\nu\) контролирует гладкость: при \(\nu \to \infty\) ядро Матерна стремится к RBF, а при \(\nu = 1/2\) оно соответствует экспоненциальному ядру (процесс Орнштейна — Уленбека), который не является дифференцируемым.

• Периодическое ядро:

\[ k(s, t) = \sigma^2 \exp\left(-\frac{2 \sin^2(\pi \|s - t\| / p)}{l^2}\right) \] Используется для моделирования периодических процессов, где \(p\) — период.

• Линейное ядро:

\[ k(s, t) = \sigma_b^2 + \sigma_v^2 (s - c)(t - c) \] Порождает линейные функции.

Применение в машинном обучении

В машинном обучении гауссовские процессы используются как непараметрический метод регрессии и классификации. Основная идея заключается в том, чтобы определить априорное распределение (prior) над функциями с помощью гауссовского процесса, а затем, после наблюдения данных, вычислить апостериорное распределение (posterior).

Гауссовская регрессия (Gaussian Process Regression, GPR)

Задача регрессии состоит в восстановлении зависимости \(y = f(x) + \epsilon\), где \(\epsilon\) — гауссовский шум с дисперсией \(\sigma_n^2\). Наблюдаемые значения \(y\) в точках \(X\) используются для предсказания значений \(f_\) в новых точках \(X_\). Апостериорное распределение для \(f_\) вычисляется по формулам условного распределения: \[ \overline{f}_ = \mathbf{K}(X_, X) [\mathbf{K}(X, X) + \sigma_n^2 I]^{-1} \mathbf{y} \] \[ \text{Cov}(f_) = \mathbf{K}(X_, X_) - \mathbf{K}(X_, X) [\mathbf{K}(X, X) + \sigma_n^2 I]^{-1} \mathbf{K}(X, X_) \] Преимущество GPR перед многими другими методами регрессии заключается в том, что он не только даёт точечную оценку (среднее), но и предоставляет меру неопределённости (дисперсию) для каждого предсказания.

Гауссовская классификация (Gaussian Process Classification, GPC)

В задачах классификации гауссовский процесс используется для моделирования скрытой функции, которая затем преобразуется через сигмоидную функцию (например, логистическую или пробит) для получения вероятностей принадлежности к классу. В отличие от регрессии, здесь апостериорное распределение не является гауссовским, поэтому для его аппроксимации применяются методы Лапласа, вариационные методы или методы Монте-Карло.

Преимущества и недостатки

Преимущества:

• Предоставляют вероятностные предсказания с оценкой неопределённости.
• Гибкость: могут моделировать широкий класс функций благодаря выбору ядра.
• Непараметричность: сложность модели растёт с объёмом данных.

Недостатки:

• Высокая вычислительная сложность: стандартная реализация требует \(O(N^3)\) операций для обучения (обращение матрицы \(N \times N\)), где \(N\) — количество точек данных. Это ограничивает применение на больших наборах данных.
• Чувствительность к выбору ядра и его гиперпараметров, которые обычно настраиваются методом максимизации логарифмического правдоподобия.

История

Понятие гауссовского процесса восходит к работам Карла Фридриха Гаусса, который в начале XIX века разработал метод наименьших квадратов, тесно связанный с нормальным распределением. Однако формальная теория случайных процессов начала развиваться в XX веке. В 1940-х годах Норберт Винер и Андрей Николаевич Колмогоров заложили основы теории прогнозирования стационарных случайных процессов, что привело к созданию теории фильтрации Калмана. В 1970-х годах Джон Мейнард Смит и другие исследователи начали применять гауссовские процессы в геостатистике (кригинг). В 1990-х годах Карл Эдвард Расмуссен и Кристофер Уильямс популяризировали гауссовские процессы в машинном обучении, опубликовав в 2006 году фундаментальную монографию «Gaussian Processes for Machine Learning».

Источники

1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
3. Ширяев, А. Н. (2004). Вероятность-1. МЦНМО.
4. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.