Гауссовы процессы

Гауссов процесс — это стохастический процесс, представляющий собой совокупность случайных величин, любое конечное подмножество которых имеет совместное многомерное нормальное (гауссово) распределение. Гауссовы процессы являются обобщением многомерного нормального распределения на бесконечномерное пространство функций и широко используются в машинном обучении, статистике, геостатистике и других областях для решения задач регрессии, классификации и оптимизации.

Определение и математическая формализация

Гауссов процесс полностью определяется своей функцией среднего \( m(x) \) и ковариационной функцией (ядром) \( k(x, x') \). Для любого конечного набора точек \( x_1, x_2, \ldots, x_n \) вектор значений функции \( f = (f(x_1), f(x_2), \ldots, f(x_n)) \) имеет многомерное нормальное распределение с математическим ожиданием \( \mu = (m(x_1), m(x_2), \ldots, m(x_n)) \) и ковариационной матрицей \( K \), где \( K_{ij} = k(x_i, x_j) \). Формально это записывается как:

\[ f(x) \sim \mathcal{GP}(m(x), k(x, x')) \]

Функция среднего \( m(x) \) задаёт априорное ожидание процесса в каждой точке. Обычно её полагают равной нулю, что не является ограничением, так как данные могут быть центрированы. Ковариационная функция \( k(x, x') \) определяет структуру зависимости между значениями процесса в разных точках: она задаёт гладкость, периодичность и другие свойства реализаций процесса.

Ковариационные функции (ядра)

Выбор ковариационной функции является ключевым этапом при построении модели на основе гауссова процесса. Наиболее распространённые ядра включают:

• Радиально-базисная функция (RBF), или экспоненциально-квадратичное ядро: \( k(x, x') = \sigma^2 \exp\left(-\frac{(x - x')^2}{2l^2}\right) \). Параметр \( l \) (длина масштаба) определяет, насколько быстро убывает корреляция между точками, а \( \sigma^2 \) — дисперсию процесса. Это ядро порождает бесконечно гладкие функции.
• Ядро Матерна: обобщение RBF, позволяющее контролировать гладкость реализаций через параметр \( \nu \). При \( \nu \to \infty \) ядро Матерна стремится к RBF.
• Периодическое ядро: \( k(x, x') = \sigma^2 \exp\left(-\frac{2\sin^2(\pi(x - x')/p)}{l^2}\right) \), где \( p \) — период. Используется для моделирования периодических процессов.
• Линейное ядро: \( k(x, x') = \sigma^2 (x \cdot x' + c) \). Порождает линейные функции.
• Белое шумовое ядро: \( k(x, x') = \sigma^2 \delta_{x, x'} \), где \( \delta \) — символ Кронекера. Используется для моделирования независимого шума.

Комбинируя различные ядра (суммируя или перемножая их), можно строить сложные модели, учитывающие разные типы структуры данных.

Применение в машинном обучении

Гауссовы процессы занимают важное место в байесовском машинном обучении, предоставляя вероятностный подход к обучению с учителем.

Гауссова регрессия

В задаче регрессии предполагается, что наблюдаемые данные \( y_i \) генерируются как \( y_i = f(x_i) + \varepsilon_i \), где \( \varepsilon_i \sim \mathcal{N}(0, \sigma_n^2) \) — независимый гауссов шум, а \( f(x) \) — неизвестная функция, на которую накладывается априорное распределение в виде гауссова процесса с нулевым средним и некоторым ядром \( k \). Апостериорное распределение \( f \) в новых точках \( X_* \) также является гауссовым процессом, и его можно вычислить аналитически:

\[ f_ | X, y, X_ \sim \mathcal{N}(\bar{f}_, \text{cov}(f_)) \]

где \[ \bar{f}_ = K(X_, X) [K(X, X) + \sigma_n^2 I]^{-1} y \] \[ \text{cov}(f_) = K(X_, X_) - K(X_, X) [K(X, X) + \sigma_n^2 I]^{-1} K(X, X_*) \]

Здесь \( K(X, X) \) — матрица попарных значений ядра для обучающих точек, \( K(X, X_*) \) — матрица для обучающих и тестовых точек, \( I \) — единичная матрица. Таким образом, гауссова регрессия даёт не только точечную оценку (среднее апостериорное), но и меру неопределённости (дисперсию) в каждой точке предсказания.

Гауссова классификация

В задачах классификации, где целевая переменная является категориальной (например, 0 или 1), прямое применение гауссовой регрессии некорректно. Вместо этого используется латентная функция \( f(x) \), которая затем преобразуется в вероятности классов с помощью сигмоидной функции (например, логистической или функции нормального распределения). Апостериорное распределение латентной функции не является гауссовым, и для его вычисления применяются приближённые методы, такие как лапласово приближение, приближение ожидаемого распространения (Expectation Propagation) или методы Монте-Карло с цепями Маркова (MCMC).

Байесовская оптимизация

Гауссовы процессы являются основным инструментом в байесовской оптимизации — методе поиска экстремума неизвестной «чёрной ящичной» функции, вычисление которой дорого. На каждом шаге алгоритма строится апостериорное распределение гауссова процесса по уже имеющимся наблюдениям. Затем выбирается следующая точка для оценки, максимизирующая некоторую функцию полезности (acquisition function), которая балансирует между исследованием областей с высокой неопределённостью и эксплуатацией областей с низким предсказанным значением. Популярные функции полезности включают:

• Probability of Improvement (PI): вероятность того, что значение в точке превзойдёт текущий лучший результат.
• Expected Improvement (EI): математическое ожидание улучшения относительно текущего лучшего результата.
• Upper Confidence Bound (UCB): комбинация среднего и дисперсии, \( \mu(x) + \kappa \sigma(x) \), где \( \kappa \) — параметр, контролирующий исследование.

Байесовская оптимизация применяется для настройки гиперпараметров моделей машинного обучения, в экспериментальном дизайне, в робототехнике и в других областях.

История

Истоки теории гауссовых процессов лежат в работах советского математика А. Н. Колмогорова, который в 1940-х годах заложил основы теории случайных процессов. В 1950-х годах Н. Винер и другие исследователи развили теорию винеровского процесса, который является частным случаем гауссова процесса. В 1970-х годах в геостатистике была разработана методология кригинга, которая по своей сути является гауссовой регрессией. Термин «гауссов процесс» в контексте машинного обучения популяризировал К. Уильямс, а в 2006 году вышла фундаментальная монография К. Расмуссена и К. Уильямса «Gaussian Processes for Machine Learning», которая стала стандартным справочником в этой области.

Преимущества и недостатки

Преимущества

• Вероятностный вывод: модель предоставляет полную информацию о неопределённости предсказаний, что критически важно для принятия решений.
• Гибкость: с помощью выбора ядра можно моделировать широкий класс функций, включая гладкие, периодические, нестационарные и др.
• Непараметричность: сложность модели растёт с объёмом данных, что позволяет избежать переобучения при правильном выборе ядра.
• Аналитическая вычислимость: для регрессии апостериорное распределение вычисляется в замкнутой форме.

Недостатки

• Вычислительная сложность: стандартная реализация гауссовой регрессии имеет кубическую сложность \( O(n^3) \) по числу обучающих точек \( n \) из-за обращения ковариационной матрицы размером \( n \times n \). Это делает их неприменимыми для больших наборов данных (более нескольких тысяч точек) без специальных приближений.
• Чувствительность к выбору ядра и гиперпараметров: качество модели сильно зависит от априорных предположений, заложенных в ядро. Неправильный выбор может привести к плохим результатам.
• Трудности с многомерными данными: в пространствах высокой размерности гауссовы процессы могут страдать от «проклятия размерности», когда для адекватного покрытия пространства требуется экспоненциально много точек.

Приближённые методы и масштабирование

Для преодоления ограничения вычислительной сложности разработаны различные приближённые методы:

• Разреженные гауссовы процессы (Sparse GPs): вводят набор индуктивных точек (inducing points), которые аппроксимируют полную ковариационную матрицу. Популярные подходы включают Fully Independent Training Conditional (FITC) и Variational Free Energy (VFE).
• Стохастическая вариационная гауссова регрессия (SVGP): использует стохастический градиентный спуск для обучения модели на мини-батчах данных, что позволяет обрабатывать миллионы точек.
• Глубокие гауссовы процессы (Deep GPs): композиция нескольких гауссовых процессов, позволяющая моделировать более сложные иерархические зависимости.

Литература

1. Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian Processes for Machine Learning. MIT Press.
2. Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
3. MacKay, D. J. C. (2003). Information Theory, Inference, and Learning Algorithms. Cambridge University Press.
4. Колмогоров, А. Н. (1941). Основные понятия теории вероятностей. ОНТИ.