Матрица Гессе

Матрица Гессе (или гессиан) — это квадратная матрица, составленная из частных производных второго порядка скалярной функции многих переменных. Она описывает локальную кривизну функции в заданной точке и является ключевым инструментом в математическом анализе, оптимизации, численных методах и машинном обучении. Названа в честь немецкого математика Людвига Отто Гессе (1811–1874), который ввёл это понятие в XIX веке.

Определение и формальное представление

Пусть дана функция \( f: \mathbb{R}^n \to \mathbb{R} \), дважды дифференцируемая в точке \( \mathbf{x} = (x_1, x_2, \dots, x_n) \). Матрица Гессе \( H(f) \) в этой точке определяется как матрица размера \( n \times n \), элементы которой вычисляются по формуле:

\[ H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j}, \quad i, j = 1, \dots, n. \]

В развёрнутом виде для функции трёх переменных \( f(x, y, z) \) матрица Гессе записывается как:

\[ H(f) = \begin{bmatrix} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} & \frac{\partial^2 f}{\partial x \partial z} \\ \frac{\partial^2 f}{\partial y \partial x} & \frac{\partial^2 f}{\partial y^2} & \frac{\partial^2 f}{\partial y \partial z} \\ \frac{\partial^2 f}{\partial z \partial x} & \frac{\partial^2 f}{\partial z \partial y} & \frac{\partial^2 f}{\partial z^2} \end{bmatrix}. \]

Если функция \( f \) имеет непрерывные вторые частные производные (класс \( C^2 \)), то, согласно теореме Шварца, смешанные производные равны: \( \frac{\partial^2 f}{\partial x_i \partial x_j} = \frac{\partial^2 f}{\partial x_j \partial x_i} \). В этом случае матрица Гессе является симметричной.

Свойства матрицы Гессе

Симметричность

Как отмечено выше, для функций класса \( C^2 \) матрица Гессе симметрична относительно главной диагонали. Это свойство упрощает её анализ, в частности, вычисление собственных значений.

Связь с градиентом

Градиент функции \( \nabla f \) — это вектор первых производных. Матрица Гессе является матрицей Якоби для градиента: \( H(f) = J(\nabla f) \). Таким образом, гессиан описывает, как изменяется градиент при малом смещении от точки.

Квадратичная форма

Матрица Гессе порождает квадратичную форму \( \mathbf{v}^T H(f) \mathbf{v} \), где \( \mathbf{v} \) — произвольный ненулевой вектор. Эта форма определяет поведение функции в окрестности точки: знак формы указывает на тип критической точки.

Применение в анализе и оптимизации

Классификация критических точек

Критическая точка функции — это точка, где градиент равен нулю (\( \nabla f = 0 \)). Для классификации такой точки используется матрица Гессе:

• Локальный минимум: если матрица Гессе положительно определена (все собственные значения положительны), то функция имеет локальный минимум.
• Локальный максимум: если матрица Гессе отрицательно определена (все собственные значения отрицательны), то функция имеет локальный максимум.
• Седловая точка: если собственные значения имеют разные знаки, то точка является седловой.
• Неопределённый случай: если хотя бы одно собственное значение равно нулю, требуется дополнительный анализ (высшие производные).

Для функции одной переменной матрица Гессе вырождается во вторую производную \( f''(x) \), и классификация сводится к правилу: \( f''(x) > 0 \) — минимум, \( f''(x) < 0 \) — максимум.

Метод Ньютона

В численной оптимизации метод Ньютона использует матрицу Гессе для нахождения минимума функции. Итерационная формула имеет вид:

\[ \mathbf{x}_{k+1} = \mathbf{x}_k - [H(f)(\mathbf{x}_k)]^{-1} \nabla f(\mathbf{x}_k). \]

Этот метод обеспечивает квадратичную сходимость вблизи точки минимума, но требует вычисления и обращения гессиана на каждом шаге, что может быть вычислительно затратно для задач большой размерности.

Условная оптимизация

В задачах с ограничениями (например, метод множителей Лагранжа) матрица Гессе используется для проверки достаточных условий экстремума. Для этого строится окаймлённая матрица Гессе, учитывающая ограничения.

Связь с выпуклостью

Функция \( f \) называется выпуклой на множестве, если её матрица Гессе является положительно полуопределённой (все собственные значения неотрицательны) во всех точках этого множества. Для строго выпуклых функций гессиан положительно определён. Это свойство широко используется в выпуклой оптимизации, где локальный минимум автоматически является глобальным.

Примеры вычисления

Пример 1: Функция двух переменных

Рассмотрим \( f(x, y) = x^2 + 3y^2 + 2xy \). Частные производные: \[ \frac{\partial f}{\partial x} = 2x + 2y, \quad \frac{\partial f}{\partial y} = 6y + 2x. \] Вторые производные: \[ \frac{\partial^2 f}{\partial x^2} = 2, \quad \frac{\partial^2 f}{\partial y^2} = 6, \quad \frac{\partial^2 f}{\partial x \partial y} = 2. \] Матрица Гессе: \[ H = \begin{bmatrix} 2 & 2 \\ 2 & 6 \end{bmatrix}. \] Собственные значения: \( \lambda_1 = 4 + 2\sqrt{2} \approx 6.83 \), \( \lambda_2 = 4 - 2\sqrt{2} \approx 1.17 \). Оба положительны, следовательно, функция выпукла и имеет единственный минимум в точке (0,0).

Пример 2: Функция трёх переменных

Для \( f(x, y, z) = x^3 + y^2 + z^2 - 3xz \) в точке (1, 0, 0): \[ \frac{\partial^2 f}{\partial x^2} = 6x = 6, \quad \frac{\partial^2 f}{\partial y^2} = 2, \quad \frac{\partial^2 f}{\partial z^2} = 2, \quad \frac{\partial^2 f}{\partial x \partial z} = -3. \] Матрица Гессе: \[ H = \begin{bmatrix} 6 & 0 & -3 \\ 0 & 2 & 0 \\ -3 & 0 & 2 \end{bmatrix}. \] Собственные значения: \( \lambda_1 = 2 \), \( \lambda_2 = 4 + \sqrt{13} \approx 7.61 \), \( \lambda_3 = 4 - \sqrt{13} \approx 0.39 \). Все положительны, точка является локальным минимумом.

Ограничения и вычислительные аспекты

Размерность

Для функции \( n \) переменных матрица Гессе содержит \( n^2 \) элементов. При \( n = 10^6 \) (типичная задача машинного обучения) хранение полной матрицы требует \( 10^{12} \) чисел, что невозможно на современных компьютерах. В таких случаях используются методы, аппроксимирующие гессиан (например, L-BFGS).

Вычислительная сложность

Вычисление матрицы Гессе аналитически может быть трудоёмким для сложных функций. Численное дифференцирование (конечные разности) требует \( O(n^2) \) вычислений функции, что также дорого. Поэтому на практике часто применяют квазиньютоновские методы, которые строят аппроксимацию гессиана по информации о градиентах.

Особые случаи

Если функция не является дважды дифференцируемой, матрица Гессе не определена. В таких точках анализ кривизны невозможен, и используются другие методы (например, субградиентный спуск).

Интересные факты

• Людвиг Отто Гессе ввёл матрицу вторых производных в контексте теории определителей и алгебраических кривых. Термин «гессиан» впервые использовал Джеймс Джозеф Сильвестр в 1850-х годах.
• В дифференциальной геометрии матрица Гессе связана с кривизной поверхности, заданной функцией.
• В машинном обучении гессиан используется для анализа сходимости алгоритмов обучения нейронных сетей и для оценки неопределённости параметров модели.
• В физике матрица Гессе применяется в теории упругости (тензор деформации) и в квантовой механике (анализ стационарных точек потенциальной энергии).

Источники

• Бахвалов Н. С., Жидков Н. П., Кобельков Г. М. Численные методы. — М.: Бином, 2008.
• Бойд С., Ванденберге Л. Выпуклая оптимизация. — М.: МЦНМО, 2018.
• Колмогоров А. Н., Фомин С. В. Элементы теории функций и функционального анализа. — М.: Наука, 1976.
• Press W. H., Teukolsky S. A., Vetterling W. T., Flannery B. P. Numerical Recipes: The Art of Scientific Computing. — Cambridge University Press, 2007.