Градиент в математике¶

Градиент — векторное обобщение понятия производной функции многих переменных; множество частных производных скалярной функции, упорядоченное в виде вектора. Градиент указывает направление наискорейшего роста функции, а его длина — норма — равна наибольшей скорости изменения функции в данной точке. Градиент является центральным понятием векторного анализа, многомерного математического анализа и является основой методов оптимизации, в частности градиентного спуска.

¶Определение

Пусть функция $f: \mathbb{R}^n \to \mathbb{R}$ определена в окрестности точки $\mathbf{x} = (x_1, x_2, \dots, x_n)$ и является дифференцируемой в этой точке. Градиентом $f$ называется вектор

$$\nabla f(\mathbf{x}) = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right).$$

Символ $\nabla$ (набла, «дель») называется оператором Гамильтона или оператором набла. Градиент — это вектор в той же евклидовой пространстве, где задана переменная $\mathbf{x}$; его компоненты — частные производные функции по каждой переменной, вычисленные в данной точке.

Для функции одной переменной $f: \mathbb{R} \to \mathbb{R}$ градиент вырождается в обычную производную $f'(x)$, умноженную на базисный вектор $\mathbf{e}_1$.

¶Геометрический смысл

Градиент перпендикулярен уровням (нивелирам) функции — множествам точек, в которых $f$ принимает одно и то же значение. Для функции двух переменных градиент в каждой точке перпендикулярен касательной к кривой уровня, проходящей через эту точку. Для функции трёх и более переменных градиент перпендикулярен касательной плоскости (или гиперплоскости) к поверхности уровня.

Направление градиента совпадает с направлением наискорейшего роста функции. Если $\mathbf{v}$ — произвольный единичный вектор, то направляющая производная $f$ в направлении $\mathbf{v}$ равна скалярному произведению

$$D_{\mathbf{v}} f = \nabla f \cdot \mathbf{v} = |\nabla f| \cos \theta,$$

где $\theta$ — угол между $\mathabla f$ и $\mathbf{v}$. Максимум достигается при $\theta = 0$, то есть когда $\mathbf{v}$ совпадает с направлением градиента.

¶Свойства

• Градиент линеен относительно функции: $\nabla (\alpha f + \beta g) = \alpha \nabla f + \beta \nabla g$ для любых констант $\alpha, \beta$.
• Производная произведения сохраняется: $\nabla (f g) = f \nabla g + g \nabla f$.
• Цепное правило: если $f = f(\mathbf{u})$, а $\mathbf{u} = \mathbf{u}(\mathbf{x})$, то $\nabla_{\mathbf{x}} f = J_{\mathbf{u}}^{\mathsf{T}} \nabla_{\mathbf{u}} f$, где $J_{\mathbf{u}}$ — матрица Якоби.
• Градиент дифференцируемой функции задаёт линейное приближение: $f(\mathbf{x} + \Delta \mathbf{x}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x}) \cdot \Delta \mathbf{x}$.

¶Примеры

Для функции $f(x, y) = x^2 + y^2$ градиент равен $\nabla f = (2x, 2y)$; в точке $(1, 2)$ он равен $(2, 4)$. Уровни этой функции — окружности с центром в начале координат, и градиент действительно перпендикулярен касательной к окружности.

Для линейной функции $f(\mathbf{x}) = \mathbf{a} \cdot \mathbf{x}$ градиент постоянен и равен вектору $\mathbf{a}$.

Для функции $f(x, y, z) = x y + z^2$ имеем $\nabla f = (y, x, 2z)$.

¶Применение

¶Градиентный спуск

Наиболее известное применение градиента — метод градиентного спуска для задач безусловной минимизации. Итерационная формула

$$\mathbf{x}_{k+1} = \mathbf{x}_k - \eta \nabla f(\mathbf{x}_k)$$

позволяет приближаться к точке минимума, двигаясь против направления градиента. Шаг $\eta$ (learning rate) подбирается эмпирически или адаптивно. Метод является основой обучения нейронных сетей (алгоритмы SGD, Adam и их модификации).

¶Векторный анализ

В теории поля градиент скалярного поля — это поле векторное. Оператор набла применяется также к векторным полям: дивергенция $\nabla \cdot \mathbf{F}$ и ротор $\nabla \times \mathbf{F}$ являются «родственными» операциями. Формула Стокса, теорема Грина и теорема Гаусса описывают связи между этими операциями и интегралами.

¶Физика

Градиент потенциала определяет силу: $\mathbf{F} = -\nabla \Phi$. В гравитационном поле сила тяжести равна градиенту гравитационного потенциала, взятому с обратным знаком. В термодинамике градиенты температуры и давления описывают перенос тепла и массы.

¶Оптимизация и машинное обучение

Градиент функции потерь используется для настройки параметров моделей. Методы, основанные на градиенте, — градиентный спуск, момент, Nesterov momentum, RMSProp, Adam — составляют основу современного глубокого обучения.

¶Обобщения

• Градиент на римановых многообразиях — вектор, заданный через дифференциал функции и метрику многообразия.
• Субградиент — обобщение градиента на недифференцируемые выпуклые функции; используется в методах субградиентного спуска.
• Якобиан — обобщение градиента на вектор-функции: матрица всех частных производных.
• Градиент оператора (аджунт) — обобщение на функционалы бесконечномерных пространств, основа вариационного исчисления и методов физически обоснованного обучения (PINN).

¶История

Оператор набла и понятие градиента были введены в работу Уильяма Роуэна Гамильтона «Оператор набла и дель» (1846), хотя идеи градиента использовались и ранее в работах по анализу. Термин «gradient» происходит от латинского gradus — «шаг, степень».

¶Источники

• Кудрявцев Л. Д. Курс математического анализа.
• Корн Г., Корн Т. Справочник по математике.
• Рудин У. Основы математического анализа.
• Сборник задач по векторному анализу (МГУ).
• Hamilton W. R. On Quaternions; or a New System of Symbols in Geometry (1844–1846).