Градиент функции в математике¶

Градиент функции — векторная характеристика скалярной функции нескольких переменных, указывающая направление наибольшего возрастания функции в данной точке. Для функции \( f(x_1, x_2, \dots, x_n) \) градиент обозначается \( \nabla f \) или \( \operatorname{grad} f \) и определяется как вектор частных производных:

\[ \nabla f = \left( \frac{\partial f}{\partial x_1}, \frac{\partial f}{\partial x_2}, \dots, \frac{\partial f}{\partial x_n} \right). \]

Градиент — одно из базовых понятий математического анализа, дифференциальной геометрии и прикладных дисциплин: физики, экономики, машинного обучения. Он обобщает понятие производной на многомерный случай и тесно связано с оператором набла \( \nabla \).

¶Определение и обозначения

Для скалярной функции \( f: \mathbb{R}^n \to \mathbb{R} \), дифференцируемой в точке \( x \), градиентом называют вектор, компоненты которого равны частным производным первого порядка:

\[ \nabla f(x) = \left( \frac{\partial f}{\partial x_1}(x), \dots, \frac{\partial f}{\partial x_n}(x) \right). \]

В двумерном случае \( f(x, y) \) градиент имеет вид \( (\partial f/\partial x, \partial f/\partial y) \), в трёхмерном — \( (\partial f/\partial x, \partial f/\partial y, \partial f/\partial z) \). Обозначение \( \nabla \) (набла) ввёл в употребление английский математик Питер Гатри Тэт в XIX веке, а сам символ восходит к работам Уильяма Роуэна Гамильтона.

¶Геометрический смысл

Градиент указывает направление наискорейшего роста функции. Если рассматривать поверхность уровня \( f(x) = c \), то градиент в каждой точке перпендикулярен этой поверхности. Это свойство широко используется при построении линий и поверхностей уровня: вектор градиента всегда ортогонален касательной к линии уровня.

Модуль градиента \( |\nabla f| \) равен максимальной скорости изменения функции в данной точке. В направлении, противоположном градиенту, функция убывает быстрее всего, что лежит в основе градиентного спуска.

¶Связь с производной по направлению

Производная функции по направлению единичного вектора \( \mathbf{u} \) выражается через скалярное произведение:

\[ \frac{\partial f}{\partial \mathbf{u}} = \nabla f \cdot \mathbf{u} = |\nabla f| \cos \varphi, \]

где \( \varphi \) — угол между градиентом и вектором направления. Отсюда следует, что производная максимальна, когда направление совпадает с градиентом, и равна нулю в направлении, перпендикулярном ему.

¶Свойства

Градиент обладает рядом алгебраических свойств, аналогичных правилам дифференцирования:

• Линейность: \( \nabla (af + bg) = a \nabla f + b \nabla g \).
• Правило произведения: \( \nabla (fg) = f \nabla g + g \nabla f \).
• Правило частного: \( \nabla (f/g) = (g \nabla f - f \nabla g)/g^2 \).
• Цепное правило: для сложной функции \( \nabla (f \circ g) \) применяется правило дифференцирования сложной функции.

Градиент связан с другими дифференциальными операторами: дивергенцией, ротором и оператором Лапласа. Например, дивергенция градиента даёт лапласиан: \( \Delta f = \nabla \cdot \nabla f \).

¶Примеры вычисления

Для функции \( f(x, y) = x^2 + y^2 \) градиент равен \( (2x, 2y) \). В точке \( (1, 1) \) он равен \( (2, 2) \) и указывает направление от начала координат — направление роста функции.

Для функции \( f(x, y, z) = xyz \) градиент имеет вид \( (yz, xz, xy) \). В точке \( (1, 2, 3) \) он равен \( (6, 3, 2) \).

¶Применение

¶Оптимизация и машинное обучение

Метод градиентного спуска — основной алгоритм обучения нейронных сетей и решения задач оптимизации. Итерационно параметры модели изменяются в направлении, противоположном градиенту функции потерь:

\[ x_{k+1} = x_k - \eta \nabla f(x_k), \]

где \( \eta \) — скорость обучения. Разновидности метода — стохастический градиентный спуск, метод Momentum, Adam — широко применяются в задачах машинного обучения.

¶Физика

В физике градиент описывает поля: напряжённость электростатического поля равна градиенту потенциала со знаком минус (\( \mathbf{E} = -\nabla \varphi \)), сила в потенциальном поле также выражается через градиент потенциальной энергии. Градиент температуры, давления и концентрации определяет направление потоков тепла, вещества и жидкости.

¶Экономика и география

В экономике градиент применяется при анализе функций полезности и производственных функций. В географии и метеорологии градиент температуры и давления используется для построения карт и прогнозов.

¶Градиент в криволинейных координатах

В цилиндрических координатах \( (\rho, \varphi, z) \) градиент записывается как:

\[ \nabla f = \frac{\partial f}{\partial \rho} \mathbf{e}_\rho + \frac{1}{\rho} \frac{\partial f}{\partial \varphi} \mathbf{e}_\varphi + \frac{\partial f}{\partial z} \mathbf{e}_z. \]

В сферических координатах \( (r, \theta, \varphi) \) выражение усложняется добавлением множителей \( 1/r \) и \( 1/(r \sin\theta) \). Эти формулы используются в задачах математической физики и электродинамики.

¶Обобщения

Понятие градиента обобщается на функционалы (вариационная производная), на векторнозначные функции (матрица Якоби) и на многообразия (ковариантная производная). В римановой геометрии градиент определяется через метрический тензор, что позволяет работать с ним на искривлённых пространствах.

¶Источники

• Фихтенгольц Г. М. Курс дифференциального и интегрального исчисления.
• Зорич В. А. Математический анализ.
• Ильин В. А., Позняк Э. Г. Основы математического анализа.
• Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение.