Экстремум

Экстремум (от лат. extremum — крайнее) — в математике обобщающее название для максимума и минимума функции; наибольшее или наименьшее значение функции на заданном множестве. Различают локальный экстремум (наибольшее или наименьшее значение в некоторой окрестности точки) и глобальный экстремум (наибольшее или наименьшее значение на всей области определения функции). Понятие экстремума является фундаментальным в математическом анализе, теории оптимизации и прикладных науках.

Определение и основные понятия

Пусть задана функция \( f: X \to \mathbb{R} \), где \( X \) — некоторое множество (например, отрезок числовой прямой, область в многомерном пространстве или дискретное множество). Точка \( x_0 \in X \) называется точкой локального максимума, если существует такая окрестность \( U(x_0) \subset X \), что для всех \( x \in U(x_0) \) выполняется неравенство \( f(x) \le f(x_0) \). Аналогично, точкой локального минимума — если \( f(x) \ge f(x_0) \) для всех \( x \in U(x_0) \). Если неравенства строгие (\( f(x) < f(x_0) \) или \( f(x) > f(x_0) \)) для всех \( x \ne x_0 \), экстремум называется строгим.

Глобальный экстремум (или абсолютный) — это наибольшее или наименьшее значение функции на всей области определения \( X \). Точка глобального максимума (минимума) всегда является и точкой локального максимума (минимума), но обратное неверно.

Необходимые и достаточные условия существования экстремума

Для функций одной переменной

Для дифференцируемой функции \( f(x) \) на интервале \( (a, b) \) необходимым условием локального экстремума в точке \( x_0 \) является равенство нулю первой производной: \( f'(x_0) = 0 \). Точки, в которых производная равна нулю, называются стационарными. Однако не всякая стационарная точка является точкой экстремума — например, для функции \( f(x) = x^3 \) в точке \( x = 0 \) производная равна нулю, но экстремума нет (это точка перегиба).

Достаточные условия формулируются с помощью второй производной:

• Если \( f'(x_0) = 0 \) и \( f''(x_0) < 0 \), то \( x_0 \) — точка локального максимума.
• Если \( f'(x_0) = 0 \) и \( f''(x_0) > 0 \), то \( x_0 \) — точка локального минимума.
• Если \( f''(x_0) = 0 \), требуется дополнительное исследование (например, с помощью производных высших порядков).

Если функция не дифференцируема в точке, экстремум может существовать и при отсутствии производной (например, функция \( f(x) = |x| \) имеет минимум в точке \( x = 0 \), где производная не существует).

Для функций нескольких переменных

Для функции \( f(x_1, x_2, \dots, x_n) \) необходимым условием локального экстремума в точке \( \mathbf{x}_0 \) является равенство нулю всех частных производных первого порядка: \( \frac{\partial f}{\partial x_i}(\mathbf{x}_0) = 0 \) для всех \( i = 1, \dots, n \). Такие точки называются критическими.

Достаточное условие формулируется с помощью матрицы Гессе (матрицы вторых частных производных). Если матрица Гессе в критической точке:

• отрицательно определена — точка локального максимума;
• положительно определена — точка локального минимума;
• неопределена — точка не является экстремумом (седловая точка);
• полуопределена — требуется дополнительное исследование.

Классификация точек экстремума

Точки экстремума классифицируются по нескольким признакам:

• По характеру: локальные и глобальные.
• По строгости: строгие и нестрогие.
• По типу функции: для гладких (дифференцируемых) функций, для недифференцируемых, для дискретных.
• По размерности пространства: одномерные и многомерные.

В задачах оптимизации часто выделяют условный экстремум — экстремум функции при наличии ограничений (равенств или неравенств). Для его нахождения используется метод множителей Лагранжа.

Методы нахождения экстремума

Аналитические методы

1. Исследование с помощью производных: нахождение стационарных точек, проверка достаточных условий.
2. Метод множителей Лагранжа — для условного экстремума с ограничениями-равенствами.
3. Условия Куна — Таккера — для задач нелинейного программирования с ограничениями-неравенствами.

Численные методы

Для сложных функций, не имеющих аналитического выражения, применяются численные методы оптимизации:

• Градиентные методы (метод наискорейшего спуска, метод сопряжённых градиентов).
• Методы Ньютона и квазиньютоновские методы.
• Методы случайного поиска (имитация отжига, генетические алгоритмы).
• Методы прямого поиска (метод Хука — Дживса, метод Нелдера — Мида).

Примеры

• Квадратичная функция \( f(x) = x^2 \) имеет единственный глобальный минимум в точке \( x = 0 \). Производная \( f'(x) = 2x \) обращается в ноль в этой точке, вторая производная \( f''(x) = 2 > 0 \), что подтверждает минимум.
• Функция \( f(x) = -x^2 \) имеет глобальный максимум в точке \( x = 0 \).
• Функция \( f(x) = x^3 \) не имеет экстремумов, хотя её производная \( f'(x) = 3x^2 \) равна нулю в точке \( x = 0 \). Вторая производная \( f''(x) = 6x \) в этой точке равна нулю, а третья — отлична от нуля, что указывает на точку перегиба.
• Функция \( f(x) = |x| \) имеет глобальный минимум в точке \( x = 0 \), но не дифференцируема в этой точке.

Применение понятия экстремума

Понятие экстремума широко используется в различных областях:

• Физика: нахождение положений равновесия (минимум потенциальной энергии), принцип наименьшего действия.
• Экономика: максимизация прибыли, минимизация издержек, оптимизация портфеля инвестиций.
• Инженерия: проектирование конструкций с минимальной массой, оптимальное управление, обработка сигналов.
• Биология: моделирование популяционной динамики, оптимизация метаболических путей.
• Машинное обучение: обучение нейронных сетей сводится к минимизации функции потерь (например, методом градиентного спуска).

Критика и ограничения

Классические методы нахождения экстремума, основанные на дифференцировании, применимы только к гладким функциям. Для функций с разрывами, «оврагами» или большим числом локальных экстремумов (мультимодальные функции) аналитические методы часто неэффективны. В таких случаях используются стохастические и эвристические алгоритмы, не гарантирующие нахождение глобального экстремума, но дающие практически приемлемые решения. Кроме того, в задачах с большим числом переменных (сотни и тысячи) прямое вычисление всех частных производных и матрицы Гессе становится вычислительно затратным.

Источники

• Фихтенгольц Г. М. «Курс дифференциального и интегрального исчисления» (том 1).
• Ильин В. А., Позняк Э. Г. «Основы математического анализа» (часть 1).
• Бертсекас Д. «Нелинейное программирование».
• Колмогоров А. Н., Фомин С. В. «Элементы теории функций и функционального анализа».
• Бахвалов Н. С., Жидков Н. П., Кобельков Г. М. «Численные методы».