Неравенство Йенсена

Неравенство Йенсена — это фундаментальное неравенство в математике, устанавливающее связь между значением выпуклой (или вогнутой) функции от среднего арифметического набора чисел и средним арифметическим значений этой функции от каждого числа. В наиболее простой форме оно утверждает, что для выпуклой функции значение функции от среднего арифметического аргументов не превышает среднего арифметического значений функции в этих точках. Неравенство является одним из ключевых инструментов теории вероятностей, математической статистики, оптимизации и функционального анализа, позволяя оценивать математические ожидания, доказывать другие неравенства и устанавливать границы для различных величин.

История

Неравенство названо в честь датского математика Йохана Людвига Вильяма Вальдемара Йенсена, который впервые опубликовал его в 1906 году в работе «Sur les fonctions convexes et les inégalités entre les valeurs moyennes» (О выпуклых функциях и неравенствах между средними значениями). Однако идея, лежащая в основе неравенства, восходит к более ранним работам. В 1889 году немецкий математик Отто Гёльдер, изучая свойства выпуклых функций, фактически сформулировал частный случай неравенства для дискретного набора точек. Йенсен обобщил и строго доказал это утверждение для произвольных выпуклых функций, а также ввел в широкий обиход понятие выпуклости функции, определив её через свойство второй производной.

Формулировка

Существует несколько эквивалентных формулировок неравенства Йенсена, различающихся по степени общности.

Конечная форма (для дискретного набора точек)

Пусть \( \varphi(x) \) — выпуклая функция на интервале \( I \). Тогда для любых точек \( x_1, x_2, \dots, x_n \in I \) и положительных весов \( \lambda_1, \lambda_2, \dots, \lambda_n \), таких что \( \sum_{i=1}^n \lambda_i = 1 \), выполняется неравенство:

\[ \varphi\left( \sum_{i=1}^n \lambda_i x_i \right) \le \sum_{i=1}^n \lambda_i \varphi(x_i) \]

Если функция \( \varphi(x) \) является вогнутой, знак неравенства меняется на противоположный:

\[ \varphi\left( \sum_{i=1}^n \lambda_i x_i \right) \ge \sum_{i=1}^n \lambda_i \varphi(x_i) \]

В частном случае, когда все веса равны (\( \lambda_i = 1/n \)), неравенство принимает вид:

\[ \varphi\left( \frac{x_1 + x_2 + \dots + x_n}{n} \right) \le \frac{\varphi(x_1) + \varphi(x_2) + \dots + \varphi(x_n)}{n} \]

Интегральная форма (для непрерывных распределений)

Пусть \( \varphi(x) \) — выпуклая функция на интервале \( I \), а \( f(x) \) — интегрируемая функция на отрезке \( [a, b] \) с неотрицательной весовой функцией \( p(x) \), такой что \( \int_a^b p(x) \, dx = 1 \). Тогда:

\[ \varphi\left( \int_a^b f(x) p(x) \, dx \right) \le \int_a^b \varphi(f(x)) p(x) \, dx \]

Вероятностная форма

В теории вероятностей неравенство Йенсена формулируется для математического ожидания. Если \( X \) — случайная величина, принимающая значения в области определения выпуклой функции \( \varphi \), то:

\[ \varphi(\mathbb{E}[X]) \le \mathbb{E}[\varphi(X)] \]

Для вогнутой функции знак неравенства обращается.

Условия выпуклости и вогнутости

Ключевым условием применимости неравенства является свойство выпуклости (или вогнутости) функции. Функция \( \varphi(x) \) называется выпуклой на интервале \( I \), если для любых \( x_1, x_2 \in I \) и \( \lambda \in [0, 1] \) выполняется:

\[ \varphi(\lambda x_1 + (1-\lambda) x_2) \le \lambda \varphi(x_1) + (1-\lambda) \varphi(x_2) \]

Геометрически это означает, что график функции лежит не выше хорды, соединяющей любые две её точки. Если функция дважды дифференцируема, то её выпуклость эквивалентна неотрицательности второй производной: \( \varphi''(x) \ge 0 \). Функция называется вогнутой, если \( \varphi''(x) \le 0 \).

Доказательство (для дискретного случая с равными весами)

Доказательство часто проводится методом математической индукции. Для \( n=2 \) неравенство непосредственно следует из определения выпуклой функции. Предположим, что утверждение верно для \( n-1 \) точек. Тогда для \( n \) точек \( x_1, \dots, x_n \) с равными весами \( 1/n \):

\[ \varphi\left( \frac{x_1 + \dots + x_n}{n} \right) = \varphi\left( \frac{x_1 + \dots + x_{n-1}}{n} + \frac{x_n}{n} \right) \]

Введём обозначение \( y = \frac{x_1 + \dots + x_{n-1}}{n-1} \). Тогда среднее арифметическое можно переписать как:

\[ \frac{x_1 + \dots + x_n}{n} = \frac{n-1}{n} \cdot y + \frac{1}{n} \cdot x_n \]

Применяя определение выпуклости для двух точек \( y \) и \( x_n \) с весами \( \frac{n-1}{n} \) и \( \frac{1}{n} \), получаем:

\[ \varphi\left( \frac{n-1}{n} y + \frac{1}{n} x_n \right) \le \frac{n-1}{n} \varphi(y) + \frac{1}{n} \varphi(x_n) \]

По индукционному предположению для \( n-1 \) точек: \( \varphi(y) \le \frac{\varphi(x_1) + \dots + \varphi(x_{n-1})}{n-1} \). Подставляя, получаем требуемое неравенство.

Примеры применения

Среднее арифметическое и среднее геометрическое

Неравенство Йенсена позволяет доказать классическое неравенство о средних. Функция \( \varphi(x) = -\ln x \) является выпуклой на \( (0, \infty) \). Применяя неравенство для набора положительных чисел \( a_1, \dots, a_n \) с равными весами, получаем:

\[ -\ln\left( \frac{a_1 + \dots + a_n}{n} \right) \le \frac{-\ln a_1 - \dots - \ln a_n}{n} \]

Умножая на -1 и потенцируя, имеем:

\[ \frac{a_1 + \dots + a_n}{n} \ge \sqrt[n]{a_1 \cdot \dots \cdot a_n} \]

Неравенство Гёльдера

Неравенство Йенсена используется при доказательстве неравенства Гёльдера, которое, в свою очередь, является обобщением неравенства Коши — Буняковского. Для этого применяется выпуклая функция \( \varphi(x) = x^p \) при \( p > 1 \).

Теория вероятностей

Вероятностная форма неравенства широко применяется в статистике. Например, для оценки смещения выборочных оценок. Если \( \hat{\theta} \) — несмещённая оценка параметра \( \theta \), то для выпуклой функции \( \varphi \) оценка \( \varphi(\hat{\theta}) \) будет смещённой, и её математическое ожидание будет не меньше \( \varphi(\theta) \). Это свойство лежит в основе неравенства Рао — Крамера.

Информационная энтропия

В теории информации неравенство Йенсена используется для доказательства того, что энтропия Шеннона является вогнутой функцией распределения вероятностей. Это означает, что смешивание двух распределений увеличивает энтропию.

Обобщения

Неравенство Йенсена допускает обобщения на многомерный случай, где функция \( \varphi \) определена на выпуклом множестве в \( \mathbb{R}^n \). Также существует обобщение для бесконечных последовательностей и для условных математических ожиданий в теории вероятностей (неравенство Йенсена для условного математического ожидания).

Источники

1. Jensen, J. L. W. V. (1906). «Sur les fonctions convexes et les inégalités entre les valeurs moyennes». Acta Mathematica.
2. Rudin, W. (1976). «Principles of Mathematical Analysis». McGraw-Hill.
3. Feller, W. (1968). «An Introduction to Probability Theory and Its Applications». John Wiley & Sons.
4. Hardy, G. H., Littlewood, J. E., Pólya, G. (1952). «Inequalities». Cambridge University Press.
5. Cover, T. M., Thomas, J. A. (2006). «Elements of Information Theory». Wiley-Interscience.