Информационная энтропия Шеннона: определение и применение¶

Информационная энтропия Шеннона — это мера неопределённости или непредсказуемости случайной величины, введённая американским инженером и математиком Клодом Шенноном в 1948 году в статье «Математическая теория связи». В рамках теории информации энтропия количественно выражает среднее количество информации, приходящееся на одно сообщение, которое производит источник данных.

¶Определение

Для дискретной случайной величины \(X\) с множеством возможных значений \(\{x_1, x_2, \dots, x_n\}\) и вероятностями \(p_i = P(X = x_i)\), энтропия \(H(X)\) определяется формулой:

\[ H(X) = -\sum_{i=1}^{n} p_i \log_2 p_i \]

Основание логарифма определяет единицу измерения. При основании 2 энтропия измеряется в битах, при основании \(e\) — в натах, при основании 10 — в дитах (или хартли). В информатике и цифровой связи стандартом является двоичный логарифм.

Энтропия обладает рядом ключевых свойств:

• \(H(X) \geq 0\), причём равенство нулю достигается только для детерминированной величины (одно значение с вероятностью 1).
• Максимальная энтропия достигается при равномерном распределении вероятностей и равна \(\log_2 n\) бит.
• Энтропия аддитивна для независимых источников: \(H(X,Y) = H(X) + H(Y)\).

¶Смысл и интерпретация

Интуитивно энтропия описывает степень хаоса или неопределённости. Если событие почти всегда происходит (вероятность близка к 1), оно несёт мало информации — его наступление предсказуемо. Напротив, редкое событие несёт больше информации. Энтропия усредняет эту информативность по всем возможным исходам.

Второе начало термодинамики формально аналогично: физическая энтропия Больцмана \(S = k_B \ln W\) совпадает по структуре с информационной энтропией при равновероятных микросостояниях. Шеннон обсуждал эту связь, но подчёркивал, что его мера относится к информации, а не к физической системе.

¶Применение

¶Сжатие данных

Энтропия задаёт теоретический предел сжатия без потерь. Теорема Шеннона об источнике утверждает: минимальная средняя длина кодового слова для безошибочного кодирования не может быть меньше энтропии источника. Алгоритмы вроде кода Хаффмана или арифметического кодирования приближаются к этому пределу. Например, текст на русском языке имеет энтропию около 4–5 бит на символ (при 33 буквах алфавита), что позволяет сжимать его примерно вдвое относительно 8-битной кодировки.

¶Криптография

Энтропия используется для оценки стойкости паролей и ключей шифрования. Энтропия ключа в битах равна логарифму числа возможных ключей. Случайные генераторы чисел оцениваются по их энтропийному выходу. В совершенных шифрах (например, шифр Вернама) энтропия ключа должна быть не меньше энтропии сообщения.

¶Машинное обучение

В алгоритмах построения деревьев решений (ID3, C4.5) энтропия используется как критерий разбиения: выбирается признак, максимизирующий прирост информации (разность энтропии до и после разбиения). В метриках качества классификации применяется перекрёстная энтропия, измеряющая расхождение между предсказанным и истинным распределениями.

¶Лингвистика и анализ текстов

Энтропия языка оценивает его информационную плотность и используется в компьютерной лингвистике для моделирования языка, оценки сложности текстов и в системах автодополнения. В русском языке энтропия ниже, чем в английском, из-за богатой морфологии и предсказуемости окончаний.

¶Нейронаука и психология

Энтропия применяется для анализа вариабельности физиологических сигналов (ЭЭГ, ЭКГ). Снижение энтропии сигнала может указывать на патологические состояния, например, эпилепсию. В когнитивной науке энтропия используется для измерения сложности восприятия и внимания.

¶Ограничения и критика

Энтропия Шеннона не учитывает семантику сообщения — она оценивает только статистическую структуру. Два сообщения одинаковой длины и вероятности могут иметь одинаковую энтропию, но разный смысл. Кроме того, формула требует знания истинного распределения вероятностей, которое на практике оценивается приближённо по выборке. Для непрерывных распределений энтропия может быть отрицательной, что ограничивает её прямое применение без дискретизации.

¶Связь с другими мерами

Энтропия является частным случаем более общих мер: энтропии Реньи (с параметром порядка) и энтропии Хартли (равномерное распределение). Взаимная информация между двумя величинами выражается через энтропии: \(I(X;Y) = H(X) + H(Y) - H(X,Y)\) и показывает, сколько информации об одной величине содержится в другой.

¶Источники

• Шеннон К. Работы по теории информации и кибернетике. — М.: Иностранная литература, 1963.
• Клод Э. Шеннон. Математическая теория связи // Bell System Technical Journal, 1948.
• Колмогоров А. Н. Теория информации и теория алгоритмов. — М.: Наука, 1987.
• Cover T. M., Thomas J. A. Elements of Information Theory. — Wiley, 2006.