Энтропия Колмогорова — Синая

Энтропия Колмогорова — Синая (также известная как метрическая энтропия, KS-энтропия) — это мера хаотичности динамической системы, инвариантная относительно изоморфизма. Она характеризует среднюю скорость потери информации о состоянии системы со временем или, эквивалентно, скорость, с которой система «забывает» свои начальные условия. Является одним из ключевых инвариантов в теории динамических систем и эргодической теории, позволяя количественно различать детерминированный хаос и регулярное движение.

Определение

Пусть \((X, \mathcal{B}, \mu, T)\) — динамическая система, где \(X\) — фазовое пространство, \(\mathcal{B}\) — сигма-алгебра измеримых подмножеств, \(\mu\) — инвариантная вероятностная мера, а \(T: X \to X\) — измеримое преобразование, сохраняющее меру (\(\mu(T^{-1}(A)) = \mu(A)\) для всех \(A \in \mathcal{B}\)).

Для конечного измеримого разбиения \(\xi = \{A_1, A_2, \dots, A_k\}\) пространства \(X\) определим энтропию разбиения:

\[ H(\xi) = -\sum_{i=1}^{k} \mu(A_i) \log \mu(A_i) \]

(логарифм обычно берётся по основанию 2, тогда энтропия измеряется в битах, или по натуральному основанию — в натах).

Рассмотрим динамическое разбиение \(\xi^n = \xi \vee T^{-1}\xi \vee \dots \vee T^{-(n-1)}\xi\), элементы которого имеют вид \(A_{i_0} \cap T^{-1}A_{i_1} \cap \dots \cap T^{-(n-1)}A_{i_{n-1}}\). Энтропия этого разбиения:

\[ H(\xi^n) = H(\xi) + H(T^{-1}\xi | \xi) + \dots + H(T^{-(n-1)}\xi | \xi \vee \dots \vee T^{-(n-2)}\xi) \]

где \(H(\eta | \zeta)\) — условная энтропия. Средняя энтропия на один шаг определяется как:

\[ h(T, \xi) = \lim_{n \to \infty} \frac{1}{n} H(\xi^n) \]

Предел существует в силу субаддитивности последовательности \(H(\xi^n)\). Энтропия Колмогорова — Синая системы \(T\) определяется как супремум по всем конечным измеримым разбиениям:

\[ h(T) = \sup_{\xi} h(T, \xi) \]

Это определение было введено Андреем Николаевичем Колмогоровым в 1958 году и усовершенствовано Яковом Григорьевичем Синаем в 1959 году, который показал, что для систем с лебеговским спектром (в частности, для эргодических потоков) супремум достигается на так называемых порождающих разбиениях.

История

Понятие энтропии в динамические системы было введено Андреем Николаевичем Колмогоровым в 1958 году в работе «Новый метрический инвариант транзитивных динамических систем и автоморфизмов пространства Лебега». Колмогоров обобщил идеи теории информации Клода Шеннона, где энтропия измеряла неопределенность источника сообщений, на динамические системы. Он предложил рассматривать процесс наблюдения за системой как источник сообщений, а энтропию — как меру хаотичности.

В 1959 году Яков Григорьевич Синай в работе «О понятии энтропии динамической системы» доказал, что для систем с инвариантной мерой, обладающих порождающим разбиением, энтропия не зависит от выбора разбиения и является инвариантом метрического изоморфизма. Синай также показал, что для эргодических автоморфизмов пространства Лебега энтропия может быть вычислена как предел \(h(T) = \lim_{n\to\infty} \frac{1}{n} H(\xi \vee T^{-1}\xi \vee \dots \vee T^{-(n-1)}\xi)\) для любого порождающего разбиения \(\xi\).

Впоследствии энтропия Колмогорова — Синая стала одним из основных инструментов для изучения хаотических систем, особенно в связи с развитием теории динамического хаоса в 1970-1980-х годах.

Свойства

Инвариантность

Энтропия Колмогорова — Синая является инвариантом метрического изоморфизма: если две динамические системы \((X, \mathcal{B}, \mu, T)\) и \((Y, \mathcal{C}, \nu, S)\) метрически изоморфны (существует взаимно однозначное измеримое отображение, сохраняющее меру и коммутирующее с преобразованиями), то их энтропии равны.

Монотонность

Если \(T\) — фактор-преобразование системы \(S\) (т.е. существует измеримое отображение \(\pi: Y \to X\) такое, что \(\pi \circ S = T \circ \pi\) и \(\nu(\pi^{-1}(A)) = \mu(A)\)), то \(h(T) \le h(S)\).

Аддитивность

Для прямого произведения систем: \(h(T \times S) = h(T) + h(S)\).

Связь с показателями Ляпунова

Для гладких динамических систем на многообразиях энтропия Колмогорова — Синая связана с показателями Ляпунова. Существует неравенство Песена — Рюэля:

\[ h(T) \le \sum_{i: \lambda_i > 0} \lambda_i \]

где \(\lambda_i\) — положительные показатели Ляпунова. Для некоторых систем (например, для гиперболических аттракторов) это неравенство превращается в равенство (формула Песена).

Вычисление

Порождающие разбиения

Для систем с порождающим разбиением \(\xi\) (таким, что минимальная сигма-алгебра, содержащая все \(T^{-n}\xi\), совпадает с \(\mathcal{B}\) с точностью до множеств меры нуль) энтропия вычисляется просто:

\[ h(T) = \lim_{n\to\infty} \frac{1}{n} H(\xi^n) \]

Примером порождающего разбиения является разбиение на цилиндры для символических динамических систем (сдвигов Бернулли).

Сдвиги Бернулли

Для сдвига Бернулли на пространстве последовательностей из \(k\) символов с вероятностями \(p_1, \dots, p_k\) энтропия равна:

\[ h = -\sum_{i=1}^{k} p_i \log p_i \]

Это максимально возможная энтропия для системы с \(k\) состояниями.

Отображение пекаря

Для отображения пекаря на единичном квадрате, задаваемого формулами:

\[ (x, y) \mapsto \begin{cases} (2x, y/2), & 0 \le x < 1/2 \\ (2x-1, (y+1)/2), & 1/2 \le x \le 1 \end{cases} \]

энтропия равна \(\log 2\) (натуральный логарифм) или 1 бит на итерацию.

Логистическое отображение

Для логистического отображения \(x_{n+1} = r x_n (1 - x_n)\) при \(r=4\) (полностью хаотический режим) энтропия равна \(\log 2\). При меньших значениях \(r\) энтропия может быть меньше или равна нулю (для периодических режимов).

Применение

Теория динамического хаоса

Энтропия Колмогорова — Синая является количественной мерой хаотичности. Положительная энтропия указывает на наличие детерминированного хаоса: система экспоненциально быстро «забывает» начальные условия. Нулевая энтропия характерна для регулярных (периодических или квазипериодических) движений.

Гидродинамика и турбулентность

В гидродинамике энтропия используется для характеризации турбулентных течений. Например, для модели Лоренца (упрощенной модели конвекции) при классических параметрах энтропия положительна, что соответствует хаотическому аттрактору.

Криптография

В криптографии понятие энтропии используется для оценки стойкости генераторов псевдослучайных чисел. Высокая энтропия Колмогорова — Синая генератора свидетельствует о его способности производить последовательности, близкие к случайным.

Биология и нейронаука

В нейронауке энтропия применяется для анализа электроэнцефалограмм (ЭЭГ) и магнитоэнцефалограмм (МЭГ). Положительная энтропия в сигналах мозга может указывать на нормальную активность, а ее аномалии — на патологические состояния (например, эпилепсию).

Связь с другими понятиями

Топологическая энтропия

Существует также топологическая энтропия, введенная Роем Адлером, Андреем Конхеймом и Майклом Мак-Эндрю в 1965 году. Она определяется через покрытия топологического пространства и не зависит от меры. Для компактных метрических пространств топологическая энтропия является верхней гранью метрических энтропий по всем инвариантным мерам.

Энтропия Шеннона

Энтропия Колмогорова — Синая является прямым обобщением энтропии Шеннона из теории информации на динамические системы. В теории информации энтропия источника сообщений — это среднее количество информации на символ; в динамических системах — средняя скорость потери информации о состоянии.

Размерность Хаусдорфа

Для некоторых систем (например, для аттракторов) существует связь между энтропией Колмогорова — Синая и размерностью Хаусдорфа. В частности, для гиперболических аттракторов выполняется формула Каплана — Йорка, связывающая размерность с показателями Ляпунова, а через них — с энтропией.

Ограничения

Энтропия Колмогорова — Синая не является полным инвариантом: существуют неизоморфные системы с одинаковой энтропией. Например, сдвиги Бернулли с одинаковой энтропией, но разными наборами вероятностей, могут быть неизоморфны (хотя для некоторых случаев, например, для марковских сдвигов, энтропия может быть полным инвариантом).

Кроме того, энтропия не различает системы с нулевой энтропией, которые могут быть как периодическими, так и квазипериодическими или даже хаотическими, но с медленным разбеганием траекторий (например, перемежаемость).

Вариации и обобщения

Энтропия для потоков

Для потоков (непрерывного времени) энтропия определяется как энтропия отображения сдвига на единицу времени. Для потоков с дискретным временем энтропия совпадает с энтропией отображения за один шаг.

Энтропия для неавтономных систем

Для неавтономных динамических систем (с зависящими от времени уравнениями) существуют обобщения энтропии, такие как энтропия для случайных динамических систем и энтропия для систем с запаздыванием.

Энтропия для квантовых систем

В квантовой механике существует аналог — энтропия фон Неймана, которая для квантовых динамических систем может быть обобщена на квантовую энтропию Колмогорова — Синая (квантовая энтропия).

Источники

1. Колмогоров А. Н. «Новый метрический инвариант транзитивных динамических систем и автоморфизмов пространства Лебега» // Доклады АН СССР, 1958, том 119, № 5, с. 861–864.
2. Синай Я. Г. «О понятии энтропии динамической системы» // Доклады АН СССР, 1959, том 124, № 4, с. 768–771.
3. Каток А. Б., Хасселблат Б. «Введение в современную теорию динамических систем» — М.: Факториал, 1999.
4. Корнфельд И. П., Синай Я. Г., Фомин С. В. «Эргодическая теория» — М.: Наука, 1980.
5. Eckmann J.-P., Ruelle D. «Ergodic theory of chaos and strange attractors» // Reviews of Modern Physics, 1985, vol. 57, no. 3, pp. 617–656.