Энтропия — мера неупорядоченности¶
Энтропия — термодинамическая функция состояния системы, характеризующая степень беспорядка или неопределённости в распределении энергии между частицами. В классической термодинамике энтропия обозначается символом $S$ и измеряется в джоулях на кельвин (Дж/К). Понятие было введено немецким физиком Рудольфом Клаузиусом в 1865 году; термин образован от греческого слова entropia — «превращение», «изменение».
¶Термодинамическое определение
В термодинамике энтропия определяется через количество теплоты $dQ$, передаваемое системе при обратимом процессе, и абсолютную температуру $T$:
$$dS = \frac{dQ_{\text{обрат}}}{T}$$
Для изоэнтропного (адиабатического обратимого) процесса энтропия не меняется. Второй закон термодинамики утверждает, что в замкнутой системе энтропия не убывает: $dS \geq 0$. Равенство достигается только для обратимых процессов, неравенство — для необратимых (реальных). Это положение иногда формулируют как «энтропия Вселенной стремится к максимуму».
¶Статистическая механика
Микроскопическое толкование энтропии дал Людвиг Больцман в 1877 году. Согласно его формуле:
$$S = k_B \ln W$$
где $k_B$ — постоянная Больцмана ($1{,}38 \times 10^{-23}$ Дж/К), а $W$ — число микроскопических состояний (микросостояний), соответствующих данному макроскопическому состоянию системы. Чем больше число доступных микросостояний, тем выше энтропия. Эта формула высечена на надгробии Больцмана в Вене.
В статистической механике энтропия также определяется через распределение вероятностей $p_i$ микросостояний (формула Гиббса):
$$S = -k_B \sum_i p_i \ln p_i$$
¶Информационная энтропия
В 1948 году Клод Шеннон, работая над теорией информации, ввёл понятие энтропии источника сообщений. Энтропия Шеннона измеряет среднее количество информации, приходящееся на один символ, и определяется аналогичной формулой:
$$H = -\sum_i p_i \log_2 p_i$$
Энтропия Шеннона измеряется в битах. Максимальное значение достигается при равновероятных событиях — именно такой источник несёт максимум информации. Понятие энтропии оказалось универсальным и применяется в теории кодирования, кибернетике, лингвистике и анализе данных.
¶Проявления и примеры
- Термодинамика. При смешивании двух газов общая энтропия растёт, так как увеличивается число доступных микросостояний. При замерзании воды энтропия уменьшается, но энтропия окружающей среды возрастает сильнее.
- Астрономия. Энтропия чёрных дыр пропорциональна площади их горизонта событий (формула Бекенштейна — Хокинга), что привело к «энтропийной парадоксу» и развитию теории голографии.
- Биология. Живые организмы поддерживают низкую внутреннюю энтропию за счёт притока энергии извне, что согласуется со вторым законом: локальное упорядочение компенсируется ростом энтропии окружающей среды.
- Космология. Проблема «тёплой смерти» Вселенной связана с тем, что энтропия космоса необратимо растёт, приближая систему к равновесному состоянию.
¶Историческая справка
| Год | Событие |
|---|---|
| 1824 | Сади Карно вводит понятие «количество теплоты» как основы цикла |
| 1865 | Рудольф Клаузиус вводит термин «энтропия» |
| 1877 | Людвиг Больцман формулирует статистическую интерпретацию |
| 1923 | Джозеф Уиллард Гиббс обобщает определение |
| 1948 | Клод Шеннон применяет энтропию в теории информации |
¶Значение понятия
Энтропия является одним из центральных понятий современной физики. Она связана с необратимостью процессов, определяет направление естественных изменений, лежит в основе понятия температуры и объясняет, почему некоторые процессы в природе необратимы. Понятие энтропии применяется в химии (энтропия реакции), материаловедении, экономике и теории вероятностей.
¶Источники
- Клаузиус Р. «О движущей силе теплоты и законах, которые можно извлечь из неё для теории теплоты» (1850)
- Больцман Л. «Лекции по газовой теории» (1896—1898)
- Ландау Л. Д., Лифшиц Е. М. «Статистическая физика»
- Шеннон К. «Математическая теория связи» (1948)
- Пригожин И., Стенгерс И. «Порядок из хаоса»
