Теорема Шеннона о пропускной способности канала

Теорема Шеннона о пропускной способности канала (также известная как основная теорема теории информации для канала с шумом) — фундаментальное утверждение в теории информации, установленное Клодом Шенноном в 1948 году, которое определяет максимально возможную скорость передачи информации по каналу связи с заданными характеристиками при наличии шума, при которой возможна безошибочная передача данных.

История

Теорема была сформулирована и доказана американским математиком и инженером Клодом Шенноном в его основополагающей работе «Математическая теория связи» (A Mathematical Theory of Communication), опубликованной в 1948 году в журнале Bell System Technical Journal. Эта работа заложила основы теории информации как самостоятельной научной дисциплины.

До Шеннона считалось, что наличие шума в канале связи неизбежно приводит к ошибкам при передаче, и увеличение скорости передачи лишь усугубляет ситуацию. Шеннон показал, что существует принципиальная граница — пропускная способность канала, ниже которой возможна передача со сколь угодно малой вероятностью ошибки при использовании соответствующих методов кодирования.

Формулировка теоремы

Для дискретного канала без памяти

Пусть имеется дискретный канал связи с пропускной способностью \( C \) (измеряемой в битах в секунду или битах на символ), и источник информации, генерирующий данные со скоростью \( R \) (бит/с). Если \( R < C \), то существует такая система кодирования, которая позволяет передавать информацию по каналу со сколь угодно малой вероятностью ошибки. Если \( R > C \), то передача без ошибок невозможна, и вероятность ошибки стремится к единице при увеличении длины блока.

Для непрерывного канала с аддитивным белым гауссовским шумом (АБГШ)

Для канала с полосой пропускания \( B \) (Гц) и отношением сигнал/шум \( S/N \) (по мощности) пропускная способность вычисляется по формуле Шеннона — Хартли:

\[ C = B \log_2\left(1 + \frac{S}{N}\right) \]

где \( C \) — пропускная способность в бит/с.

Ключевые понятия

Пропускная способность канала

Пропускная способность — это максимальное количество информации, которое может быть передано по каналу в единицу времени с пренебрежимо малой вероятностью ошибки. Она зависит от физических характеристик канала: полосы пропускания, мощности сигнала и уровня шума.

Шум и его влияние

Шум — это случайные возмущения, накладывающиеся на передаваемый сигнал и искажающие его. В каналах связи наиболее распространён аддитивный белый гауссовский шум (АБГШ), который имеет равномерный спектр и гауссовское распределение амплитуды. Теорема Шеннона показывает, что шум не является непреодолимым препятствием, а лишь ограничивает скорость передачи.

Кодирование

Теорема утверждает существование оптимального кода, но не даёт конкретного способа его построения. На практике используются различные методы помехоустойчивого кодирования (например, коды Хэмминга, свёрточные коды, турбокоды, LDPC-коды), которые приближаются к шенноновскому пределу.

Значение и следствия

Теоретический предел

Теорема устанавливает фундаментальный предел скорости передачи данных, который невозможно превысить ни при каких условиях. Это является аналогом второго закона термодинамики в теории информации.

Практическое применение

• Цифровая связь: все современные системы связи (Wi-Fi, LTE, 5G, спутниковая связь) проектируются с учётом шенноновского предела.
• Сжатие данных: теорема связана с принципом сжатия без потерь (теорема Шеннона — Фано — Хаффмана) и сжатия с потерями.
• Криптография: понятие пропускной способности используется в теории секретной связи.
• Хранение данных: при проектировании жёстких дисков и флеш-памяти учитывается шенноновский предел для каналов с шумом.

Обратная теорема

Обратная теорема Шеннона утверждает, что если скорость передачи превышает пропускную способность, то вероятность ошибки не может быть сделана сколь угодно малой. Это означает, что любая попытка передать данные быстрее предела приведёт к неизбежным потерям информации.

Примеры

Канал с полосой 1 МГц и отношением сигнал/шум 30 дБ

Отношение сигнал/шум 30 дБ соответствует \( S/N = 1000 \). Пропускная способность: \[ C = 10^6 \cdot \log_2(1 + 1000) \approx 10^6 \cdot 9.97 \approx 9.97 \text{ Мбит/с} \]

Канал с полосой 20 МГц и отношением сигнал/шум 10 дБ

\( S/N = 10 \). Пропускная способность: \[ C = 20 \cdot 10^6 \cdot \log_2(11) \approx 20 \cdot 10^6 \cdot 3.46 \approx 69.2 \text{ Мбит/с} \]

Критика и ограничения

• Теорема предполагает идеальное кодирование с бесконечной длиной блока, что на практике недостижимо из-за задержек и вычислительных ограничений.
• Формула Шеннона — Хартли применима только для каналов с аддитивным белым гауссовским шумом. Для других типов шума (например, импульсного или цветного) требуются более сложные модели.
• Теорема не учитывает стоимость кодирования/декодирования и энергетические затраты.
• В реальных системах приближение к шенноновскому пределу требует сложных алгоритмов, что увеличивает задержки и потребление ресурсов.

Интересные факты

• Клод Шеннон опубликовал свою работу в возрасте 32 лет, и она сразу стала революционной. Однако в первые годы после публикации её значение не было полностью оценено.
• Предел Шеннона часто называют «границей Шеннона» или «шноновским пределом».
• Современные системы связи, такие как 5G NR, достигают эффективности, близкой к шенноновскому пределу (до 90–95% от теоретического максимума).
• Теорема Шеннона является одной из немногих в теории информации, которая имеет точную математическую формулировку и одновременно широкое практическое применение.

Источники

1. Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal.
2. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory. Wiley-Interscience.
3. Галлагер, Р. (1974). Теория информации и надёжная связь. Москва: Советское радио.
4. Proakis, J. G., & Salehi, M. (2008). Digital Communications. McGraw-Hill.