Теорема Шеннона — Хартли

Теорема Шеннона — Хартли (также известная как закон Шеннона — Хартли) — фундаментальное положение теории информации, устанавливающее верхнюю границу скорости передачи данных по каналу связи с заданными характеристиками при наличии аддитивного белого гауссовского шума (АБГШ). Теорема определяет максимально возможную безошибочную скорость передачи информации (пропускную способность канала) через его полосу пропускания и отношение сигнал/шум.

Формулировка

Математически теорема выражается формулой:

\[ C = B \log_2 \left(1 + \frac{S}{N}\right) \]

где:

• C — пропускная способность канала (бит/с);
• B — полоса пропускания канала (Гц);
• S — средняя мощность полезного сигнала (Вт);
• N — средняя мощность шума в полосе канала (Вт);
• S/N — отношение сигнал/шум (безразмерная величина, часто выражается в децибелах).

Формула показывает, что пропускная способность линейно растёт с увеличением полосы пропускания и логарифмически — с ростом отношения сигнал/шум. Теорема утверждает, что при скорости передачи, меньшей или равной C, существует код, обеспечивающий сколь угодно малую вероятность ошибки. Если скорость превышает C, безошибочная передача принципиально невозможна.

История

Предпосылки

В 1920-х годах инженер AT&T Гарри Найквист (Harry Nyquist) исследовал ограничения скорости передачи импульсов по телеграфным линиям. В 1924 году он опубликовал работу, в которой показал, что максимальная скорость передачи независимых импульсов в канале с полосой пропускания B не может превышать 2B импульсов в секунду (критерий Найквиста). Это соотношение, однако, не учитывало влияние шума.

В 1928 году Ральф Хартли (Ralph Hartley), также работавший в Bell Labs, обобщил результаты Найквиста и предложил формулу для максимального количества информации, которое можно передать по каналу с полосой B за время T: \( I = B T \log_2 (1 + m) \), где m — число различимых уровней сигнала. Хартли интуитивно связал пропускную способность с полосой и динамическим диапазоном, но не дал строгого доказательства и не учёл статистическую природу шума.

Работа Клода Шеннона

В 1948 году Клод Шеннон (Claude Shannon) опубликовал фундаментальную статью «Математическая теория связи» (A Mathematical Theory of Communication), в которой заложил основы теории информации. В рамках этой работы он строго доказал теорему о пропускной способности канала с шумом, используя вероятностные модели и понятие энтропии. Шеннон показал, что шум ограничивает скорость передачи не просто как помеха, а как фундаментальный физический предел, который можно преодолеть только увеличением полосы или мощности сигнала.

Формула Шеннона — Хартли стала частным случаем более общей теоремы Шеннона для канала с АБГШ. Название «теорема Шеннона — Хартли» закрепилось в честь обоих учёных, признавая вклад Хартли в интуитивную постановку задачи.

Физический смысл

Теорема описывает компромисс между тремя ключевыми параметрами системы связи:

• Полоса пропускания (B) — определяет, сколько частотных ресурсов доступно для передачи. Увеличение B позволяет передавать больше символов в секунду, но также увеличивает мощность шума (N = N₀B, где N₀ — спектральная плотность мощности шума).
• Отношение сигнал/шум (S/N) — характеризует качество канала. Чем выше S/N, тем больше информации можно закодировать в каждом символе.
• Пропускная способность (C) — результирующий предел скорости.

На практике теорема означает, что для достижения высокой скорости передачи необходимо либо расширять полосу (например, в системах с широкополосными сигналами), либо увеличивать мощность передатчика, либо применять сложные методы кодирования, приближающиеся к теоретическому пределу.

Следствия и интерпретации

Предел Шеннона

Из формулы следует, что при фиксированной полосе B пропускная способность стремится к бесконечности при S/N → ∞. Однако на практике мощность сигнала ограничена, и для реальных каналов C конечно. Если же полоса неограниченна, то при B → ∞ пропускная способность стремится к пределу:

\[ C_{\infty} = \lim_{B \to \infty} B \log_2 \left(1 + \frac{S}{N_0 B}\right) = \frac{S}{N_0} \log_2 e \approx 1.44 \frac{S}{N_0} \]

Этот предел показывает, что при бесконечной полосе скорость передачи ограничена только мощностью сигнала и спектральной плотностью шума.

Энергетическая эффективность

Теорема позволяет определить минимальное отношение сигнал/шум, необходимое для передачи одного бита информации. Для канала с бесконечной полосой минимальное значение E_b/N₀ (энергия бита на спектральную плотность шума) составляет ln(2) ≈ -1.59 дБ. Это значение называется пределом Шеннона для энергетической эффективности. Реальные системы кодирования (например, турбо-коды, LDPC-коды) приближаются к этому пределу с точностью до долей децибела.

Спектральная эффективность

Спектральная эффективность η = C/B (бит/с/Гц) показывает, сколько бит можно передать в единице полосы. Из формулы:

\[ \eta = \log_2 \left(1 + \frac{S}{N}\right) \]

При S/N = 1 (0 дБ) η = 1 бит/с/Гц, при S/N = 15 (около 11.8 дБ) η = 4 бит/с/Гц. Современные системы связи (например, 4G LTE, 5G NR) достигают спектральной эффективности до 10–15 бит/с/Гц в благоприятных условиях.

Применение

Теорема Шеннона — Хартли является теоретической основой для проектирования практически всех современных систем цифровой связи:

• Беспроводная связь: Wi-Fi (IEEE 802.11), сотовые сети (3G, 4G, 5G), спутниковая связь. Теорема используется для оценки максимальной скорости в заданном частотном диапазоне.
• Проводная связь: Ethernet, DSL, оптоволоконные линии. В витых парах и коаксиальных кабелях полоса и отношение сигнал/шум ограничены длиной линии и помехами.
• Цифровое телевидение: стандарты DVB-T, DVB-S, ATSC используют кодирование, приближающееся к пределу Шеннона.
• Космическая связь: передача данных с межпланетных зондов (например, Mars Reconnaissance Orbiter) оптимизируется с учётом малой мощности сигнала и огромных расстояний.
• Запись данных: жёсткие диски, SSD, оптические носители — теорема задаёт предел плотности записи при заданном уровне шума.

Пример расчёта

Рассмотрим канал с полосой 20 МГц и отношением сигнал/шум 20 дБ (S/N = 100). Пропускная способность:

\[ C = 20 \times 10^6 \log_2 (1 + 100) = 20 \times 10^6 \times \log_2 (101) \approx 20 \times 10^6 \times 6.66 \approx 133.2 \text{ Мбит/с} \]

Это означает, что безошибочная передача в таком канале возможна при скорости не выше 133.2 Мбит/с. Реальные системы (например, 4G LTE) в аналогичных условиях достигают 100–150 Мбит/с, что близко к теоретическому пределу.

Критика и ограничения

Теорема Шеннона — Хартли является идеализированной моделью. На практике существуют следующие ограничения:

• Негауссовский шум: в реальных каналах шум может быть импульсным, частотно-зависимым или коррелированным, что снижает пропускную способность по сравнению с формулой.
• Ограничения кодирования: теорема не указывает, как построить код, достигающий предела. Реальные коды (турбо-коды, LDPC) приближаются к нему, но требуют вычислительных ресурсов и задержек.
• Межсимвольная интерференция: в каналах с памятью (например, многолучевое распространение) формула не учитывает временные искажения, что требует дополнительной коррекции (эквалайзеры, OFDM).
• Конечная длина блока: для практических систем с конечной длиной кодового блока вероятность ошибки не может быть сделана сколь угодно малой при скорости, равной C.

Интересные факты

• Клод Шеннон опубликовал свою работу в 1948 году, но формула, связывающая полосу и отношение сигнал/шум, была известна инженерам ещё в 1930-х годах как «закон Хартли». Шеннон дал ей строгое математическое обоснование.
• Теорема Шеннона — Хартли является частным случаем более общей теоремы Шеннона о пропускной способности канала с шумом, которая применима к любым стационарным каналам.
• В 2010-х годах достижение предела Шеннона стало стандартом для оценки эффективности новых методов модуляции и кодирования. Например, в стандарте 5G NR используется кодирование LDPC, которое работает на расстоянии менее 0.5 дБ от теоретического предела.

Источники

• Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379–423.
• Nyquist, H. (1924). Certain Factors Affecting Telegraph Speed. Bell System Technical Journal, 3(2), 324–346.
• Hartley, R. V. L. (1928). Transmission of Information. Bell System Technical Journal, 7(3), 535–563.
• Proakis, J. G., & Salehi, M. (2008). Digital Communications (5th ed.). McGraw-Hill.
• Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience.