Теория потенциальной помехоустойчивости

Теория потенциальной помехоустойчивости — это раздел теории информации и теории связи, изучающий предельные возможности систем передачи информации по каналам с помехами. Она устанавливает теоретические границы, в рамках которых возможна безошибочная или сколь угодно надёжная передача данных при заданном отношении сигнал/шум, и определяет условия, при которых такая передача принципиально достижима. Основоположником теории считается американский инженер и математик Клод Шеннон, опубликовавший в 1948 году фундаментальную работу «Математическая теория связи».

История возникновения

Предпосылки

До середины XX века проблема помехоустойчивости решалась в основном эмпирически: инженеры увеличивали мощность передатчиков, применяли простые методы повторения или использовали аналоговые методы фильтрации. Однако с развитием радиосвязи, телефонии и вычислительной техники стало очевидно, что существуют фундаментальные ограничения, не зависящие от технической реализации.

Вклад Клода Шеннона

В 1948 году Клод Шеннон, работая в Bell Labs, опубликовал статью, в которой впервые сформулировал понятие пропускной способности канала связи и доказал две ключевые теоремы:

• Теорема кодирования для канала с помехами (первая теорема Шеннона): если скорость передачи информации не превышает пропускной способности канала, то существует такой код, который позволяет передавать информацию с произвольно малой вероятностью ошибки.
• Обратная теорема: если скорость передачи превышает пропускную способность, то вероятность ошибки стремится к единице, и безошибочная передача невозможна.

Эти результаты заложили основу теории потенциальной помехоустойчивости, которая получила дальнейшее развитие в работах советских учёных, таких как Владимир Котельников (теория потенциальной помехоустойчивости приёма сигналов) и Александр Харкевич.

Основные понятия

Пропускная способность канала

Пропускная способность \( C \) — это максимально возможная скорость передачи информации по каналу с заданными характеристиками, измеряемая в битах в секунду. Для канала с аддитивным белым гауссовским шумом (АБГШ) она вычисляется по формуле Шеннона — Хартли: \[ C = B \log_2\left(1 + \frac{S}{N}\right) \] где \( B \) — полоса пропускания канала (в герцах), \( S \) — мощность сигнала, \( N \) — мощность шума. Эта формула показывает, что для увеличения пропускной способности можно расширять полосу частот или увеличивать отношение сигнал/шум.

Отношение сигнал/шум

Отношение сигнал/шум (SNR, signal-to-noise ratio) — безразмерная величина, характеризующая уровень полезного сигнала относительно уровня шума. Обычно выражается в децибелах (дБ). Чем выше SNR, тем больше потенциальная помехоустойчивость системы.

Энергетический выигрыш кодирования

Энергетический выигрыш кодирования (ЭВК) — это разница в отношении сигнал/шум (в дБ) между системой без кодирования и системой с помехоустойчивым кодированием, необходимая для достижения одинаковой вероятности ошибки. ЭВК показывает, насколько эффективно код повышает помехоустойчивость.

Теоремы Шеннона

Прямая теорема кодирования

Прямая теорема утверждает, что для любого канала с помехами существует такой код, который при скорости передачи \( R < C \) позволяет достичь сколь угодно малой вероятности ошибки. При этом длина кодовых блоков должна стремиться к бесконечности, а сложность декодирования может быть неограниченной. Теорема не указывает, как построить такой код, а лишь доказывает его существование.

Обратная теорема кодирования

Обратная теорема гласит: если скорость передачи \( R > C \), то вероятность ошибки не может быть меньше некоторой положительной константы, независимо от используемого кода. Это означает, что при превышении пропускной способности безошибочная передача принципиально невозможна.

Классификация методов помехоустойчивого кодирования

Блочные коды

Блочные коды делят информацию на блоки фиксированной длины и добавляют к каждому блоку избыточные символы. Примеры:

• Коды Хэмминга — исправляют одиночные ошибки.
• Коды Рида — Соломона — эффективны для исправления пакетов ошибок.
• Коды Боуза — Чоудхури — Хоквингема (БЧХ) — обобщение кодов Хэмминга.

Свёрточные коды

Свёрточные коды работают с непрерывным потоком данных, используя регистры сдвига и свёртку информационной последовательности с порождающими полиномами. Они широко применяются в спутниковой связи и мобильных сетях.

Турбокоды

Турбокоды, предложенные в 1993 году, представляют собой параллельное или последовательное соединение двух свёрточных кодов с итеративным декодированием. Они приближаются к пределу Шеннона (теоретической границе пропускной способности) с разницей менее 1 дБ.

Коды с малой плотностью проверок на чётность (LDPC)

LDPC-коды, изобретённые Робертом Галлагером в 1960 году, но получившие широкое распространение лишь в 1990-х, также близки к пределу Шеннона. Они используются в стандартах Wi-Fi (802.11n/ac/ax), DVB-T2, 5G NR.

Применение

Спутниковая и космическая связь

В условиях ограниченной мощности передатчика и больших расстояний помехоустойчивое кодирование позволяет снизить вероятность ошибки до \(10^{-6}\) и ниже. Например, в системах связи с межпланетными зондами используются коды Рида — Соломона и свёрточные коды.

Мобильная связь

Стандарты 4G LTE и 5G NR применяют турбокоды и LDPC-коды для обеспечения надёжной передачи данных в условиях многолучевого распространения и интерференции.

Цифровое телевидение

Стандарты DVB-T2 и DVB-S2 используют LDPC-коды и коды БЧХ для достижения высокой помехоустойчивости при ограниченной полосе частот.

Хранение данных

В жёстких дисках, SSD и оптических носителях применяются коды Рида — Соломона и LDPC-коды для исправления ошибок, возникающих из-за дефектов поверхности или ухудшения качества носителя.

Предел Шеннона и практические достижения

Предел Шеннона

Предел Шеннона — это минимальное отношение сигнал/шум, при котором возможна безошибочная передача с заданной скоростью. Для канала с АБГШ и бинарной модуляцией предел составляет около 0,187 дБ при скорости 1/2 (один информационный бит на два передаваемых символа).

Современные достижения

Современные коды (турбокоды, LDPC) позволяют приблизиться к пределу Шеннона на расстояние менее 0,5 дБ. Однако полное достижение предела невозможно из-за конечной длины кодовых блоков и вычислительных ограничений. В 2009 году компания Qualcomm продемонстрировала систему, работающую на расстоянии 0,15 дБ от предела Шеннона при использовании LDPC-кодов длиной 64 800 бит.

Критика и ограничения

Теоретический характер

Теорема Шеннона доказывает существование кодов, но не даёт конструктивных методов их построения. На практике для достижения близких к пределу результатов требуются коды большой длины, что увеличивает задержку и сложность декодирования.

Зависимость от модели канала

Классическая теория предполагает стационарные каналы с известными статистическими характеристиками шума. В реальных условиях (например, при импульсных помехах или замираниях) эффективность кодирования может снижаться.

Компромисс между помехоустойчивостью и скоростью

Увеличение избыточности кода повышает помехоустойчивость, но снижает скорость передачи полезной информации. Выбор оптимального кода всегда является компромиссом.

Интересные факты

• Клод Шеннон в своей работе 1948 года использовал термин «энтропия» по совету Джона фон Неймана, который сказал: «Никто не знает, что такое энтропия, поэтому в споре вы всегда будете иметь преимущество».
• Первый практически применимый помехоустойчивый код — код Хэмминга — был изобретён в 1950 году Ричардом Хэммингом, работавшим над проблемой сбоев в релейных вычислительных машинах Bell Labs.
• В 1993 году открытие турбокодов произвело революцию в теории кодирования, так как впервые позволило приблизиться к пределу Шеннона на практике.

Источники

• Шеннон К. Математическая теория связи // Работы по теории информации и кибернетике. — М.: Иностранная литература, 1963.
• Котельников В. А. Теория потенциальной помехоустойчивости. — М.: Госэнергоиздат, 1956.
• Харкевич А. А. Борьба с помехами. — М.: Наука, 1965.
• Берлекэмп Э. Теория кодирования. — М.: Мир, 1971.
• Галлагер Р. Теория информации и надёжная связь. — М.: Советское радио, 1974.