Кодирование: процесс преобразования информации¶
Кодирование — это процесс преобразования информации в форму, удобную для передачи, хранения или обработки, при котором исходные данные заменяются набором символов, сигналов или кодов по определённым правилам. Кодирование лежит в основе информатики, связи, хранения данных и программирования: без него невозможно ни хранение файлов на диске, ни передача данных по каналам связи, ни выполнение программ на вычислительных машинах.
¶Общие принципы
Кодирование всегда подразумевает наличие алфавита (набора допустимых символов), правил записи и обратимого процесса — декодирования. Ключевые свойства хорошего кода:
- Однозначность — одному исходному сообщению соответствует однозначный закодированный набор;
- Обратимость — из закодированного сообщения можно восстановить исходное;
- Эффективность — код должен занимать минимум ресурсов (памяти, полосы пропускания канала);
- Устойчивость к ошибкам — способность обнаруживать и исправлять искажения, возникающие при передаче или хранении.
¶Кодирование текста
Человеческий текст кодируется с помощью таблиц символов. Каждому символу присваивается числовой код, который затем хранится в виде битов. Основные стандарты:
| Стандарт | Год | Кодировка символов |
|---|---|---|
| ASCII | 1963 | 7 бит, 128 символов |
| KOI-8 | 1993 | 8 бит, кириллица и латиница |
| Windows-1251 | 1996 | 8 бит, кириллица |
| Unicode (UTF-8) | 1992–1998 | переменная длина, до 4 байт |
В России долгое время использовались KOI-8 и Windows-1251, но постепенно UTF-8 стал основным стандартом, поскольку поддерживает все языки мира.
¶Кодирование чисел и данных
Числа кодируются в системах счисления. В компьютерах используется двоичная система (основание 2), где каждая цифра — бит — принимает значение 0 или 1. Отрицательные числа чаще всего записываются в дополнительном коде, дробные — в формате с плавающей точкой (стандарт IEEE 754).
¶Кодирование в теории информации
Классическая теория информации, созданная Клодом Шенноном в 1948 году, рассматривает кодирование как способ передачи сообщений по каналу с помехами. Шеннон показал, что существует предельная скорость, с которой данные можно передавать без ошибок — так называемая пропускная способность канала.
Важные понятия теории кодирования:
- Энтропия — мера неопределённости информации в сообщении;
- Код Хаффмана — алгоритм сжатия без потерь, основанный на частоте появления символов;
- Код Рида — Соломона — класс кодов, исправляющих ошибки, применяемый в дисках, QR-кодах и цифровом телевидении;
- Свёрточные и турбо-коды — используются в мобильной связи (3G, 4G, 5G).
¶Кодирование в программировании
В программировании кодирование имеет несколько значений:
- Представление данных — как числа, строки и другие типы хранятся в памяти (кодировка строк, порядок байтов big-endian и little-endian).
- Сжатие данных — алгоритмы уменьшения объёма информации (LZ77, DEFLATE, JPEG для изображений, MP3 для звука).
- Шифрование — преобразование данных для защиты от несанкционированного доступа (AES, RSA).
¶Кодирование в передаче данных
При передаче данных по каналам связи применяются методы, защищающие сигнал от помех:
- Модуляция — перенос цифрового сигнала на несущую частоту (AM, FM, QAM);
- Кодирование с избыточностью — добавление контрольных бит для обнаружения ошибок (контрольные суммы, CRC);
- Канальное кодирование — коррекция ошибок в реальном времени.
¶Кодирование в биологии
В живых организмах генетическая информация кодируется последовательностью нуклеотидов — аденина (A), тимина (T), гуанина (G) и цитозина (C). Триплетный код (кодон) из трёх нуклеотидов соответствует одной аминокислоте. Этот механизм был открыт в 1960-х годах и стал основой молекулярной биологии.
¶Кодирование в человеко-компьютерном взаимодействии
В интерфейсах кодирование проявляется в виде жестов, штрих-кодов, QR-кодов и биометрических данных. Штрих-коды EAN-13, используемые в торговле, кодируют 13 цифр в виде чёрных и белых полос разной толщины. QR-код, изобретённый в 1994 году в Японии, хранит до 7089 цифр или 4296 буквенно-цифровых символов.
¶Значение
Кодирование — одна из фундаментальных операций информатики. От качества алгоритмов кодирования зависит скорость передачи данных, надёжность связи, объём хранимой информации и безопасность цифровых систем. Развитие кодирования напрямую связано с прогрессом вычислительной техники и телекоммуникаций.
Источники:
- Шеннон К. «Математическая теория связи» (1948)
- Хаффман Д. «Метод сжатия данных» (1952)
- Седжвик Р., Уэйн К. «Алгоритмы» (4-е издание)
- ГОСТ Р 34.10-2018 «Информационная технология. Криптографическая защита информации»
- IEEE 754-2008 «Стандарт для арифметики с плавающей точкой»