Кодировка¶
Кодировка — это способ представления данных (текста, изображений, звука, программного кода) в виде последовательности кодов, пригодной для хранения, передачи и обработки в цифровых устройствах и информационных системах. В более узком смысле под кодировкой понимают набор правил, по которым символы языка (буквы, цифры, знаки препинания) отображаются на числовые значения, а также сам набор соответствий между символами и кодами. Кодировки применяются в компьютерах, телекоммуникации, базах данных, файлах и интерфейсах программного обеспечения.
¶Текстовые кодировки
Текстовая кодировка определяет, каким образом каждый символ текста превращается в последовательность битов. От выбора кодировки зависит, корректно ли будет отображаться текст на разных устройствах и в разных программах.
¶ASCII
Одной из первых распространённых кодировок стал ASCII (American Standard Code for Information Interchange), принятый в 1963 году. Он использует 7 бит на символ и содержит 128 позиций: латинские буквы, цифры, знаки препинания, управляющие символы. ASCII стал фундаментом для большинства последующих кодировок, включая UTF-8.
¶Кодировки расширения
Для поддержки национальных алфавитов разрабатывались расширенные кодировки на 8 бит (128 позиций), где старшие 128 кодов отводились под национальные символы. Примеры:
- KOI8-R — кодировка кириллицы, разработанная в СССР в 1993 году, широко использовавшаяся в русскоязычном интернете;
- Windows-1251 — кодировка кириллицы для Windows, разработанная Microsoft в 1992 году;
- ISO-8859-5 — стандартная кодировка кириллицы из семейства ISO 8859;
- MacCyrillic — кодировка кириллицы для операционных систем Macintosh.
Основная проблема 8-битных кодировок заключалась в том, что один и тот же байт мог означать разные символы в разных кодировках, что приводило к «кракозябрам» при открытии файла, созданного в другой кодировке.
¶Юникод
Для решения проблемы множества несовместимых кодировок был создан стандарт Юникод (Unicode), основная версия которого вышла в 1991 году. Юникод назначает уникальный числовой код (кодовую точку) каждому символу всех письменностей мира — от латиницы и кириллицы до иероглифов, эмодзи и древних письменностей. На 2024 год стандарт охватывает более 150 000 символов.
Сам по себе Юникод — это набор кодовых точек, а не кодировка. Для хранения и передачи текста в формате Юникода используются конкретные кодировки, из которых наиболее распространены:
- UTF-8 — переменной длины, от 1 до 4 байт на символ, обратно совместима с ASCII. Является доминирующей кодировкой в интернете: по данным W3Techs, более 98% веб-сайтов используют UTF-8;
- UTF-16 — используется в системах Windows и Java, длина символа — 2 или 4 байта;
- UTF-32 — фиксированная длина, 4 байта на символ, применяется редко из-за неэкономичности.
UTF-8 была создана в 1992 году Кеном Томпсоном и Робом Пайком.
¶Кодировки в информатике
¶Кодирование данных
Помимо текста, кодированию подвергаются другие виды данных. Изображения кодируются в форматах BMP, JPEG, PNG, GIF; звук — в WAV, MP3, FLAC. Эти форматы определяют, каким образом пиксели или звуковые волны представляются в виде числовых данных.
¶Кодирование в теории информации
В теории информации и теории кодирования под кодированием понимают процесс преобразования сообщения в код с определёнными свойствами — например, с избыточностью для обнаружения и исправления ошибок (коды Хэмминга, Рида — Соломона, свёрточные коды). Такие методы применяются в телекоммуникации, спутниковых связях, штрихкодах и QR-кодах.
¶Кодировки в программировании
В программировании кодировка может означать набор допустимых символов в идентификаторах (именах переменных, функций, классов). В разных языках программирования разрешены разные наборы символов: в C и Java допустимы латинские буквы, цифры и подчёркивание, в Python 3 — также символы Юникода.
¶Проблема «кракозяб»
До массового перехода на UTF-8 отсутствие единой кодировки приводило к ошибкам отображения текста, известным как «кракозябры» или «мохибайты». Текст, сохранённый в одной кодировке, открывался в другой, и каждый байт интерпретировался неверно. Современные текстовые редакторы и браузеры автоматически определяют кодировку файла или используют метатеги и HTTP-заголовки (например, Content-Type: text/html; charset=utf-8).
¶Значение
Единая система кодирования текста — Юникод и UTF-8 — стала одним из фундаментальных условий развития глобального интернета, позволившей программам и устройствам из разных стран корректно обрабатывать текст на любом языке без предварительного согласования кодировок.
¶Источники
- Юникод: стандарты и спецификации (unicode.org)
- W3Techs: статистика использования кодировок на веб-сайтах
- ГОСТ Р ИСО/МЭК 646 — кодировка символов
- Кнут Д. «Основы программирования» — главы о кодировании информации
