LZMA2

LZMA2 — это алгоритм сжатия данных без потерь, являющийся расширенной версией алгоритма LZMA (Lempel-Ziv-Markov chain algorithm). Он был разработан Игорем Павловым и впервые представлен в составе архиватора 7-Zip (версия 4.58 beta, 2008 год). LZMA2 предназначен для повышения степени сжатия и эффективности обработки данных, особенно в многопоточных средах и при работе с большими объёмами информации, за счёт улучшенного управления словарём и поддержки сжатия отдельных блоков.

История и происхождение

Алгоритм LZMA, созданный Игорем Павловым в 1998 году, лёг в основу формата 7z и архиватора 7-Zip. Он обеспечивал высокую степень сжатия, но имел ограничения при работе с большими объёмами данных, особенно в многопоточных сценариях. К 2008 году, с ростом объёмов обрабатываемой информации и распространением многоядерных процессоров, возникла потребность в модификации, способной эффективно использовать параллельные вычисления.

LZMA2 был представлен как обновление, сохраняющее совместимость с базовым алгоритмом LZMA, но добавляющее возможность разбиения данных на независимые блоки. Это позволило сжимать и распаковывать разные части потока параллельно, а также улучшило обработку данных с низкой сжимаемостью (например, уже сжатых или зашифрованных файлов). Первая реализация появилась в 7-Zip 4.58 beta, а затем алгоритм был включён в стандарт формата 7z (версия 0.4).

Устройство и принцип работы

LZMA2 не является полностью самостоятельным алгоритмом, а представляет собой надстройку над LZMA. Он использует тот же базовый механизм: LZ77 (словарное сжатие) с последующим кодированием по методу Маркова (арифметическое кодирование с контекстным моделированием). Однако в LZMA2 добавлены ключевые изменения:

Блочная структура

В LZMA2 данные делятся на независимые блоки. Каждый блок может быть сжат либо с использованием LZMA, либо без сжатия (в режиме «stored»). Размер блока задаётся пользователем или выбирается автоматически. Это позволяет:

• Параллельная обработка: разные блоки можно сжимать и распаковывать одновременно на разных ядрах процессора.
• Устойчивость к ошибкам: повреждение одного блока не делает нечитаемым весь архив.
• Оптимизация для несжимаемых данных: если блок содержит данные, которые не сжимаются (например, уже сжатые файлы), он может быть сохранён без обработки, что экономит время и ресурсы.

Управление словарём

В LZMA2 размер словаря (буфера, в котором хранятся предыдущие данные для поиска повторений) может быть изменён для каждого блока независимо. В классическом LZMA словарь фиксирован для всего потока. LZMA2 позволяет использовать меньший словарь для блоков с плохой сжимаемостью и больший — для блоков с хорошей, что повышает общую эффективность.

Поддержка многопоточности

Благодаря блочной структуре, LZMA2 изначально спроектирован для работы в многопоточных средах. В архиваторах (например, 7-Zip, WinRAR, p7zip) сжатие LZMA2 может выполняться в несколько потоков, что значительно ускоряет процесс на многоядерных процессорах. Распаковка также может быть распараллелена, хотя на практике это используется реже.

Характеристики и сравнение с LZMA

LZMA2 сохраняет основные преимущества LZMA: высокую степень сжатия (часто превосходящую Deflate, bzip2 и даже PPMd на некоторых типах данных) и низкие требования к памяти при распаковке (обычно несколько мегабайт). Однако есть и отличия:

На практике, для большинства типов данных (тексты, исполняемые файлы, изображения) LZMA2 даёт сжатие, сопоставимое с LZMA, но при этом позволяет быстрее обрабатывать большие объёмы данных. Для уже сжатых файлов (например, JPEG, MP3, ZIP) LZMA2 может быть эффективнее, так как такие блоки просто копируются без повторной обработки.

Применение

LZMA2 используется в основном в архиваторах и системах сжатия, где важна высокая степень сжатия и поддержка больших файлов. Основные области применения:

Архиваторы

• 7-Zip: основной алгоритм для формата 7z (версия 0.4). При выборе метода сжатия «LZMA2» в 7-Zip пользователь может задать размер словаря (до 4 ГБ в 64-битных версиях) и количество потоков.
• WinRAR: поддерживает LZMA2 для формата 7z, а также использует собственный алгоритм RAR (который также основан на LZ-методах, но не является LZMA2).
• p7zip: порт 7-Zip для Unix-подобных систем, также поддерживает LZMA2.
• PeaZip: графическая оболочка, использующая 7-Zip и LZMA2.

Форматы и стандарты

• Формат 7z: LZMA2 является одним из обязательных методов сжатия (наряду с LZMA, PPMd, BZip2 и Deflate).
• XZ Utils: утилита сжатия для Unix/Linux (xz), использующая формат XZ, который основан на LZMA2. Формат XZ (с расширением .xz) широко применяется в дистрибутивах Linux для сжатия пакетов, образов ISO и других данных.
• LZMA SDK: библиотека с открытым исходным кодом, реализующая LZMA и LZMA2, используется в различных проектах, включая встраиваемые системы и игры.

Встраиваемые системы и прошивки

Благодаря низким требованиям к памяти при распаковке, LZMA2 применяется в прошивках устройств (например, маршрутизаторов, микроконтроллеров) для сжатия образов. Например, ядро Linux и загрузчики (U-Boot) могут распаковывать образы, сжатые LZMA2.

Критика и ограничения

Несмотря на преимущества, LZMA2 имеет и недостатки:

• Скорость сжатия: в однопоточном режиме LZMA2 может быть медленнее, чем LZMA, из-за накладных расходов на управление блоками.
• Потребление памяти при сжатии: для достижения максимальной степени сжатия требуется большой словарь (до 4 ГБ), что может быть проблемой на системах с ограниченной оперативной памятью.
• Совместимость: старые версии архиваторов (до 2008 года) не поддерживают LZMA2. Для обратной совместимости в формате 7z можно использовать LZMA.
• Алгоритмическая сложность: LZMA2 не является самым быстрым алгоритмом сжатия; для задач, где скорость важнее степени сжатия, часто используют LZ4, Zstandard или Deflate.

Интересные факты

• Название «LZMA2» не является официальным стандартом, а скорее торговой маркой, используемой Игорем Павловым и проектом 7-Zip.
• Формат XZ, основанный на LZMA2, был принят как стандарт для сжатия пакетов в дистрибутивах Linux (например, Debian, Ubuntu, Fedora) начиная с 2010-х годов.
• Алгоритм LZMA2 используется в некоторых игровых движках для сжатия игровых ресурсов (например, в Unreal Engine 4 и 5).

Источники

• 7-Zip: официальная документация (история версий, описание формата 7z).
• LZMA SDK: исходный код и техническая документация (Игорь Павлов).
• Формат XZ: спецификация (Tukaani Project).
• Сравнение алгоритмов сжатия: тесты и обзоры (например, на сайте Compression.ru).
• Статья «LZMA» в Википедии (русскоязычная версия).