ХДФ — формат сжатия данных¶
ХДФ (англ. HDF, от Hierarchical Data Format, «иерархический формат данных») — семейство форматов файлов для хранения и обработки больших объёмов структурированных данных, разработанное Национальным центром суперкомпьютерных приложений (NCSA) при Иллинойсском университете в Урбане-Шампейне. ХДФ поддерживает иерархическую модель данных, в которой файл рассматривается как контейнер, содержащий группы, датасеты (массивы данных) и метаданные. Формат широко применяется в науке и инженерии — от астрономии и метеорологии до обработки изображений.
¶История
Разработка ХДФ началась в конце 1980-х годов в NCSA. Первая версия формата, HDF 1.0, была выпущена в 1988 году. Формат создавался как способ переносимого хранения научных данных между разными компьютерными платформами и программным обеспечением.
В 1996 году вышла версия HDF 4, которая получила широкое распространение в научном сообществе. В 2002 году был представлен HDF 5 — полностью переработанный формат, несовместимый с HDF 4 на уровне файлов, но сохранивший общую концепцию. HDF 5 стал основным и наиболее используемым вариантом формата.
В 2007 году HDF 5 был передан в ХДФ-группу (HDF Group), некоммерческую организацию, выделенную из NCSA для поддержки и развития формата. В 2021 году ХДФ-группа объявила о планах перевода HDF 5 в режим сопровождения без активной разработки новых функций, что вызвало дискуссии в научном сообществе о будущем формата.
¶Устройство и возможности
Файл HDF5 представляет собой виртуальную файловую систему внутри одного файла. Основные компоненты:
- Группы — аналоги каталогов, содержащие другие группы и датасеты.
- Датасеты — многомерные массивы данных с указанным типом элементов (целые, вещественные, строки и т. д.).
- Атрибуты — метаданные, прикреплённые к группам и датасетам.
- Ссылки — объекты, указывающие на другие группы и датасеты.
Формат поддерживает сжатие данных (алгоритмы gzip, szip, shuffle), что позволяет уменьшать объём файлов. Доступ к данным возможен выборочно — можно читать отдельные части датасета без загрузки всего массива в память. Это свойство особенно важно при работе с массивами, размером превышающими оперативную память компьютера.
HDF5 работает с использованием библиотеки, написанной на языке C, с привязками для Fortran, Java, Python, C++ и других языков. Стандартная библиотека Python называется h5py, для Fortran — HDF5 Fortran API.
¶Применение
ХДФ применяется в областях, где необходимо хранить и обрабатывать большие объёмы структурированных данных:
- Астрономия и астрофизика — телескоп Hubble Space Telescope использует формат ХДФ для хранения наблюдательных данных.
- Метеорология и климатология — данные спутниковых наблюдений и климатических моделей.
- Обработка изображений — формат поддерживается многими программами для работы с научными изображениями.
- Машинное обучение — ХДФ часто используется для хранения наборов данных и весов нейронных сетей.
- Ядерная физика — данные экспериментов на ускорителях.
В России ХДФ применяется в ряде научных проектов, включая обработку данных спутниковых наблюдений и вычислительные модели.
¶Альтернативы
Основными альтернативами ХДФ являются:
| Формат | Особенности |
|---|---|
| NetCDF | Ориентирован на массивы, популярен в метеорологии |
| Zarr | Облачное хранение, работает с сжатыми чанками |
| Parquet | Оптимизирован для табличных данных |
| FITS | Стандарт в астрономии |
В отличие от ХДФ, формат Zarr хранит данные в виде множества отдельных файлов, что удобно для работы в распределённых системах и облаках.
¶См. также
- Сжатие данных
- Формат файла
- Научные вычисления
¶Источники
- HDF Group. HDF5 Documentation.
- NCSA. Hierarchical Data Format (HDF).
- The HDF5 File Format Specification.
