Открыть сервисСервис

ХДФ — формат сжатия данных

ХДФ (англ. HDF, от Hierarchical Data Format, «иерархический формат данных») — семейство форматов файлов для хранения и обработки больших объёмов структурированных данных, разработанное Национальным центром суперкомпьютерных приложений (NCSA) при Иллинойсском университете в Урбане-Шампейне. ХДФ поддерживает иерархическую модель данных, в которой файл рассматривается как контейнер, содержащий группы, датасеты (массивы данных) и метаданные. Формат широко применяется в науке и инженерии — от астрономии и метеорологии до обработки изображений.

История

Разработка ХДФ началась в конце 1980-х годов в NCSA. Первая версия формата, HDF 1.0, была выпущена в 1988 году. Формат создавался как способ переносимого хранения научных данных между разными компьютерными платформами и программным обеспечением.

В 1996 году вышла версия HDF 4, которая получила широкое распространение в научном сообществе. В 2002 году был представлен HDF 5 — полностью переработанный формат, несовместимый с HDF 4 на уровне файлов, но сохранивший общую концепцию. HDF 5 стал основным и наиболее используемым вариантом формата.

В 2007 году HDF 5 был передан в ХДФ-группу (HDF Group), некоммерческую организацию, выделенную из NCSA для поддержки и развития формата. В 2021 году ХДФ-группа объявила о планах перевода HDF 5 в режим сопровождения без активной разработки новых функций, что вызвало дискуссии в научном сообществе о будущем формата.

Устройство и возможности

Файл HDF5 представляет собой виртуальную файловую систему внутри одного файла. Основные компоненты:

  • Группы — аналоги каталогов, содержащие другие группы и датасеты.
  • Датасеты — многомерные массивы данных с указанным типом элементов (целые, вещественные, строки и т. д.).
  • Атрибуты — метаданные, прикреплённые к группам и датасетам.
  • Ссылки — объекты, указывающие на другие группы и датасеты.

Формат поддерживает сжатие данных (алгоритмы gzip, szip, shuffle), что позволяет уменьшать объём файлов. Доступ к данным возможен выборочно — можно читать отдельные части датасета без загрузки всего массива в память. Это свойство особенно важно при работе с массивами, размером превышающими оперативную память компьютера.

HDF5 работает с использованием библиотеки, написанной на языке C, с привязками для Fortran, Java, Python, C++ и других языков. Стандартная библиотека Python называется h5py, для Fortran — HDF5 Fortran API.

Применение

ХДФ применяется в областях, где необходимо хранить и обрабатывать большие объёмы структурированных данных:

  • Астрономия и астрофизика — телескоп Hubble Space Telescope использует формат ХДФ для хранения наблюдательных данных.
  • Метеорология и климатология — данные спутниковых наблюдений и климатических моделей.
  • Обработка изображений — формат поддерживается многими программами для работы с научными изображениями.
  • Машинное обучение — ХДФ часто используется для хранения наборов данных и весов нейронных сетей.
  • Ядерная физика — данные экспериментов на ускорителях.

В России ХДФ применяется в ряде научных проектов, включая обработку данных спутниковых наблюдений и вычислительные модели.

Альтернативы

Основными альтернативами ХДФ являются:

ФорматОсобенности
NetCDFОриентирован на массивы, популярен в метеорологии
ZarrОблачное хранение, работает с сжатыми чанками
ParquetОптимизирован для табличных данных
FITSСтандарт в астрономии

В отличие от ХДФ, формат Zarr хранит данные в виде множества отдельных файлов, что удобно для работы в распределённых системах и облаках.

См. также

  • Сжатие данных
  • Формат файла
  • Научные вычисления

Источники

  • HDF Group. HDF5 Documentation.
  • NCSA. Hierarchical Data Format (HDF).
  • The HDF5 File Format Specification.
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru