Lustre

Lustre — это сетевая файловая система с открытым исходным кодом, предназначенная для высокопроизводительных вычислений (HPC) и работы с большими объёмами данных. Lustre относится к классу параллельных распределённых файловых систем, обеспечивающих одновременный доступ множества клиентов к единому хранилищу с высокой пропускной способностью и низкой задержкой. Система разработана для кластеров, суперкомпьютеров и центров обработки данных, где требуется масштабируемость до десятков тысяч узлов и петабайтов хранимой информации.

История

Разработка Lustre началась в 1999 году в Университете Карнеги — Меллона (США) в рамках проекта по созданию файловой системы для кластеров. В 2001 году проект был передан компании Cluster File Systems, Inc., основанной одним из ведущих разработчиков Питером Брауном. В 2003 году Lustre была впервые внедрена на суперкомпьютере Thunder (Ливерморская национальная лаборатория). В 2007 году компания Cluster File Systems была приобретена корпорацией Sun Microsystems, что дало Lustre статус коммерческого продукта и поддержку со стороны крупного вендора.

После поглощения Sun Microsystems корпорацией Oracle в 2010 году развитие Lustre замедлилось, что привело к созданию сообщества OpenSFS (Open Scalable File Systems) и организации EOFS (European Open File Systems), взявших на себя координацию разработки и поддержки открытой версии. В 2013 году компания Intel приобрела права на торговую марку и наняла ключевых разработчиков, продолжив развитие Lustre как проприетарного и открытого продукта. В 2017 году Intel передала управление проектом сообществу OpenSFS, а в 2018 году была основана компания DDN Storage, которая в настоящее время является основным коммерческим спонсором и разработчиком Lustre.

Архитектура

Lustre имеет модульную архитектуру, разделяющую метаданные и данные. Основные компоненты системы:

• MGS (Management Server) — сервер управления, хранящий конфигурацию файловой системы и распределяющий её среди клиентов и серверов.
• MDS (Metadata Server) — сервер метаданных, отвечающий за хранение и обработку информации о файлах (имена, права доступа, структура каталогов). Метаданные хранятся на отдельном устройстве — MDT (Metadata Target).
• OSS (Object Storage Server) — сервер объектов, хранящий непосредственно данные файлов. Каждый OSS управляет одним или несколькими OST (Object Storage Target) — физическими или логическими устройствами хранения.
• Lustre Client — клиентский модуль, монтирующий файловую систему на узлах кластера. Клиент взаимодействует с MDS для операций с метаданными и с OSS для чтения/записи данных.

Данные файла разбиваются на фрагменты (страйпы) и распределяются по нескольким OST, что позволяет параллельно выполнять операции ввода-вывода, увеличивая пропускную способность.

Ключевые характеристики

• Масштабируемость: Lustre поддерживает до 100 000 клиентских узлов, тысячи серверов и петабайты хранимых данных.
• Производительность: обеспечивает пропускную способность до нескольких терабайт в секунду при последовательных операциях и миллионы операций ввода-вывода в секунду (IOPS) для метаданных.
• Надёжность: поддерживает избыточность на уровне RAID, репликацию метаданных и данных, а также механизмы восстановления после сбоев.
• Открытость: исходный код доступен по лицензии GPL v2, что позволяет модифицировать и адаптировать систему под конкретные задачи.

Применение

Lustre является доминирующей файловой системой в сегменте суперкомпьютеров. По данным TOP500, более 60% систем из списка 100 самых мощных суперкомпьютеров мира используют Lustre. Примеры крупных установок:

• Fugaku (Япония) — один из самых мощных суперкомпьютеров мира, использует Lustre для хранения данных.
• Summit (США, Ок-Риджская национальная лаборатория) — работал на Lustre до перехода на другие системы.
• Lomonosov-2 (Россия, МГУ имени М. В. Ломоносова) — входит в число крупнейших суперкомпьютеров России, использует Lustre для хранения результатов расчётов.
• «Кристофари» (Россия, Межведомственный суперкомпьютерный центр РАН) — также применяет Lustre.

Помимо суперкомпьютеров, Lustre используется в центрах обработки данных, геофизике, биоинформатике, аэрокосмической отрасли и других областях, где требуется работа с большими объёмами данных.

Версии и лицензирование

Существует две основные ветки Lustre:

• Lustre Community Edition — полностью открытая версия, разрабатываемая сообществом OpenSFS. Доступна для свободного скачивания и использования.
• Lustre Commercial Edition — проприетарная версия от DDN Storage, включающая дополнительные инструменты управления, поддержку и гарантии производительности.

Лицензия GPL v2 позволяет использовать, модифицировать и распространять открытую версию при условии сохранения лицензии.

Критика и ограничения

• Сложность администрирования: настройка и поддержка Lustre требуют высокой квалификации персонала, особенно в крупных кластерах.
• Зависимость от сети: производительность сильно зависит от качества сетевой инфраструктуры (InfiniBand, OmniPath, Ethernet).
• Ограничения на метаданные: операции с большим количеством мелких файлов (например, миллионы файлов в одном каталоге) могут приводить к снижению производительности.
• Отсутствие встроенного шифрования: в открытой версии шифрование данных на уровне файловой системы не поддерживается «из коробки», хотя может быть реализовано на уровне устройств или через сторонние инструменты.

Альтернативы

Среди других параллельных файловых систем, используемых в HPC, можно выделить:

• GPFS (IBM Spectrum Scale) — коммерческая файловая система, используемая на многих суперкомпьютерах.
• BeeGFS — открытая файловая система, ориентированная на простоту развёртывания.
• CephFS — распределённая файловая система, входящая в состав платформы Ceph, популярна в облачных средах.

Источники

• OpenSFS. Lustre Documentation. — Open Scalable File Systems, 2023.
• DDN Storage. Lustre File System Overview. — DataDirect Networks, 2022.
• TOP500. List of Supercomputers. — TOP500.org, 2024.
• Cluster File Systems. Lustre: A Scalable, High-Performance File System. — Technical Report, 2003.
• Oracle. Lustre 2.0 Administrator’s Manual. — Oracle Corporation, 2010.