Azure Data Lake Storage

Azure Data Lake Storage (ADLS) — это облачное решение для хранения больших объёмов неструктурированных и структурированных данных, предоставляемое в рамках платформы Microsoft Azure. Оно построено на основе Azure Blob Storage и оптимизировано для аналитических нагрузок, обеспечивая высокую пропускную способность, масштабируемость и совместимость с экосистемой Hadoop.

История

Azure Data Lake Storage был анонсирован корпорацией Microsoft в 2016 году как часть платформы Azure Data Lake. Первоначально продукт назывался Azure Data Lake Store (ADLS Gen1) и представлял собой отдельную службу хранения, не основанную на Blob Storage. В 2018 году Microsoft представила второе поколение — Azure Data Lake Storage Gen2 (ADLS Gen2), которое объединило возможности ADLS Gen1 с производительностью и экономичностью Azure Blob Storage. ADLS Gen2 стал стандартным решением для хранения данных в Azure, а ADLS Gen1 был объявлен устаревшим и выведен из эксплуатации в феврале 2024 года.

Архитектура и устройство

Основные компоненты

ADLS Gen2 представляет собой надстройку над Azure Blob Storage, добавляющую файловую семантику и поддержку иерархического пространства имён. Ключевые элементы архитектуры:

• Иерархическое пространство имён (Hierarchical Namespace) — позволяет организовать данные в виде дерева каталогов и файлов, аналогично файловым системам HDFS (Hadoop Distributed File System). Это обеспечивает эффективное выполнение операций с каталогами (например, переименование, удаление) без полного перебора содержимого.
• Уровни доступа (Access Tiers) — поддерживаются горячий (Hot), холодный (Cool) и архивный (Archive) уровни, позволяющие оптимизировать затраты в зависимости от частоты доступа к данным.
• Контроль доступа (Access Control) — реализован на основе POSIX-совместимых списков управления доступом (ACL) и ролевого управления доступом (RBAC) через Azure Active Directory (Azure AD).
• Шифрование — все данные шифруются на стороне сервера с использованием ключей, управляемых Microsoft (SSE) или ключей, предоставляемых клиентом (CMK). Шифрование включено по умолчанию.

Отличия от Azure Blob Storage

Классификация и виды

ADLS Gen2 не имеет формальных разновидностей, однако в рамках сервиса можно выделить:

• Учётные записи с включённым иерархическим пространством имён — основной тип, используемый для аналитики и больших данных.
• Учётные записи без иерархического пространства имён — стандартные Blob Storage, которые могут быть преобразованы в ADLS Gen2, но не наоборот.
• Зоны избыточности (Redundancy) — локально-избыточное (LRS), зонально-избыточное (ZRS), гео-избыточное (GRS) и гео-зонально-избыточное (GZRS) хранение.

Применение

Аналитика больших данных

ADLS Gen2 является основным хранилищем для Azure Databricks, Azure Synapse Analytics, HDInsight и других сервисов аналитики. Он поддерживает Apache Spark, Hive, Presto и другие инструменты экосистемы Hadoop через драйверы, совместимые с HDFS.

Хранение данных для машинного обучения

Платформа Azure Machine Learning использует ADLS Gen2 для хранения наборов данных, моделей и логов экспериментов. Иерархическая структура упрощает организацию данных по проектам, версиям и этапам обработки.

Озёра данных (Data Lakes)

ADLS Gen2 часто применяется для построения корпоративных озёр данных, объединяющих данные из различных источников (CRM, ERP, IoT, логи) в едином хранилище. Благодаря неограниченной ёмкости и низкой стоимости хранения на холодном уровне, он подходит для долгосрочного архивирования.

Интеграция с другими сервисами Azure

• Azure Data Factory — для оркестрации загрузки и трансформации данных.
• Azure Stream Analytics — для потоковой обработки с записью результатов в ADLS.
• Power BI — для визуализации данных напрямую из хранилища.
• Azure Logic Apps — для автоматизации рабочих процессов.

Производительность и масштабируемость

ADLS Gen2 обеспечивает пропускную способность до 100 Гбит/с для одной учётной записи (при использовании нескольких параллельных соединений). Задержка при чтении данных с горячего уровня составляет миллисекунды. Хранилище масштабируется автоматически, не требуя предварительного выделения ресурсов. Максимальный объём данных на одну учётную запись не ограничен (практически — до 5 ПБ на один контейнер).

Безопасность и соответствие стандартам

ADLS Gen2 поддерживает:

• Azure Active Directory — аутентификация и авторизация через корпоративные учётные записи.
• Управляемые удостоверения (Managed Identities) — безопасный доступ из сервисов Azure без хранения ключей.
• Брандмауэр и виртуальные сети — ограничение доступа по IP-адресам и подсетям.
• Аудит и мониторинг — интеграция с Azure Monitor и Azure Log Analytics для отслеживания операций доступа.
• Сертификации — соответствие стандартам ISO 27001, SOC 1/2/3, HIPAA, GDPR, PCI DSS и другим.

Стоимость

Ценообразование ADLS Gen2 основано на модели «плати за использование»:

• Хранение — тарифицируется по объёму данных (в ГБ/месяц) с учётом уровня доступа.
• Операции — взимается плата за записи, чтения, перечисления и удаления (по количеству операций).
• Исходящий трафик — передача данных из Azure в интернет оплачивается отдельно; входящий трафик бесплатен.
• Избыточность — гео-избыточное хранение дороже локально-избыточного.

Примерные цены (на 2025 год): горячий уровень — около 0,02 $/ГБ/мес, холодный — 0,01 $/ГБ/мес, архивный — 0,002 $/ГБ/мес.

Ограничения

• Максимальный размер одного файла — 4,75 ТБ.
• Количество файлов в одном каталоге — не ограничено, но операции перечисления могут замедляться при миллионах объектов.
• Преобразование учётной записи Blob Storage в ADLS Gen2 возможно только в одном направлении и может занять длительное время (до нескольких часов для больших объёмов).
• Некоторые функции Blob Storage (например, неизменяемые политики хранения) могут быть недоступны при включённом иерархическом пространстве имён.

Интересные факты

• ADLS Gen2 поддерживает протокол ABFS (Azure Blob File System), который является собственным драйвером для доступа из Hadoop-экосистемы.
• Microsoft рекомендует использовать ADLS Gen2 для всех новых проектов, связанных с аналитикой, вместо устаревшего ADLS Gen1.
• В 2023 году Microsoft объявила о поддержке ADLS Gen2 в Azure Stack HCI, что позволяет развёртывать локальные озёра данных с гибридным подключением к облаку.

Источники

• Microsoft Azure Documentation: «What is Azure Data Lake Storage Gen2?»
• Microsoft Azure Documentation: «Introduction to Azure Data Lake Storage Gen2»
• Microsoft Azure Documentation: «Azure Data Lake Storage Gen2 pricing»
• Microsoft Azure Documentation: «Hierarchical namespace in Azure Data Lake Storage Gen2»
• Microsoft Azure Documentation: «Access control model in Azure Data Lake Storage Gen2»
• Microsoft Azure Documentation: «Security considerations for Azure Data Lake Storage Gen2»
• Microsoft Azure Documentation: «Azure Data Lake Storage Gen2 performance and scalability»
• Microsoft Azure Documentation: «Azure Data Lake Storage Gen2 limitations»
• Microsoft Azure Blog: «Announcing Azure Data Lake Storage Gen2» (2018)
• Microsoft Azure Blog: «Azure Data Lake Storage Gen1 retirement» (2023)