Azure Purview

Azure Purview — это облачный сервис управления данными (data governance), предоставляемый корпорацией Microsoft в составе платформы Microsoft Azure. Сервис предназначен для автоматического обнаружения, классификации, каталогизации и установления связей между данными, хранящимися в различных источниках — как в облаке, так и в локальных (on-premises) системах. Azure Purview позволяет организациям создавать единую карту данных (data map), обеспечивая прозрачность происхождения данных (data lineage) и контроль доступа к ним.

История

Azure Purview был анонсирован корпорацией Microsoft в декабре 2019 года на конференции Microsoft Ignite. Первая публичная предварительная версия (public preview) стала доступна в мае 2020 года. Сервис был разработан как ответ на растущие потребности крупных предприятий в управлении большими объёмами разнородных данных, особенно в условиях ужесточения требований к соблюдению нормативных актов, таких как Общий регламент по защите данных (GDPR) в Европейском союзе и Федеральный закон «О персональных данных» № 152-ФЗ в России.

В сентябре 2020 года Azure Purview стал общедоступным (GA). В 2021 году Microsoft интегрировала в сервис возможности машинного обучения для автоматической классификации данных, а также расширила список поддерживаемых источников данных, включив в него системы SAP, Oracle, Teradata и другие.

Архитектура и компоненты

Azure Purview состоит из нескольких ключевых компонентов, работающих в рамках единой платформы:

Карта данных (Data Map)

Карта данных — это центральное хранилище метаданных, которое описывает структуру, расположение и связи между всеми зарегистрированными источниками данных. Она автоматически обновляется при изменении исходных систем. Карта данных поддерживает:

• Сканирование (Scanning) — процесс автоматического обнаружения активов (таблиц, файлов, колонок) в источниках данных.
• Классификация (Classification) — присвоение меток (например, «Персональные данные», «Финансовая информация») на основе встроенных или пользовательских правил.
• Происхождение данных (Data Lineage) — отображение путей перемещения данных от источника до конечного отчёта или дашборда, включая этапы трансформации.

Каталог данных (Data Catalog)

Каталог данных — это интерфейс для поиска и управления активами. Он предоставляет:

• Поиск и фильтрацию — возможность находить активы по названию, типу, классификации или владельцу.
• Глоссарий (Glossary) — бизнес-термины, определяющие семантику данных (например, «Клиент», «Выручка»), которые могут быть связаны с техническими активами.
• Управление владельцами — назначение ответственных лиц за конкретные наборы данных.

Политики управления (Data Policy)

Azure Purview позволяет создавать и применять политики доступа к данным на уровне источников. Например, можно ограничить доступ к столбцам с персональными данными для определённых групп пользователей.

Поддерживаемые источники данных

Azure Purview поддерживает сканирование и каталогизацию данных из широкого спектра источников, включая:

• Облачные базы данных: Azure SQL Database, Azure Synapse Analytics, Azure Data Lake Storage Gen2, Amazon S3, Google BigQuery.
• Локальные базы данных: SQL Server, Oracle, Teradata, SAP HANA, IBM Db2.
• Файловые хранилища: Azure Blob Storage, ADLS Gen1, FTP-серверы.
• Системы бизнес-аналитики: Power BI, Tableau, SAP BusinessObjects.
• Потоковые данные: Azure Event Hubs, Apache Kafka.

Применение

Azure Purview используется в корпоративной среде для решения следующих задач:

• Соблюдение нормативных требований — автоматическое выявление персональных данных и конфиденциальной информации, что необходимо для соответствия законам о защите данных (например, 152-ФЗ в РФ, GDPR в ЕС).
• Управление качеством данных — обнаружение дубликатов, аномалий и неполных записей.
• Оптимизация аналитики — ускорение поиска нужных данных для аналитиков и Data Science-специалистов за счёт единого каталога.
• Контроль происхождения данных — отслеживание, как данные преобразуются и передаются между системами, что критично для аудита и отчётности.

Интеграция с другими сервисами Microsoft

Azure Purview тесно интегрирован с экосистемой Microsoft, в частности:

• Microsoft 365 — классификация данных из Purview может синхронизироваться с метками конфиденциальности в Microsoft 365, обеспечивая единую политику защиты информации.
• Power BI — сервис автоматически извлекает метаданные из отчётов Power BI, отображая происхождение данных в дашбордах.
• Azure Synapse Analytics — Purview может служить единым каталогом для всех данных, используемых в аналитических рабочих нагрузках Synapse.

Ограничения и критика

Несмотря на широкие возможности, Azure Purview имеет ряд ограничений:

• Сложность настройки — для крупных организаций с множеством источников данных требуется значительное время на первоначальное сканирование и настройку правил классификации.
• Стоимость — ценообразование основано на объёме просканированных данных и количестве активов, что может быть дорого для компаний с большими хранилищами.
• Зависимость от экосистемы Azure — хотя Purview поддерживает сторонние источники, его полная функциональность раскрывается только в сочетании с другими сервисами Microsoft.

Конкуренты

На рынке управления данными Azure Purview конкурирует с такими продуктами, как:

• AWS Glue (Amazon Web Services) — сервис каталогизации и ETL-процессов.
• Google Cloud Data Catalog (Google Cloud) — облачный каталог данных.
• Informatica — специализированное решение для управления данными с поддержкой множества платформ.
• Collibra — платформа для управления данными с акцентом на бизнес-глоссарий и соответствие нормативам.

Источники

• Microsoft. «What is Azure Purview?» — Microsoft Learn, 2023.
• Microsoft. «Azure Purview documentation» — Microsoft Learn, 2023.
• Gartner. «Market Guide for Data Catalog Solutions» — Gartner Research, 2022.
• TechTarget. «Azure Purview: A comprehensive guide» — TechTarget, 2023.