DWH — хранилище данных¶
DWH (англ. Data Warehouse, «хранилище данных») — централизованная репозиторная система, предназначенная для интегрированного хранения, консолидации и аналитической обработки больших объёмов структурированных данных из различных источников. В отличие от оперативных баз данных (OLTP), DWH оптимизирована под запросы на чтение, аналитику и отчётность, а не под транзакционную обработку.
¶Основные характеристики
DWH обладает рядом свойств, выделенных Уильямом Инмоном, одним из основоположников концепции:
- Интегрированность — данные из разных систем приводятся к единому формату и модели.
- Неизменяемость (non-volatile) — после загрузки данные не изменяются, новые версии добавляются как новые записи.
- Историчность — хранилище накапливает данные за длительные периоды.
- Ориентированность на тематические области — данные сгруппированы по предметным областям (продажи, финансы, логистика).
¶Архитектура
Классическая архитектура DWH включает три уровня (модель Инмона):
- Оперативные источники (source systems) — ERP, CRM, бухгалтерские системы, внешние данные.
- Зона интеграции (staging area) — промежуточное хранилище, где данные очищаются, нормализуются и преобразуются.
- Хранилище данных — основное хранилище, построенное по нормализованной модели (3НФ) или по денормализованным схемам «звезда»/«снежинка».
Существует альтернативная архитектура Ральфа Кимбола (dimensional modelling), где данные сразу загружаются в денормализованные многомерные схемы с фактическими таблицами (fact tables) и измерениями (dimensions).
¶Схемы хранения данных
| Схема | Описание |
|---|---|
| Звезда (Star schema) | Одна фактическая таблица, связанная с несколькими денормализованными измерениями |
| Снежинка (Snowflake) | Измерения нормализованы, связаны иерархически |
| 3НФ (3NF) | Полностью нормализованная модель, характерная для подхода Инмона |
¶Технологии
В России и мире для построения DWH используются как коммерческие, так и открытые решения:
- Коммерческие: Oracle Exadata, Microsoft SQL Server (с функционалом хранилища), Teradata, IBM Netezza, SAP HANA, Greenplum (коммерческая поддержка).
- Открытые: PostgreSQL, ClickHouse, Apache Druid, Apache Doris, Greenplum (open source), Yandex ClickHouse.
- Облачные: Yandex Cloud (ClickHouse, Postgres), VK Cloud, Selectel, Amazon Redshift, Google BigQuery.
Среди российских разработок выделяется Greenplum — распределённая СУБД, изначально разработанная компанией Pivotal (США), но активно развиваемая в России на базе исходного кода; её форк Postgres Pro Enterprise и OLAP-решения на базе ClickHouse широко применяются в отечественных банках и телекоме.
¶Процессы ETL и ELT
Загрузка данных в DWH выполняется с помощью процессов:
- ETL (Extract, Transform, Load) — извлечение, трансформация и загрузка: данные преобразуются до загрузки в хранилище.
- ELT (Extract, Load, Transform) — загрузка «как есть», трансформация средствами самой СУБД. Этот подход стал популярным с развитием MPP-систем и облачных хранилищ.
Инструменты: Apache Airflow, Apache NiFi, Informatica, Talend, DataStage, «Сборщик» от АйТи, 1С-интеграции.
¶Применение
DWH используется для:
- корпоративной отчётности (BI-системы: Tableau, Power BI, Qlik, DataLens, Superset);
- аналитики продаж и маркетинга;
- финансового учёта и бюджетирования;
- операционной аналитики;
- машинного обучения (как источник обучающих данных).
¶DWH и Data Lake
Часто DWH противопоставляется озёрам данных (Data Lake) — системам, хранящим данные в исходном виде (структурированные и неструктурированные) без предварительной обработки. На практике встречается гибридный подход Data Lakehouse, объединяющий свойства обоих решений.
¶Критика и современные тенденции
Классическая архитектура DWH критикуется за высокую стоимость внедрения, длительные сроки проектов и сложность сопровождения. В ответ развиваются:
- Data Vault — методология моделирования, упрощающая интеграцию и расширение хранилища;
- виртуальные хранилища — данные не физически копируются, а запросы транслируются в источники;
- облачные DWH — масштабирование «по требованию».
Источники:
- Инмон У. «Построение корпоративного хранилища данных»
- Кимбол Р., Марголис М. «Хранилища данных. Основы проектирования и построения»
- «Хранилища данных: технологии и практика» (под ред. С. С. Соколова)
- Документация Greenplum, ClickHouse, PostgreSQL
