Открыть сервисСервис

DWH — хранилище данных

DWH (англ. Data Warehouse, «хранилище данных») — централизованная репозиторная система, предназначенная для интегрированного хранения, консолидации и аналитической обработки больших объёмов структурированных данных из различных источников. В отличие от оперативных баз данных (OLTP), DWH оптимизирована под запросы на чтение, аналитику и отчётность, а не под транзакционную обработку.

Основные характеристики

DWH обладает рядом свойств, выделенных Уильямом Инмоном, одним из основоположников концепции:

  • Интегрированность — данные из разных систем приводятся к единому формату и модели.
  • Неизменяемость (non-volatile) — после загрузки данные не изменяются, новые версии добавляются как новые записи.
  • Историчность — хранилище накапливает данные за длительные периоды.
  • Ориентированность на тематические области — данные сгруппированы по предметным областям (продажи, финансы, логистика).

Архитектура

Классическая архитектура DWH включает три уровня (модель Инмона):

  1. Оперативные источники (source systems) — ERP, CRM, бухгалтерские системы, внешние данные.
  2. Зона интеграции (staging area) — промежуточное хранилище, где данные очищаются, нормализуются и преобразуются.
  3. Хранилище данных — основное хранилище, построенное по нормализованной модели (3НФ) или по денормализованным схемам «звезда»/«снежинка».

Существует альтернативная архитектура Ральфа Кимбола (dimensional modelling), где данные сразу загружаются в денормализованные многомерные схемы с фактическими таблицами (fact tables) и измерениями (dimensions).

Схемы хранения данных

СхемаОписание
Звезда (Star schema)Одна фактическая таблица, связанная с несколькими денормализованными измерениями
Снежинка (Snowflake)Измерения нормализованы, связаны иерархически
3НФ (3NF)Полностью нормализованная модель, характерная для подхода Инмона

Технологии

В России и мире для построения DWH используются как коммерческие, так и открытые решения:

  • Коммерческие: Oracle Exadata, Microsoft SQL Server (с функционалом хранилища), Teradata, IBM Netezza, SAP HANA, Greenplum (коммерческая поддержка).
  • Открытые: PostgreSQL, ClickHouse, Apache Druid, Apache Doris, Greenplum (open source), Yandex ClickHouse.
  • Облачные: Yandex Cloud (ClickHouse, Postgres), VK Cloud, Selectel, Amazon Redshift, Google BigQuery.

Среди российских разработок выделяется Greenplum — распределённая СУБД, изначально разработанная компанией Pivotal (США), но активно развиваемая в России на базе исходного кода; её форк Postgres Pro Enterprise и OLAP-решения на базе ClickHouse широко применяются в отечественных банках и телекоме.

Процессы ETL и ELT

Загрузка данных в DWH выполняется с помощью процессов:

  • ETL (Extract, Transform, Load) — извлечение, трансформация и загрузка: данные преобразуются до загрузки в хранилище.
  • ELT (Extract, Load, Transform) — загрузка «как есть», трансформация средствами самой СУБД. Этот подход стал популярным с развитием MPP-систем и облачных хранилищ.

Инструменты: Apache Airflow, Apache NiFi, Informatica, Talend, DataStage, «Сборщик» от АйТи, 1С-интеграции.

Применение

DWH используется для:

  • корпоративной отчётности (BI-системы: Tableau, Power BI, Qlik, DataLens, Superset);
  • аналитики продаж и маркетинга;
  • финансового учёта и бюджетирования;
  • операционной аналитики;
  • машинного обучения (как источник обучающих данных).

DWH и Data Lake

Часто DWH противопоставляется озёрам данных (Data Lake) — системам, хранящим данные в исходном виде (структурированные и неструктурированные) без предварительной обработки. На практике встречается гибридный подход Data Lakehouse, объединяющий свойства обоих решений.

Критика и современные тенденции

Классическая архитектура DWH критикуется за высокую стоимость внедрения, длительные сроки проектов и сложность сопровождения. В ответ развиваются:

  • Data Vault — методология моделирования, упрощающая интеграцию и расширение хранилища;
  • виртуальные хранилища — данные не физически копируются, а запросы транслируются в источники;
  • облачные DWH — масштабирование «по требованию».

Источники:

  • Инмон У. «Построение корпоративного хранилища данных»
  • Кимбол Р., Марголис М. «Хранилища данных. Основы проектирования и построения»
  • «Хранилища данных: технологии и практика» (под ред. С. С. Соколова)
  • Документация Greenplum, ClickHouse, PostgreSQL
Заметили ошибку или не согласны с информацией в статье? Напишите нам support@bfometr.ru