DFSMS
DFSMS (Data Facility Storage Management Subsystem) — это программный комплекс управления данными и устройствами хранения, разработанный корпорацией IBM для операционных систем z/OS (ранее OS/390 и MVS). DFSMS является ключевым компонентом архитектуры IBM z/Architecture, предназначенным для автоматизации управления хранением, обеспечения доступности данных, оптимизации использования дискового пространства и повышения производительности систем на мейнфреймах.
История
Разработка DFSMS началась в конце 1980-х годов как ответ на рост объёмов данных в корпоративных системах и необходимость автоматизации рутинных операций управления хранением. Первая версия DFSMS была выпущена в 1990 году для операционной системы MVS/ESA. Основной целью было создание единой платформы, объединяющей функции управления данными, которые ранее выполнялись разрозненными утилитами (например, DFSORT, ICKDSF, DFDSS). В 1994 году, с выходом OS/390, DFSMS стал обязательным компонентом системы, а в 2000-х годах, с переходом на z/OS, получил поддержку новых технологий, таких как дисковые массивы RAID, виртуальные ленточные библиотеки (VTL) и флэш-память.
Архитектура и компоненты
DFSMS состоит из нескольких взаимосвязанных подсистем, каждая из которых отвечает за определённый аспект управления данными:
DFSMSdfp (Data Facility Product)
Базовый компонент, обеспечивающий функции управления данными на уровне операционной системы. Включает:
- Управление каталогами (Catalog Management) — поддержка иерархической структуры каталогов (Master Catalog и User Catalogs).
- Управление томами (Volume Management) — контроль за размещением данных на дисковых и ленточных устройствах.
- Утилиты для копирования, перемещения и восстановления данных (например, DFSMSdss — Data Set Services).
- Поддержка форматов данных: последовательные наборы, разделяемые наборы (PDS, PDSE), VSAM (Virtual Storage Access Method) и другие.
DFSMSrmm (Removable Media Manager)
Компонент для управления сменными носителями (лентами, оптическими дисками). Автоматизирует:
- Учёт и каталогизацию носителей.
- Управление сроками хранения и ротацией.
- Интеграцию с автоматическими библиотеками лент (например, IBM TS4500).
DFSMShsm (Hierarchical Storage Manager)
Система иерархического управления хранением, реализующая политики миграции данных между уровнями производительности. Основные функции:
- Автоматическое перемещение редко используемых данных на более медленные и дешёвые носители (например, с дисков на ленты).
- Восстановление данных на быстрый носитель при обращении (stage-in).
- Поддержка многоуровневой иерархии: DASD (прямой доступ) → ленточные библиотеки → облачные хранилища (через шлюзы).
DFSMSdss (Data Set Services)
Утилита для резервного копирования, восстановления и копирования наборов данных. Поддерживает:
- Полное и инкрементальное копирование.
- Сжатие данных на лету.
- Копирование между разными типами устройств (диск-диск, диск-лента).
DFSMSopt (Optimization)
Компонент для оптимизации производительности ввода-вывода. Включает:
- Управление кэшированием на дисковых контроллерах.
- Балансировку нагрузки между каналами ввода-вывода.
- Настройку параметров доступа на основе статистики использования.
Принципы работы
DFSMS реализует концепцию автоматизированного управления хранением (Automated Storage Management, ASM). Основные принципы:
- Политики управления (Management Classes) — администратор задаёт правила для групп данных: срок хранения, частота резервного копирования, уровень миграции. Например, для транзакционных логов может быть установлено хранение на быстром диске в течение 7 дней, затем автоматическое перемещение на ленту.
- Классы хранения (Storage Classes) — определяют характеристики устройств, на которых размещаются данные: производительность, надёжность (RAID-уровень), стоимость.
- Классы данных (Data Classes) — шаблоны для создания новых наборов данных, задающие формат, размер блоков, параметры сжатия.
- Автоматическая миграция — DFSMShsm периодически сканирует данные и перемещает их между уровнями иерархии в соответствии с политиками, без участия оператора.
- Каталогизация — все данные регистрируются в системном каталоге, что позволяет быстро находить их по имени, независимо от физического местоположения.
Применение
DFSMS используется в корпоративных средах, где требуется высокая надёжность и масштабируемость хранения:
- Финансовый сектор — банки, страховые компании, биржи (например, Московская биржа). DFSMS обеспечивает хранение транзакционных данных с гарантированной целостностью и соблюдением нормативных сроков хранения (например, 5 лет для бухгалтерской отчётности).
- Государственные информационные системы — в России DFSMS применяется в системах Пенсионного фонда, Федерального казначейства и других ведомств, использующих мейнфреймы IBM.
- Телекоммуникации — операторы связи (например, «Ростелеком») используют DFSMS для хранения биллинговых данных и записей о вызовах.
- Промышленность — на предприятиях с непрерывным производством (нефтегазовый сектор, энергетика) для хранения архивов SCADA-систем.
Преимущества и ограничения
Преимущества
- Автоматизация — снижение затрат на ручное администрирование за счёт политик управления.
- Надёжность — встроенные механизмы резервного копирования и восстановления (DFSMSdss, DFSMShsm).
- Масштабируемость — поддержка петабайтных хранилищ и тысяч устройств.
- Совместимость — интеграция с другими продуктами IBM (CICS, IMS, DB2) и сторонними системами через API.
Ограничения
- Привязка к платформе — DFSMS работает только под управлением z/OS на мейнфреймах IBM, что ограничивает его применение в гетерогенных средах.
- Сложность настройки — требует высокой квалификации администраторов, знающих JCL (Job Control Language) и внутренние механизмы z/OS.
- Стоимость — лицензирование DFSMS входит в стоимость z/OS, что делает его дорогим для небольших организаций.
Интересные факты
- DFSMS является одной из первых систем, реализовавших концепцию Information Lifecycle Management (ILM) — автоматическое перемещение данных между уровнями хранения в зависимости от их ценности и частоты использования.
- В 2010-х годах IBM добавила поддержку облачных хранилищ (IBM Cloud Object Storage) через шлюзы, что позволяет использовать DFSMS для гибридных архитектур.
- В России DFSMS активно используется в системах «Электронный бюджет» и «Госуслуги», работающих на мейнфреймах IBM.
Источники
- IBM z/OS DFSMS Introduction and Storage Management Concepts (IBM Redbooks, 2020).
- IBM z/OS DFSMSdfp: Administration and Programming (IBM Knowledge Center, 2023).
- «Мейнфреймы IBM: архитектура и применение» — под редакцией А. В. Смирнова, 2018.
- «Управление данными в z/OS: руководство администратора» — IBM Corporation, 2021.
BFOmetr — база данных и аналитика по компаниям России.
На главную BFOmetr →