HMaster

HMaster — это основной управляющий компонент (мастер-сервер) распределённой нереляционной базы данных Apache HBase, отвечающий за координацию работы регион-серверов, управление схемой таблиц, распределение нагрузки и обработку отказов. HMaster является частью экосистемы Apache Hadoop и обеспечивает централизованное администрирование кластера HBase.

Архитектура и роли

В кластере HBase может быть несколько мастер-серверов, но активным в любой момент времени является только один. Остальные находятся в режиме резерва (standby) и готовы взять на себя управление в случае сбоя активного мастера. Такая схема обеспечивает высокую доступность (High Availability, HA) кластера.

HMaster выполняет следующие ключевые функции:

• Управление схемой базы данных: создание, удаление и модификация таблиц и семейств столбцов.
• Мониторинг состояния регион-серверов: получение сигналов (heartbeats) о работоспособности и нагрузке.
• Распределение регионов (сегментов данных) между регион-серверами, включая балансировку нагрузки при добавлении или удалении узлов.
• Обработка отказов: при потере связи с регион-сервером HMaster переназначает его регионы другим серверам.
• Взаимодействие с ZooKeeper (координационным сервисом) для хранения метаданных о состоянии кластера.

Взаимодействие с другими компонентами

HMaster работает в тесной связке с ZooKeeper и регион-серверами. ZooKeeper выступает как распределённый координатор: в нём хранится информация о том, какой мастер активен, какие регион-серверы работают, и где находятся системные таблицы (например, hbase:meta). При запуске кластера HMaster регистрирует себя в ZooKeeper, а затем получает из него список доступных регион-серверов.

Регион-серверы, в свою очередь, периодически отправляют HMaster сигналы о своём состоянии. Если HMaster не получает такой сигнал в течение заданного тайм-аута, он считает сервер недоступным и запускает процедуру восстановления: регионы, обслуживавшиеся отказавшим сервером, распределяются между оставшимися работающими узлами.

Процесс запуска и инициализации

При старте HMaster выполняет несколько этапов:

1. Подключение к ZooKeeper — мастер проверяет наличие активного мастера в кластере. Если активный уже есть, новый экземпляр переходит в режим резерва.
2. Чтение метаданных — из ZooKeeper загружается информация о регион-серверах и системных таблицах.
3. Загрузка схемы — HMaster считывает метаданные о таблицах из таблицы hbase:meta (организация признана экстремистской, деятельность запрещена в РФ) (которая хранит расположение всех регионов).
4. Распределение регионов — если кластер только что создан или произошла ребалансировка, мастер назначает регионы регион-серверам, стараясь равномерно распределить нагрузку.
5. Включение обработки команд — после завершения инициализации HMaster начинает принимать запросы от клиентов (через API) и управляющие команды от администраторов.

Балансировка нагрузки

Одной из важнейших задач HMaster является поддержание равномерной загрузки регион-серверов. Для этого используется механизм балансировки, который может запускаться как автоматически (по расписанию или при изменении числа регионов), так и вручную по команде администратора.

Алгоритм балансировки анализирует количество регионов на каждом сервере и, при необходимости, перемещает регионы с перегруженных узлов на менее загруженные. В HBase 2.x и выше используется более сложный алгоритм StochasticLoadBalancer, учитывающий не только количество регионов, но и их размер, а также топологию сети (стойки, узлы).

Обработка отказов

При отказе регион-сервера HMaster запускает процедуру восстановления:

1. Обнаружение потери связи (heartbeat timeout).
2. Помещение всех регионов, обслуживавшихся отказавшим сервером, в состояние «недоступны».
3. Перераспределение этих регионов на другие работающие регион-серверы.
4. Запуск процесса восстановления данных (log replay) — чтение Write-Ahead Log (WAL) отказавшего сервера для применения ещё не записанных на диск изменений.

В случае отказа самого активного HMaster, резервный мастер (если настроен) автоматически активируется через ZooKeeper. Время переключения обычно составляет несколько секунд.

Управление схемой

HMaster обрабатывает все операции, связанные с изменением структуры таблиц:

• Создание таблицы — мастер создаёт запись в системной таблице hbase:meta и распределяет начальные регионы.
• Удаление таблицы — сначала таблица отключается (disable), затем удаляются её данные и метаданные.
• Изменение схемы — добавление/удаление семейств столбцов, изменение параметров хранения (TTL, сжатие, блокировки). При изменении схемы HMaster может инициировать перераспределение регионов.

Конфигурация и настройка

Основные параметры HMaster задаются в файле hbase-site.xml:

• hbase.master.port — TCP-порт для взаимодействия с клиентами (по умолчанию 16000).
• hbase.master.info.port — порт для веб-интерфейса (по умолчанию 16010).
• hbase.master.maxthreads — максимальное количество потоков для обработки запросов.
• hbase.master.balancer.maxruntimems — максимальное время выполнения балансировки.
• hbase.master.logcleaner.ttl — время хранения старых WAL-файлов (по умолчанию 10 минут).

Для настройки высокой доступности в конфигурации указываются все возможные узлы-мастеры, а ZooKeeper используется для выбора активного.

Мониторинг и веб-интерфейс

HMaster предоставляет веб-интерфейс, доступный по адресу http://<master-host>:16010`. В нём отображаются: