Иерархический классификатор

Иерархический классификатор — это алгоритм или модель машинного обучения, предназначенные для решения задачи классификации, в которой классы объектов организованы в иерархическую структуру (например, дерево или направленный ациклический граф). В отличие от плоской (flat) классификации, где все классы считаются равноправными и взаимоисключающими, иерархическая классификация учитывает отношения «родитель — потомок» между категориями, что позволяет более эффективно обрабатывать данные с большим числом классов или сложной таксономией.

Общая характеристика

Иерархические классификаторы применяются в ситуациях, когда естественная структура предметной области имеет вложенность. Например, в биологической таксономии (царство → тип → класс → отряд → семейство → род → вид), в библиотечных каталогах (раздел → подраздел → тема), в системах распознавания изображений (животное → млекопитающее → собака → порода) или в классификации текстов по тематикам. Основное преимущество иерархического подхода — снижение вычислительной сложности и повышение точности за счёт декомпозиции задачи на более мелкие подзадачи: на каждом уровне иерархии решается задача различения лишь небольшого числа дочерних классов, а не всех возможных категорий сразу.

Типы иерархических классификаторов

Существует несколько подходов к построению иерархических классификаторов, различающихся способом использования иерархии в процессе обучения и предсказания.

Локальные классификаторы (Local classifiers)

В этом подходе для каждого узла иерархии (кроме листьев) строится отдельный бинарный или многоклассовый классификатор, который решает, к какому из дочерних узлов отнести объект. Различают три основных варианта:

• Per-node (поузловой): для каждого внутреннего узла обучается свой классификатор, различающий его дочерние классы. Например, на первом уровне решается, к какому из основных разделов относится объект; на втором — к какому подразделу внутри выбранного раздела, и так далее.
• Per-parent (по родительскому узлу): классификатор строится для каждой группы «родитель — потомки», то есть для каждого родительского узла обучается один многоклассовый классификатор, который выбирает один из дочерних классов.
• Per-level (поуровневый): на каждом уровне иерархии обучается один общий классификатор, который предсказывает класс на данном уровне, игнорируя информацию о более глубоких уровнях.

Локальные классификаторы просты в реализации и обучении, но страдают от накопления ошибок: ошибка на верхнем уровне иерархии не может быть исправлена на нижних.

Глобальные классификаторы (Global classifiers)

Глобальные подходы обучают единую модель, которая одновременно предсказывает весь путь от корня до листа. Для этого используются специализированные алгоритмы, например:

• Свёрточные нейронные сети с иерархической функцией потерь — в задачах компьютерного зрения.
• Рекуррентные нейронные сети и графовые нейронные сети — для обработки текстов и графовых структур.
• Методы на основе метрик — когда иерархия встраивается в пространство признаков.

Глобальные модели теоретически способны учитывать взаимосвязи между уровнями, но требуют больше вычислительных ресурсов и сложнее в настройке.

Гибридные и каскадные подходы

Сочетают элементы локального и глобального подходов. Например, сначала используется грубый глобальный классификатор для определения верхнеуровневой категории, а затем — локальный уточняющий классификатор для выбора конкретного подкласса. Также распространены каскадные схемы, где на каждом уровне применяется отдельный классификатор, но при этом учитывается предсказание предыдущего уровня.

Применение

Иерархические классификаторы находят применение в широком круге задач, где данные имеют естественную иерархическую структуру.

Классификация текстов и документов

В системах рубрикации новостей, научных статей или патентов. Например, в библиотечных классификаторах (УДК, ББК) или в тематических каталогах интернета. Иерархический подход позволяет обрабатывать тысячи и десятки тысяч категорий, разбивая задачу на уровни.

Распознавание изображений и видео

В задачах распознавания объектов, сцен или действий. Например, система может сначала определить, что на изображении — транспортное средство, затем — автомобиль, затем — легковой автомобиль определённой марки. Это снижает количество возможных классов на каждом шаге и повышает точность.

Биоинформатика и медицина

Классификация белков, генов или заболеваний по иерархическим таксономиям (например, Gene Ontology, МКБ-10). Иерархические классификаторы используются для предсказания функций белков или диагностики заболеваний на основе симптомов.

Робототехника и управление

В системах планирования действий, где иерархия задач (например, «переместить объект» → «взять» → «захватить») позволяет разбить сложное поведение на простые подзадачи.

Преимущества и недостатки

Преимущества

• Масштабируемость: позволяет работать с десятками и сотнями тысяч классов, которые невозможно обработать плоским классификатором.
• Интерпретируемость: предсказание можно представить в виде пути по иерархии, что облегчает понимание и отладку.
• Эффективность: на каждом уровне решается задача с малым числом классов, что ускоряет обучение и предсказание.
• Учёт структуры: использование естественной таксономии повышает обобщающую способность модели, особенно при малом количестве обучающих примеров для редких классов.

Недостатки

• Накопление ошибок: ошибка на верхнем уровне иерархии не может быть исправлена на нижних, что снижает общую точность.
• Зависимость от качества иерархии: неправильно построенная или неполная таксономия ухудшает результаты.
• Сложность обучения: для глобальных подходов требуется разработка специальных архитектур и функций потерь.
• Необходимость балансировки: на разных уровнях иерархии может быть разное количество примеров, что требует методов борьбы с дисбалансом классов.

Оценка качества

Для оценки иерархических классификаторов используются как стандартные метрики (точность, полнота, F-мера), так и специализированные, учитывающие иерархическую структуру:

• Hierarchical Precision (HP) и Hierarchical Recall (HR) — учитывают глубину предсказанного пути.
• Tree Induced Error (TIE) — штрафует за ошибки на разных уровнях иерархии с разными весами.
• Lowest Common Ancestor (LCA) Distance — измеряет расстояние между предсказанным и истинным классами в дереве.

Примеры реализации

В библиотеках машинного обучения существуют готовые реализации иерархических классификаторов. Например, в библиотеке scikit-learn нет встроенного иерархического классификатора, но можно реализовать локальный подход, используя DecisionTreeClassifier или LogisticRegression для каждого узла. В библиотеке PyTorch или TensorFlow можно построить глобальную нейронную сеть с иерархической функцией потерь. Существуют также специализированные библиотеки, такие как HierarchicalClassification (Python) или HieR (для R).

Источники

1. Silla C. N., Freitas A. A. A survey of hierarchical classification across different application domains // Data Mining and Knowledge Discovery. — 2011. — Vol. 22, No. 1-2. — P. 31–72.
2. Sun A., Lim E. P. Hierarchical text classification: A survey // ACM Computing Surveys. — 2001. — Vol. 34, No. 3. — P. 1–39.
3. Vens C., Struyf J., Schietgat L., Džeroski S., Blockeel H. Decision trees for hierarchical multi-label classification // Machine Learning. — 2008. — Vol. 73, No. 2. — P. 185–214.
4. Bishop C. M. Pattern Recognition and Machine Learning. — Springer, 2006. — Chapter 14.
5. Документация библиотеки scikit-learn: раздел «Multiclass and multilabel algorithms».