Функция классификатора

Функция классификатора — это в широком смысле задача или процесс отнесения некоторого объекта (наблюдения, события, сообщения, документа, биологического образца, сигнала) к одному из заранее определённых классов на основе его признаков. В более узком, техническом значении, функция классификатора — это математическое отображение, которое ставит в соответствие входному вектору признаков метку класса. Классификация является одной из центральных задач машинного обучения, распознавания образов, статистики и анализа данных.

Основные понятия и определения

Функция классификатора решает задачу классификации — разбиения множества объектов на непересекающиеся подмножества (классы). Классификатор, реализующий эту функцию, принимает на вход описание объекта (обычно в виде числового вектора) и выдает решение о его принадлежности к тому или иному классу. В отличие от задачи регрессии, где предсказывается непрерывная величина, результатом классификации является дискретная метка.

Ключевые компоненты функции классификатора:

Признаковое пространство (feature space) — многомерное пространство, в котором каждый объект представлен набором числовых или категориальных признаков.
Метки классов (class labels) — конечное множество категорий, к которым может быть отнесен объект (например, «спам»/«не спам», «здоров»/«болен», «кошка»/«собака»/«птица»).
Решающее правило (decision rule) — алгоритм, определяющий, какому классу соответствует данная точка в признаковом пространстве.
Граница решения (decision boundary) — гиперповерхность в признаковом пространстве, разделяющая области, соответствующие разным классам.

Типы классификации

Различают несколько основных типов задач классификации, определяющих вид функции классификатора:

Бинарная классификация

Самый простой и распространенный тип, при котором существует только два класса. Функция классификатора в этом случае принимает значения, например, {0, 1} или {-1, +1}. Примеры: определение, является ли электронное письмо спамом; диагностика наличия заболевания; проверка кредитной заявки (одобрить/отклонить).

Многоклассовая классификация

Число классов больше двух. Функция классификатора должна выбрать одну метку из множества K классов (K > 2). Примеры: распознавание рукописных цифр (10 классов), определение породы собаки по фотографии, классификация новостей по темам (спорт, политика, экономика).

Многозначная (мультилейбл) классификация

В отличие от предыдущих типов, объект может принадлежать одновременно нескольким классам. Функция классификатора выдает набор меток. Примеры: присвоение ключевых слов тексту (один текст может быть и про науку, и про технологии), определение жанров фильма (комедия и драма одновременно).

Иерархическая классификация

Классы организованы в иерархическую структуру (дерево). Функция классификатора сначала определяет принадлежность к классам верхнего уровня, а затем уточняет внутри них. Примеры: биологическая таксономия (царство → тип → класс → отряд), классификация товаров в интернет-магазине.

Методы построения функции классификатора

Существует множество алгоритмов и подходов к построению функции классификатора. Их можно разделить на несколько групп:

Статистические и вероятностные методы

Наивный байесовский классификатор — основан на теореме Байеса и предположении о независимости признаков. Оценивает апостериорную вероятность принадлежности объекта каждому классу.
Логистическая регрессия — вероятностная модель для бинарной классификации, оценивающая вероятность принадлежности к классу через логистическую функцию.
Линейный дискриминантный анализ (LDA) — находит линейную комбинацию признаков, наилучшим образом разделяющую два или более класса.

Геометрические методы

Метод опорных векторов (SVM) — строит разделяющую гиперплоскость с максимальным зазором между классами. Может использовать ядра для работы с нелинейно разделимыми данными.
Метод k-ближайших соседей (k-NN) — непараметрический алгоритм, классифицирующий объект на основе классов его k ближайших соседей в признаковом пространстве.

Деревья решений и ансамблевые методы

Дерево решений — иерархическая структура, в которой каждый внутренний узел проверяет значение одного признака, а листья соответствуют классам.
Случайный лес — ансамбль множества деревьев решений, каждое из которых обучается на случайной подвыборке данных и признаков. Решение принимается голосованием.
Градиентный бустинг — последовательное построение ансамбля слабых моделей (обычно деревьев), каждая из которых исправляет ошибки предыдущей.

Нейронные сети

Многослойный перцептрон — классическая архитектура нейронной сети с одним или несколькими скрытыми слоями. Функция классификатора реализуется выходным слоем с функцией активации softmax для многоклассовой или сигмоидой для бинарной классификации.
Свёрточные нейронные сети (CNN) — специализированные архитектуры для обработки изображений, использующие свёрточные слои для выделения пространственных признаков.
Рекуррентные нейронные сети (RNN) и трансформеры — применяются для классификации последовательностей (текстов, временных рядов, аудиосигналов).

Обучение классификатора

Функция классификатора обычно не задается аналитически, а обучается на основе данных. Процесс обучения включает:

Сбор и подготовка данных — формирование обучающей выборки, где для каждого объекта известны его признаки и правильная метка класса.
Выбор модели — определение типа классификатора (например, SVM или нейронная сеть).
Обучение (тренировка) — настройка параметров модели (весов, коэффициентов) таким образом, чтобы минимизировать ошибку классификации на обучающей выборке.
Оценка качества — проверка обученного классификатора на тестовой выборке, не участвовавшей в обучении. Основные метрики: точность (accuracy), полнота (recall), точность (precision), F-мера, площадь под ROC-кривой (AUC).

Оценка и метрики качества

Для оценки функции классификатора используются различные метрики, выбор которых зависит от типа задачи и баланса классов:

Accuracy (доля правильных ответов) — отношение числа правильно классифицированных объектов к общему числу объектов. Неинформативна при сильном дисбалансе классов.
Precision (точность) — доля истинно-положительных результатов среди всех объектов, отнесенных классификатором к данному классу. Показывает, насколько классификатор «не ошибается», когда предсказывает класс.
Recall (полнота) — доля истинно-положительных результатов среди всех объектов, действительно принадлежащих классу. Показывает, какую долю объектов данного класса классификатор «нашел».
F1-мера — гармоническое среднее precision и recall. Используется для сбалансированной оценки.
Матрица ошибок (confusion matrix) — таблица, показывающая количество правильных и ошибочных предсказаний для каждого класса.
ROC-кривая и AUC — используются для бинарной классификации. ROC-кривая показывает зависимость доли истинно-положительных от доли ложно-положительных при изменении порога принятия решения. AUC — площадь под этой кривой.

Применение

Функции классификаторов находят применение в огромном числе областей:

Медицинская диагностика — классификация заболеваний по результатам анализов, снимкам (рентген, МРТ), генетическим данным.
Финансовый сектор — скоринг кредитных заявок, выявление мошеннических транзакций, прогнозирование банкротства.
Обработка текстов — фильтрация спама, определение тональности (позитивная/негативная), тематическая рубрикация, распознавание языка.
Компьютерное зрение — распознавание лиц, обнаружение объектов на изображениях, классификация изображений по сценам.
Биоинформатика — классификация белков, предсказание функций генов, идентификация видов по генетическим последовательностям.
Промышленность — контроль качества продукции (дефектоскопия), классификация материалов по спектральным характеристикам.

Ограничения и проблемы

Функция классификатора не является универсальным решением и сталкивается с рядом проблем:

Переобучение (overfitting) — классификатор слишком точно запоминает обучающую выборку, включая шум, и плохо обобщается на новые данные.
Недообучение (underfitting) — модель слишком проста и не способна уловить закономерности в данных.
Дисбаланс классов — когда один класс представлен значительно меньшим числом примеров, классификатор может игнорировать его, показывая высокую точность за счет предсказания только доминирующего класса.
Проклятие размерности — при большом числе признаков (по сравнению с числом объектов) пространство становится разреженным, и многие алгоритмы теряют эффективность.
Смещение и дисперсия — фундаментальный компромисс между сложностью модели и её способностью обобщать.

Источники

Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer.
James, G., Witten, D., Hastie, T., & Tibshirani, R. (2013). An Introduction to Statistical Learning: with Applications in R. Springer.
Aggarwal, C. C. (2018). Neural Networks and Deep Learning: A Textbook. Springer.
Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
Гудфеллоу, Я., Бенджио, И., & Курвилль, А. (2017). Глубокое обучение. ДМК Пресс.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →