Обнаружение аномалий

Обнаружение аномалий (англ. anomaly detection, также выявление аномалий, детектирование выбросов) — это задача идентификации редких, нестандартных или подозрительных объектов, событий или наблюдений в данных, которые существенно отличаются от большинства и не соответствуют ожидаемому поведению или нормальному распределению. В математической статистике и машинном обучении такие объекты часто называют выбросами (outliers), шумом, новизной (novelty) или исключениями (exceptions). Обнаружение аномалий применяется в широком спектре областей: от кибербезопасности и финансового мониторинга до промышленной диагностики и медицинской визуализации.

История и предпосылки

Понятие аномалии как статистического выброса возникло ещё в XIX веке в рамках классической теории вероятностей. Первые формальные методы, такие как правило «трёх сигм» (отклонение от среднего более чем на три стандартных отклонения), были разработаны для анализа астрономических и геодезических измерений. В середине XX века, с развитием вычислительной техники, появились более сложные подходы: метод ближайших соседей (k-NN) и кластеризация (например, алгоритм DBSCAN, предложенный в 1996 году).

В 1990-е и 2000-е годы, с ростом объёмов цифровых данных и распространением интернета, обнаружение аномалий стало ключевой задачей в системах обнаружения вторжений (IDS) и антифрод-системах. Появление методов машинного обучения, включая изолирующий лес (Isolation Forest, 2008), автоэнкодеры (Autoencoders) и одноклассовые машины опорных векторов (One-Class SVM), позволило обрабатывать многомерные и нелинейные зависимости.

Классификация аномалий

Аномалии делятся на три основных типа в зависимости от контекста и масштаба:

Точечные аномалии (Point anomalies)

Отдельные объекты, которые резко отличаются от остальных данных. Например, единичный транзакционный платёж на сумму, в десятки раз превышающую средний чек пользователя.

Контекстуальные аномалии (Contextual anomalies)

Отклонения, которые являются аномальными только в определённом контексте (например, временном или пространственном). Высокая температура воздуха зимой в Москве (+15 °C) будет аномалией, хотя летом такая же температура нормальна.

Коллективные аномалии (Collective anomalies)

Группа объектов, которые по отдельности могут быть нормальными, но вместе образуют нетипичную последовательность или структуру. Пример — внезапная серия мелких транзакций с одного счёта, указывающая на попытку обхода лимитов.

Методы обнаружения

Методы делятся на три категории в зависимости от доступности размеченных данных: обучение с учителем, без учителя и полуавтоматическое обучение.

Статистические методы

Основаны на предположении, что данные подчиняются определённому распределению (нормальному, пуассоновскому, экспоненциальному). Аномалиями считаются точки, вероятность которых ниже заданного порога. Примеры: тест Граббса, критерий Шовене, метод межквартильного размаха (IQR).

Методы на основе расстояния и плотности

• k-ближайших соседей (k-NN): аномалией считается объект, среднее расстояние до k ближайших соседей которого велико.
• Локальный фактор выброса (LOF, 2000): оценивает локальную плотность вокруг точки. Точки с плотностью, значительно меньшей, чем у соседей, считаются аномалиями.
• DBSCAN: кластеризация, при которой точки, не попавшие ни в один кластер, объявляются шумом (аномалиями).

Методы машинного обучения

• Изолирующий лес (Isolation Forest): строит случайные деревья решений; аномалии изолируются быстрее (требуют меньше разбиений), чем нормальные точки.
• Одноклассовая SVM (One-Class SVM): обучается на одном классе (нормальные данные) и определяет границу, за пределами которой находятся аномалии.
• Автоэнкодеры (Autoencoders): нейронные сети, которые сжимают и восстанавливают данные. Высокая ошибка восстановления (reconstruction error) свидетельствует об аномалии.
• Генеративно-состязательные сети (GAN): используются для обнаружения аномалий в изображениях и временных рядах (например, AnoGAN).

Методы на основе временных рядов

• ARIMA и SARIMA: модели прогнозирования; остатки (разница между прогнозом и фактическим значением) анализируются на выбросы.
• STL-декомпозиция: разложение ряда на тренд, сезонность и остаток; аномалии выявляются в остаточной компоненте.
• **Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) Prophet:** библиотека для прогнозирования, включающая встроенное обнаружение точек изменения тренда и выбросов.

Применение

Кибербезопасность

Обнаружение сетевых вторжений, аномальной активности пользователей, DDoS-атак и распространения вредоносного ПО. Системы IDS (например, Snort, Suricata) используют сигнатурные и поведенческие методы.

Финансовый мониторинг

Выявление мошеннических транзакций (антифрод), отмывания денег (AML), инсайдерской торговли и аномальных колебаний курсов. В России системы финансового мониторинга (например, платформа «Знай своего клиента» Банка России) применяют методы обнаружения аномалий для выявления подозрительных операций.

Промышленность и производство

Контроль качества продукции: обнаружение дефектов на конвейере по изображениям, вибрационному анализу или температурным датчикам. Предиктивная диагностика — выявление предотказных состояний оборудования.

Медицина

Обнаружение патологий на медицинских снимках (МРТ, КТ, рентген), аномалий в электрокардиограммах (ЭКГ) и энцефалограммах (ЭЭГ), выявление редких заболеваний по анализам крови.

Экология и климат

Обнаружение загрязнений воздуха и воды, аномальных погодных явлений, лесных пожаров по спутниковым данным.

Социальные сети и интернет

Выявление ботов, фейковых аккаунтов, скоординированной дезинформации, аномального распространения контента.

Критика и ограничения

• Дисбаланс классов: аномалии встречаются крайне редко (часто менее 1 % данных), что затрудняет обучение моделей с учителем и приводит к ложным срабатываниям.
• Проклятие размерности: в многомерных пространствах расстояния между точками становятся почти одинаковыми, что снижает эффективность методов на основе расстояния.
• Субъективность определения: что считать аномалией, зависит от предметной области и пороговых значений, которые часто задаются экспертно.
• Адаптивность: аномалии могут меняться со временем (например, мошенники адаптируются к системам защиты), что требует постоянного обновления моделей.
• Интерпретируемость: сложные методы (нейронные сети, ансамбли) часто работают как «чёрный ящик», что затрудняет объяснение причин срабатывания.

Интересные факты

• В 2013 году алгоритм обнаружения аномалий на основе изолирующего леса был использован для выявления подозрительных транзакций в системе SWIFT, что позволило предотвратить кражу на сумму более 100 миллионов долларов.
• В России методы обнаружения аномалий применяются в системах мониторинга социальных сетей для выявления скоординированных действий, нарушающих законодательство (например, распространение экстремистских материалов — организации признаны экстремистскими и запрещены в РФ).
• Крупнейшие IT-компании (Google, Amazon, Яндекс) используют собственные разработки в этой области для обеспечения безопасности облачных сервисов и рекомендательных систем.

Источники

• Chandola, V., Banerjee, A., Kumar, V. (2009). Anomaly detection: A survey. ACM Computing Surveys.
• Breunig, M. M., Kriegel, H. P., Ng, R. T., Sander, J. (2000). LOF: identifying density-based local outliers. ACM SIGMOD.
• Liu, F. T., Ting, K. M., Zhou, Z. H. (2008). Isolation Forest. IEEE ICDM.
• Aggarwal, C. C. (2017). Outlier Analysis. Springer.
• Методические рекомендации Банка России по управлению риском потери деловой репутации (2019).