Дрейф модели

Дрейф модели — это явление в машинном обучении, заключающееся в постепенном или резком снижении точности и эффективности прогнозной модели с течением времени, вызванное изменением статистических свойств входных данных или взаимосвязей между ними. Дрейф модели является одной из ключевых проблем при эксплуатации систем искусственного интеллекта в реальных условиях, так как модель, обученная на исторических данных, перестаёт адекватно отражать текущую реальность.

Причины возникновения

Дрейф модели возникает из-за нестационарности среды, в которой функционирует модель. Основные причины делятся на две категории: изменение распределения входных данных (ковариатный сдвиг) и изменение зависимости между входными и выходными данными (концептуальный сдвиг).

Ковариатный сдвиг (Covariate Shift)

Ковариатный сдвиг происходит, когда распределение признаков (входных переменных) меняется, а связь между признаками и целевой переменной остаётся прежней. Например, модель, обученная распознавать рукописные цифры на старых почтовых индексах, может начать ошибаться, если почтовая служба изменит стиль написания цифр. В финансовом секторе ковариатный сдвиг возникает при изменении макроэкономических показателей, таких как инфляция или процентные ставки, которые не были представлены в обучающей выборке.

Концептуальный сдвиг (Concept Drift)

Концептуальный сдвиг — это изменение самой зависимости между входными данными и целевой переменной. Модель, предсказывающая вероятность дефолта по кредиту, может перестать работать корректно, если банк изменит свою кредитную политику или если в экономике произойдёт кризис, меняющий поведение заёмщиков. Концептуальный сдвиг часто подразделяют на:

• Внезапный (sudden drift) — резкое изменение, например, в результате введения нового закона или технологического прорыва.
• Постепенный (gradual drift) — медленное изменение, например, сезонные колебания спроса на товары.
• Периодический (recurring drift) — повторяющиеся изменения, например, поведение пользователей в будни и выходные.
• Инкрементальный (incremental drift) — плавное изменение, при котором новая концепция постепенно вытесняет старую.

Дополнительные факторы

• Изменение данных в результате внешних событий (пандемии, войны, санкции).
• Ошибки сбора данных (поломка датчиков, изменение методики измерения).
• Смещение выборки (sample selection bias) — когда данные, на которых модель обучалась, перестают быть репрезентативными для генеральной совокупности.

Типы дрейфа

В зависимости от характера изменений выделяют три основных типа дрейфа модели, которые часто пересекаются:

1. Дрейф данных (Data Drift) — изменение распределения входных признаков. Обнаруживается путём сравнения статистических характеристик (среднее, дисперсия, корреляции) текущих данных с эталонными данными из обучающей выборки.
2. Дрейф концепции (Concept Drift) — изменение связи между признаками и целевой переменной. Выявляется при анализе остатков модели или метрик качества.
3. Дрейф предсказаний (Prediction Drift) — изменение распределения выходных значений модели. Может быть вызван как дрейфом данных, так и дрейфом концепции.

Методы обнаружения

Для своевременного выявления дрейфа модели используются как статистические, так и машинно-обучаемые подходы. Мониторинг обычно проводится в автоматическом режиме на этапе эксплуатации (inference).

Статистические методы

• Сравнение распределений: тест Колмогорова — Смирнова, тест хи-квадрат, расстояние Вассерштейна, дивергенция Кульбака — Лейблера. Сравнивается распределение признаков на обучающей выборке и на новых данных.
• Контрольные карты (Shewhart, CUSUM): отслеживание метрик качества (точность, F1-мера, AUC-ROC) во времени. Если метрика выходит за пределы контрольных границ, фиксируется дрейф.
• Обнаружение точек разладки (Change Point Detection): алгоритмы, такие как PELT (Pruned Exact Linear Time) или Binary Segmentation, находят моменты времени, когда статистические свойства ряда данных резко меняются.

Методы на основе машинного обучения

• Адаптивные модели: использование алгоритмов, способных обновляться в потоке данных (например, онлайн-градиентный спуск, случайные леса с адаптацией, нейронные сети с механизмами внимания).
• Методы на основе ансамблей: поддержание нескольких моделей, обученных на разных временных окнах, и выбор наиболее релевантной для текущих данных.
• Метрики стабильности: вычисление скользящего среднего ошибки и её дисперсии. Резкое увеличение дисперсии или среднего указывает на возможный дрейф.

Мониторинг без доступа к истинным меткам

В реальных условиях часто невозможно сразу получить истинные значения целевой переменной (например, в кредитном скоринге факт дефолта становится известен через месяцы). В таких случаях используются:

• Анализ остатков модели (если доступна часть размеченных данных).
• Косвенные метрики: среднее предсказание, энтропия предсказаний, количество запросов с низкой уверенностью модели.
• Сравнение с эталонной моделью (baseline), которая не обновляется.

Стратегии борьбы с дрейфом

После обнаружения дрейфа необходимо принять меры для восстановления качества модели. Выбор стратегии зависит от типа дрейфа, доступных вычислительных ресурсов и требований к задержке (latency).

Повторное обучение (Retraining)

Наиболее распространённый подход. Модель переобучается на новом наборе данных, включающем как старые, так и новые размеченные примеры. Различают:

• Периодическое обучение (batch retraining) — обновление модели по расписанию (например, раз в неделю).
• Обучение по требованию (trigger-based retraining) — запуск обучения только при обнаружении дрейфа.
• Инкрементальное обучение (online learning) — модель обновляется непрерывно по мере поступления каждого нового примера.

Адаптация модели

• Трансферное обучение (transfer learning): использование предобученной модели и её донастройка на небольшом объёме новых данных.
• Аугментация данных: генерация синтетических примеров, отражающих новое распределение.
• Калибровка модели: корректировка выходных вероятностей без изменения внутренних параметров (например, с помощью изотонической регрессии или метода Платта).

Использование ансамблей

• Dynamic Ensemble Selection: выбор из пула моделей той, которая лучше всего работает на текущем сегменте данных.
• Weighted Ensemble: взвешивание предсказаний нескольких моделей, где веса обновляются на основе последних метрик качества.

Упреждающие меры

• Робастное обучение: обучение модели с учётом возможных дрейфов (например, с использованием состязательных примеров или регуляризации, устойчивой к сдвигам).
• Мониторинг признаков: установка пороговых значений для ключевых признаков; при их превышении система автоматически уведомляет оператора.
• Создание теневых моделей (shadow models): параллельное тестирование новой модели на живых данных без влияния на бизнес-процессы.

Примеры из практики

Финансовый сектор

В 2020 году, в начале пандемии COVID-19, многие модели кредитного скоринга, обученные на докризисных данных, показали резкое падение точности. Изменение поведения заёмщиков (массовые потери работы, государственные субсидии) привело к концептуальному сдвигу. Банки были вынуждены экстренно переобучать модели на данных, собранных в период кризиса, и вводить ручные корректировки.

Электронная коммерция

Рекомендательные системы интернет-магазинов подвержены сезонному дрейфу. Модель, предсказывающая покупку купальников, будет работать хорошо летом, но зимой её точность упадёт. Для борьбы с этим используются периодическое обучение с учётом сезонных факторов и добавление признаков времени года.

Медицина

Модели диагностики по медицинским изображениям могут дрейфовать при смене оборудования (например, новый аппарат МРТ с другим шумом) или при изменении протоколов обработки снимков. В России, по данным Минздрава, системы компьютерного зрения в онкологии проходят регулярную валидацию на новых данных, собранных из разных регионов, чтобы минимизировать дрейф.

Промышленность

На производственных линиях модели прогнозирования отказов оборудования (predictive maintenance) дрейфуют из-за износа деталей или изменения режимов работы. Например, вибрационные характеристики подшипника меняются постепенно, что требует непрерывного мониторинга и адаптации порогов срабатывания.

Критика и ограничения

Несмотря на широкое применение, методы борьбы с дрейфом модели имеют ряд ограничений. Во-первых, частое переобучение может приводить к катастрофическому забыванию (catastrophic forgetting), когда модель теряет способность обрабатывать старые, но всё ещё актуальные паттерны. Во-вторых, обнаружение дрейфа без доступа к истинным меткам остаётся сложной задачей — многие косвенные метрики дают ложные срабатывания. В-третьих, в высоконагруженных системах (например, в поисковых движках) обновление модели в реальном времени может быть технически затруднено из-за требований к задержке.

Кроме того, существует проблема интерпретируемости: даже если дрейф обнаружен, не всегда понятно, какой именно признак или группа признаков его вызвали. Это затрудняет принятие решений о том, какие данные нужно собирать для переобучения. В некоторых случаях, например, в системах кредитного скоринга, дрейф может быть вызван изменением законодательства, что требует не технического, а юридического вмешательства.

Источники

• Gama, J., Žliobaitė, I., Bifet, A., Pechenizkiy, M., & Bouchachia, A. (2014). A survey on concept drift adaptation. ACM Computing Surveys, 46(4), 1–37.
• Widmer, G., & Kubat, M. (1996). Learning in the presence of concept drift and hidden contexts. Machine Learning, 23(1), 69–101.
• Lu, J., Liu, A., Dong, F., Gu, F., Gama, J., & Zhang, G. (2018). Learning under concept drift: A review. IEEE Transactions on Knowledge and Data Engineering, 31(12), 2346–2363.
• Ditzler, G., Roveri, M., Alippi, C., & Polikar, R. (2015). Learning in nonstationary environments: A survey. IEEE Computational Intelligence Magazine, 10(4), 12–25.
• Практическое руководство по мониторингу моделей машинного обучения (MLOps). — Документация платформ Yandex Cloud, SberCloud, 2022–2023.
• Отчёты Банка России о применении искусственного интеллекта в финансовом секторе, 2021–2024.