Amazon SageMaker Clarify

Amazon SageMaker Clarify — это компонент облачного сервиса машинного обучения Amazon SageMaker, предназначенный для выявления и анализа потенциальных смещений (bias) в данных и моделях, а также для объяснения предсказаний моделей машинного обучения. Инструмент помогает разработчикам и специалистам по данным оценивать справедливость моделей, интерпретировать их решения и соответствовать нормативным требованиям в области ответственного искусственного интеллекта (Responsible AI). SageMaker Clarify интегрирован в экосистему Amazon Web Services (AWS) и может использоваться как на этапе подготовки данных, так и на этапе оценки обученных моделей.

История и предпосылки создания

Проблема смещений (bias) в алгоритмах машинного обучения привлекла широкое внимание в конце 2010-х годов, когда были выявлены случаи дискриминации по расовому, половому и другим признакам в системах распознавания лиц, кредитного скоринга и найма персонала. В ответ на это крупные технологические компании начали разрабатывать инструменты для аудита моделей. Amazon представила SageMaker Clarify в декабре 2020 года на конференции re:Invent. Инструмент был создан на основе внутренних исследований Amazon по справедливости в машинном обучении, а также с учётом академических работ в области интерпретируемого ИИ (XAI).

Ключевые функции

SageMaker Clarify предоставляет два основных набора возможностей: обнаружение смещений и объяснение предсказаний.

Обнаружение смещений (Bias Detection)

Clarify позволяет измерять различные метрики смещения как на уровне набора данных (предварительное смещение, pre-training bias), так и на уровне предсказаний модели (после обучения, post-training bias). Метрики основаны на сравнении результатов модели для разных групп, определяемых по так называемым «чувствительным признакам» (sensitive attributes), таким как пол, возраст, раса, национальность.

Основные метрики смещения, реализованные в Clarify, включают:

• Разница в положительном прогнозе (Difference in Positive Proportions in Predicted Labels, DPL): разница между долей положительных предсказаний для привилегированной и непривилегированной групп.
• Разница в ошибочных отказах (Difference in Rejection Rates, DRR): разница в частоте отказов (отрицательных предсказаний) между группами.
• Разница в точности (Difference in Accuracy, DA): разница в точности предсказаний между группами.
• Условная демографическая паритет (Conditional Demographic Disparity, CDD): учитывает базовую распространённость признака в данных.
• Разница в дисбалансе классов (Class Imbalance Difference, CID): метрика для оценки несбалансированности данных по группам.

Пользователь может задать пороговые значения для каждой метрики, при превышении которых смещение считается значимым.

Объяснение предсказаний (Explainability)

Для интерпретации решений моделей SageMaker Clarify использует два основных подхода:

• SHAP (SHapley Additive exPlanations): метод, основанный на теории игр, который вычисляет вклад каждого признака в конкретное предсказание. Clarify использует эффективный алгоритм аппроксимации Shapley values — Kernel SHAP, оптимизированный для больших наборов данных. Результатом является график важности признаков (feature importance) как для отдельных предсказаний (локальная интерпретация), так и для модели в целом (глобальная интерпретация).
• Частичные графики зависимости (Partial Dependence Plots, PDP): показывают, как изменение одного или двух признаков влияет на среднее предсказание модели, при условии, что остальные признаки остаются неизменными.

Архитектура и интеграция

SageMaker Clarify работает как часть пайплайна машинного обучения в SageMaker. Он не требует написания отдельного кода — достаточно указать конфигурацию в виде JSON-файла или через SDK. Процесс включает следующие этапы:

1. Создание процессора Clarify: запускается вычислительный экземпляр (например, ml.c5.xlarge), который выполняет анализ.
2. Загрузка данных и модели: Clarify загружает набор данных из Amazon S3 и, при необходимости, модель из SageMaker Model Registry.
3. Вычисление метрик: запускаются алгоритмы для расчёта смещений и/или значений SHAP.
4. Сохранение результатов: отчёты в формате HTML и JSON сохраняются обратно в Amazon S3.

Инструмент интегрируется с другими сервисами AWS, такими как:

• Amazon SageMaker Studio: результаты анализа отображаются в виде интерактивных дашбордов и графиков прямо в интерфейсе IDE.
• Amazon SageMaker Model Monitor: может использоваться совместно для отслеживания дрейфа данных и смещения в производственных моделях.
• AWS CloudTrail: логирует все действия с Clarify для аудита.

Применение

SageMaker Clarify применяется в различных отраслях, где требуется соблюдение этических норм и законодательства:

• Финансовый сектор: оценка справедливости кредитных скоринговых моделей, чтобы избежать дискриминации заявителей по возрасту, полу или месту жительства.
• Здравоохранение: проверка моделей диагностики на предмет смещения в отношении разных демографических групп.
• Рекрутинг: аудит алгоритмов отбора резюме на предмет гендерных или расовых предубеждений.
• Страхование: анализ моделей оценки рисков для обеспечения равного подхода к клиентам.

Ограничения и критика

Несмотря на широкие возможности, SageMaker Clarify имеет ряд ограничений:

• Зависимость от выбора чувствительных признаков: эффективность обнаружения смещения напрямую зависит от того, какие признаки пользователь укажет как «чувствительные». Если важный признак не указан, смещение может остаться незамеченным.
• Сложность интерпретации SHAP: хотя SHAP является математически обоснованным методом, его результаты могут быть трудны для понимания неспециалистами, особенно при большом количестве признаков.
• Вычислительные затраты: расчёт Shapley values для сложных моделей (например, градиентный бустинг или нейронные сети) требует значительных вычислительных ресурсов и времени, что увеличивает стоимость использования.
• Не охватывает все виды смещения: Clarify фокусируется на статистическом смещении, но не учитывает более тонкие формы дискриминации, такие как системное или историческое смещение, которое может быть закодировано в данных.

Некоторые эксперты отмечают, что автоматизированные инструменты, подобные Clarify, могут создавать ложное чувство безопасности, если их использовать без глубокого понимания предметной области и контекста данных.

Источники

1. Amazon Web Services. «Amazon SageMaker Clarify — Fairness and Explainability for Machine Learning». Документация AWS.
2. Lundberg, S. M., & Lee, S. I. (2017). «A Unified Approach to Interpreting Model Predictions». Advances in Neural Information Processing Systems.
3. Bellamy, R. K. E., et al. (2018). «AI Fairness 360: An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias». IBM Journal of Research and Development.
4. Amazon. «AWS re:Invent 2020: Introducing Amazon SageMaker Clarify». Презентация.