Предвзятость алгоритмов¶

Предвзятость алгоритмов (алгоритмическая предвзятость, algorithmic bias) — это систематические и повторяющиеся ошибки в работе компьютерных алгоритмов, которые приводят к несправедливым или дискриминационным результатам по отношению к определённым группам людей или отдельным лицам. Предвзятость возникает не из-за злого умысла машин, а из-за особенностей данных, на которых алгоритмы обучаются, или из-за несовершенства их проектирования. Она может проявляться в различных сферах: от кредитного скоринга и найма на работу до систем распознавания лиц и правосудия.

¶Причины возникновения

Предвзятость алгоритмов не является свойством самой технологии, а отражает проблемы, заложенные на этапах её создания и использования. Выделяют несколько основных источников.

¶Предвзятость данных

Это наиболее распространённая причина. Алгоритмы машинного обучения обучаются на исторических данных, которые уже содержат человеческие предубеждения, социальное неравенство или ошибки измерения. Например, если модель найма обучать на данных о прошлых успешных сотрудниках, а в прошлом компания предпочитала мужчин, алгоритм может научиться отдавать предпочтение мужчинам, даже если пол не является релевантным критерием. Другой пример — данные о преступности: если полиция чаще патрулирует определённые районы, данные будут содержать больше записей о преступлениях в этих районах, что приведёт к предвзятому прогнозированию уровня преступности.

¶Предвзятость выборки

Возникает, когда данные для обучения не репрезентативны для всей генеральной совокупности. Например, система распознавания лиц, обученная преимущественно на фотографиях людей со светлой кожей, будет значительно хуже распознавать людей с тёмной кожей. Это связано с тем, что в обучающем наборе данных такие изображения представлены недостаточно.

¶Предвзятость маркировки

Проявляется, когда данные для обучения размечаются (аннотируются) людьми, которые могут вносить собственные субъективные оценки. Например, при обучении модели для модерации контента разметчики могут по-разному оценивать оскорбительные высказывания в зависимости от контекста, диалекта или происхождения автора.

¶Предвзятость проектирования

Закладывается на этапе выбора целевой переменной, метрик оценки и архитектуры модели. Разработчики могут неосознанно или осознанно выбрать такие параметры, которые приведут к дискриминационным результатам. Например, если модель для прогнозирования рецидивизма (вероятности повторного совершения преступления) в качестве целевой переменной использует факт повторного ареста, а не факт повторного преступления, она будет предвзята, так как аресты сами по себе могут быть следствием предвзятости правоохранительной системы.

¶Классификация и виды

Предвзятость алгоритмов классифицируют по разным признакам. Наиболее часто выделяют следующие виды:

• Предвзятость подтверждения (Confirmation bias): Алгоритм интерпретирует информацию таким образом, чтобы подтвердить уже существующие предположения или стереотипы, заложенные в данных.
• Предвзятость группового атрибута (Group attribution bias): Тенденция обобщать характеристики, приписываемые группе, на всех её членов, или, наоборот, приписывать характеристики отдельного члена всей группе (например, стереотипизация).
• Предвзятость взаимодействия (Interaction bias): Возникает, когда пользователь взаимодействует с системой, и эти взаимодействия (например, клики, просмотры) формируют обратную связь, которая усиливает предвзятость. Это характерно для рекомендательных систем.
• Предвзятость скрытых переменных (Latent variable bias): Когда модель использует прокси-переменные (например, почтовый индекс вместо расы), которые коррелируют с защищёнными признаками, что приводит к косвенной дискриминации.

¶Примеры и последствия

Предвзятость алгоритмов имеет реальные и часто серьёзные последствия в различных областях.

¶Кредитование и финансы

Алгоритмы кредитного скоринга могут отказывать в кредитах жителям определённых районов или представителям некоторых этнических групп, даже если их финансовые показатели идентичны другим заявителям. Это происходит из-за использования исторических данных о кредитных историях, которые отражают прошлую дискриминацию.

¶Найм и управление персоналом

Системы отбора резюме могут дискриминировать женщин, пожилых людей или соискателей с нетрадиционными именами. Известен случай, когда алгоритм крупной технологической компании (Amazon) был обучен на резюме за 10 лет, большинство из которых принадлежало мужчинам, и в результате начал автоматически понижать рейтинг резюме, содержащих слово «женский» (например, «женский футбольный клуб»).

¶Правосудие и правоохранительные органы

В США используется система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) для оценки риска рецидивизма. Исследования показали, что эта система значительно чаще ошибочно оценивает афроамериканцев как склонных к повторному совершению преступления, чем белых, при том же уровне фактического рецидивизма. Это может влиять на решения судей о мере пресечения или сроке наказания.

¶Медицина

Алгоритмы диагностики, обученные на данных о преимущественно белых пациентах, могут быть менее точными для пациентов других рас. Например, некоторые алгоритмы оценки функции почек были скорректированы с учётом расы, что могло приводить к задержке постановки диагноза и лечения у афроамериканцев.

¶Распознавание лиц

Системы распознавания лиц, используемые правоохранительными органами и в коммерческих целях, демонстрируют значительно более высокую ошибку при идентификации людей с тёмной кожей, особенно женщин. Это может приводить к ложным арестам и другим нарушениям прав граждан.

¶Методы выявления и смягчения

Для борьбы с предвзятостью алгоритмов разрабатываются различные методы, которые можно разделить на три этапа: до, во время и после обучения модели.

¶На этапе сбора и подготовки данных

• Аудит данных: Проверка репрезентативности, полноты и отсутствия систематических ошибок в обучающих данных.
• Сбор более разнообразных данных: Обеспечение достаточного представительства всех групп населения.
• Перемаркировка: Корректировка меток, если обнаружена предвзятость разметчиков.

¶На этапе обучения модели

• Использование метрик справедливости: Введение в процесс обучения дополнительных метрик, таких как демографический паритет (равная вероятность положительного исхода для всех групп) или равные возможности (одинаковая точность для всех групп).
• Алгоритмические корректировки: Изменение весов признаков или добавление регуляризаторов, штрафующих за несправедливые решения.

¶На этапе развёртывания и мониторинга

• Постоянный мониторинг: Отслеживание результатов работы алгоритма в реальном времени на предмет появления новых или усиления существующих предвзятостей.
• Аудит «чёрного ящика»: Использование методов объяснимого искусственного интеллекта (XAI) для понимания того, какие признаки и как влияют на решение алгоритма.
• Прозрачность и отчётность: Публикация отчётов о справедливости алгоритмов, особенно в социально значимых областях.

¶Критика и дискуссия

Вопрос предвзятости алгоритмов вызывает широкую общественную дискуссию. Критики утверждают, что алгоритмы не просто отражают существующее неравенство, но и усиливают его, делая дискриминацию более скрытой, автоматизированной и масштабируемой. Существует опасение, что «объективность» машин создаёт иллюзию беспристрастности, в то время как на деле они воспроизводят и закрепляют социальные стереотипы.

С другой стороны, некоторые исследователи отмечают, что алгоритмы могут быть менее предвзятыми, чем люди, если их правильно разработать, так как они не подвержены усталости, эмоциям и сознательным предрассудкам. Однако для этого требуется строгий контроль и регуляция.

В России проблема предвзятости алгоритмов также обсуждается, особенно в контексте использования систем искусственного интеллекта в государственном управлении, медицине и образовании. Разрабатываются этические кодексы и стандарты в области ИИ, которые, в частности, направлены на предотвращение дискриминации.

¶Интересные факты

• Термин «алгоритмическая справедливость» (algorithmic fairness) стал активно использоваться в научной литературе с начала 2010-х годов, хотя сама проблема была известна и раньше.
• В 2018 году в Европейском союзе вступил в силу Общий регламент по защите данных (GDPR), который содержит статью, дающую гражданам право не подвергаться решениям, основанным исключительно на автоматизированной обработке данных, включая профилирование, если это влечёт за собой юридические последствия.
• Существуют соревнования (например, на платформе Kaggle) по обнаружению и устранению предвзятости в алгоритмах, где участники соревнуются в создании наиболее справедливых моделей.