Алгоритмическая предвзятость

Алгоритмическая предвзятость (англ. algorithmic bias) — это систематические и повторяющиеся ошибки в работе компьютерных алгоритмов, которые приводят к несправедливым или дискриминационным результатам по отношению к определённым группам людей или отдельным лицам. Такая предвзятость возникает не из-за технических сбоев, а вследствие заложенных в алгоритм данных, проектных решений разработчиков или особенностей контекста применения. Алгоритмическая предвзятость может проявляться в различных областях, включая кредитование, найм на работу, уголовное правосудие, здравоохранение и поисковые системы.

Причины возникновения

Предвзятость в обучающих данных

Наиболее распространённая причина алгоритмической предвзятости — использование для обучения модели исторических данных, которые уже содержат социальные, расовые, гендерные или иные предубеждения. Например, если алгоритм для отбора резюме обучался на данных о найме в компании, где исторически преобладали мужчины, он может научиться отдавать предпочтение кандидатам-мужчинам, даже если пол не является релевантным критерием. Исследование 2018 года, проведённое учёными из Массачусетского технологического института (MIT) и Стэнфордского университета, показало, что система распознавания лиц от компаний Microsoft, IBM и Face++ (компания Meta признана экстремистской и запрещена в РФ) демонстрировала значительно более высокую ошибку при определении пола у темнокожих женщин (до 34,7%) по сравнению со светлокожими мужчинами (0,8%), что объяснялось непропорционально малым количеством изображений тёмнокожих женщин в обучающих выборках.

Предвзятость в выборе признаков

Разработчики могут сознательно или неосознанно выбирать для анализа признаки, которые коррелируют с защищёнными категориями (раса, пол, возраст, религия). Например, при оценке кредитоспособности использование почтового индекса может служить косвенным показателем расовой принадлежности, если в определённых районах исторически проживают преимущественно представители одной этнической группы. В США в 2019 году было выявлено, что алгоритм оценки риска рецидивизма COMPAS, используемый в судебной системе, давал афроамериканцам вдвое более высокие оценки вероятности повторного преступления, чем белым, при одинаковых фактических показателях рецидивизма.

Предвзятость в процессе разработки

Цели, поставленные перед алгоритмом, и метрики его оценки могут быть неполными или некорректными. Если алгоритм оптимизируется исключительно на точность прогноза, он может игнорировать вопросы справедливости. Кроме того, недостаток разнообразия в командах разработчиков (например, доминирование мужчин-программистов) может приводить к тому, что определённые социальные контексты и потребности остаются незамеченными. Исследование 2021 года, опубликованное в журнале Nature, показало, что алгоритмы машинного обучения, используемые в системах здравоохранения США, систематически недооценивали потребности в медицинской помощи у темнокожих пациентов, поскольку модель обучалась на данных о расходах на здравоохранение, которые у этой группы были ниже из-за исторического неравного доступа к медицинским услугам.

Классификация видов предвзятости

Статистическая предвзятость

Возникает, когда выборка данных нерепрезентативна по отношению к генеральной совокупности. Например, если алгоритм для распознавания речи обучался преимущественно на записях носителей стандартного американского английского, он будет хуже распознавать речь людей с акцентом или диалектом.

Когнитивная предвзятость

Связана с ошибками человеческого мышления, которые переносятся в алгоритм. Например, эффект подтверждения (склонность искать и интерпретировать информацию, подтверждающую уже существующие убеждения) может проявляться в алгоритмах рекомендаций, которые показывают пользователю только тот контент, который соответствует его предыдущим предпочтениям, усиливая «пузыри фильтров».

Социальная предвзятость

Отражает существующие в обществе стереотипы и неравенство. Например, алгоритмы, используемые в системах автоматического перевода, могут закреплять гендерные стереотипы: при переводе с турецкого языка, где местоимения не имеют рода, на английский, нейросеть часто приписывает профессии «врач» или «инженер» мужской род, а «медсестра» или «учитель» — женский.

Примеры проявления

В сфере найма

В 2014 году компания Amazon разработала алгоритм для автоматического отбора резюме. Система обучалась на данных о найме за десятилетний период, в течение которого в компании преобладали мужчины. В результате алгоритм начал штрафовать резюме, содержащие слово «женщина» (например, «женский шахматный клуб»), и отдавать предпочтение кандидатам-мужчинам. Amazon отказалась от использования этого инструмента в 2015 году, но аналогичные проблемы продолжают возникать в других компаниях.

В уголовном правосудии

Система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), разработанная компанией Northpointe (ныне Equivant), использовалась в судах нескольких штатов США для оценки риска рецидивизма. Расследование ProPublica в 2016 году показало, что алгоритм ошибочно классифицировал афроамериканцев как «высокорисковых» в два раза чаще, чем белых, при этом белые преступники чаще, чем афроамериканцы, ошибочно классифицировались как «низкорисковые». Компания-разработчик оспаривала методологию исследования, но инцидент привлёк широкое общественное внимание к проблеме.

В рекламе и кредитовании

В 2019 году исследователи из Университета Карнеги — Меллона обнаружили, что алгоритмы показа рекламы в Facebook (компания Meta признана экстремистской и запрещена в РФ) демонстрировали объявления о вакансиях в сфере программирования мужчинам значительно чаще, чем женщинам, даже при одинаковых настройках таргетинга. В сфере кредитования алгоритмы могут отказывать в выдаче займов жителям определённых районов, что косвенно дискриминирует по расовому или этническому признаку.

Методы выявления и смягчения

Аудит алгоритмов

Для выявления предвзятости проводятся независимые аудиты, в ходе которых тестируется работа алгоритма на различных демографических группах. Например, в 2020 году компания IBM выпустила инструмент AI Fairness 360 с открытым исходным кодом, который позволяет разработчикам проверять модели на наличие предвзятости и применять методы её коррекции.

Обеспечение разнообразия данных

Сбор репрезентативных обучающих выборок, включающих все значимые группы населения, является ключевым шагом. В некоторых случаях применяются методы аугментации данных (искусственное увеличение выборки за счёт модификации существующих данных) или синтетической генерации недостающих примеров.

Учёт справедливости на этапе проектирования

Разработка алгоритмов с явным учётом критериев справедливости (например, равная точность для всех групп или равные вероятности ошибок). В 2021 году Национальный институт стандартов и технологий США (NIST) опубликовал рекомендации по управлению рисками, связанными с предвзятостью в системах искусственного интеллекта.

Регуляторные меры

В 2018 году вступил в силу Общий регламент по защите данных (GDPR) Европейского союза, который включает статью 22, предоставляющую гражданам право не подвергаться решениям, основанным исключительно на автоматизированной обработке данных, включая профилирование, если такие решения имеют юридические последствия. В 2023 году Европейский парламент одобрил проект Закона об искусственном интеллекте (AI Act), который классифицирует системы ИИ по уровню риска и устанавливает обязательные требования к прозрачности и справедливости для систем высокого риска.

Критика и ограничения подходов

Противодействие алгоритмической предвзятости сталкивается с рядом проблем. Во-первых, не существует единого математического определения «справедливости» — разные критерии (равная точность, равные возможности, равное воздействие) могут противоречить друг другу, и невозможно одновременно удовлетворить всем. Во-вторых, попытки устранить предвзятость могут привести к обратному эффекту — если алгоритм «корректирует» историческое неравенство, это может восприниматься как дискриминация в отношении групп, которые ранее были в привилегированном положении. В-третьих, многие алгоритмы являются «чёрными ящиками» (особенно нейросети глубокого обучения), что затрудняет объяснение их решений и выявление источников предвзятости.

Источники

1. Bias in Algorithmic Decision-Making — отчёт Национального института стандартов и технологий США (NIST), 2021.
2. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification — исследование Joy Buolamwini и Timnit Gebru, 2018.
3. Machine Bias — расследование ProPublica о системе COMPAS, 2016.
4. Dissecting racial bias in an algorithm used to manage the health of populations — статья в журнале Science, 2019.
5. Amazon scraps secret AI recruiting tool that showed bias against women — публикация Reuters, 2018.
6. AI Fairness 360: An Extensible Toolkit for Detecting and Mitigating Algorithmic Bias — документация IBM Research, 2020.
7. Regulation (EU) 2016/679 of the European Parliament and of the Council (General Data Protection Regulation) — текст GDPR, 2016.
8. The European Union’s Artificial Intelligence Act — проект закона, 2023.