Джой Буоламвини

Джой Буоламвини (англ. Joy Buolamwini; род. 1989) — канадско-американский учёный в области компьютерных наук, исследовательница алгоритмической справедливости и основательница «Лиги справедливости алгоритмов» (Algorithmic Justice League). Известна прежде всего своими работами, выявившими расовую и гендерную предвзятость в системах распознавания лиц, что привело к широкому общественному обсуждению этических проблем искусственного интеллекта (ИИ) и побудило крупные технологические компании к пересмотру своей продукции.

Биография

Ранние годы и образование

Джой Буоламвини родилась в 1989 году в Канаде в семье эмигрантов из Ганы. Детство провела в США, в штате Миссисипи. С ранних лет увлекалась компьютерными технологиями и программированием. В 2012 году получила степень бакалавра наук в области компьютерных наук в Технологическом институте Джорджии (Georgia Tech). В 2016 году получила степень магистра наук в области медиаискусства и науки в Массачусетском технологическом институте (MIT), а в 2022 году — степень доктора философии (PhD) в области компьютерных наук там же.

Научная и общественная деятельность

Ключевым моментом в карьере Буоламвини стал её дипломный проект в MIT, в ходе которого она обнаружила, что коммерческие системы распознавания лиц от таких компаний, как Microsoft, IBM и Face++, демонстрируют значительно более низкую точность при определении людей с тёмным оттенком кожи и женщин, особенно афроамериканок. В 2016 году она опубликовала исследование «Gender Shades» (Тени гендера), в котором проанализировала три коммерческих продукта и выявила, что ошибка распознавания для светлокожих мужчин составляла менее 1 %, в то время как для тёмнокожих женщин достигала 35 %. Это исследование вызвало широкий резонанс.

В 2016 году Буоламвини основала «Лигу справедливости алгоритмов» (Algorithmic Justice League) — некоммерческую организацию, ставящую целью повышение осведомлённости о предвзятости в алгоритмах и продвижение этических стандартов в разработке ИИ. Организация проводит исследования, адвокационные кампании и консультации для компаний и государственных органов.

В 2018 году Microsoft и IBM официально заявили, что на основе выводов исследования «Gender Shades» улучшили свои системы распознавания лиц. В 2020 году, на фоне протестов Black Lives Matter, IBM объявила о прекращении разработки и продажи технологий распознавания лиц, сославшись, в том числе, на проблемы предвзятости, выявленные Буоламвини.

Основные исследования и вклад

«Gender Shades» (2016)

Основное исследование, принёсшее Буоламвини известность. В нём она проанализировала три коммерческих API (интерфейса программирования приложений) для распознавания лиц: от Microsoft, IBM и Face++. Для тестирования использовался набор данных, состоящий из фотографий политиков и активистов, сбалансированный по полу и цвету кожи. Результаты показали, что все три системы имели значительную ошибку при классификации лиц тёмнокожих женщин, ошибочно определяя их пол. Исследование было опубликовано в 2018 году в рецензируемом журнале.

«Слепое пятно» (Blind Spot)

В 2019 году Буоламвини совместно с коллегами из MIT опубликовала работу «Blind Spot: Gender Bias in Facial Recognition», в которой расширила анализ на системы от Amazon (Rekognition) и других компаний. Исследование подтвердило, что проблема предвзятости носит системный характер и не ограничивается отдельными продуктами. В ответ на это Amazon заявила, что её система не предназначена для использования в правоохранительных органах, но позже, в 2020 году, временно ввела мораторий на продажу технологии полиции.

«Лига справедливости алгоритмов» (Algorithmic Justice League)

Организация, основанная Буоламвини, занимается:

• Исследованиями: выявление и документирование случаев алгоритмической предвзятости.
• Адвокацией: публичные кампании, направленные на привлечение внимания СМИ и политиков к проблеме.
• Образованием: создание учебных материалов и проведение воркшопов для разработчиков и пользователей ИИ.
• Консультированием: помощь компаниям и государственным органам в разработке этических стандартов и аудита алгоритмов.

Критика и влияние

Критика

Работы Буоламвини подвергались критике со стороны некоторых представителей индустрии, которые утверждали, что выявленные проблемы преувеличены или что системы распознавания лиц постоянно совершенствуются. Также высказывались мнения, что её методология (использование ограниченного набора данных) не позволяет делать обобщающие выводы. Однако эти замечания не получили широкой поддержки в научном сообществе, и большинство экспертов признали её вклад в понимание проблемы.

Влияние на индустрию

Исследования Буоламвини оказали значительное влияние на политику крупных технологических компаний:

• Microsoft в 2018 году заявила об улучшении точности своих систем распознавания лиц для тёмнокожих женщин.
• IBM в 2020 году объявила о прекращении разработки и продажи технологий распознавания лиц, сославшись на проблемы предвзятости и прав человека.
• Amazon в 2020 году ввела мораторий на продажу своей технологии распознавания лиц полиции, хотя позже возобновила продажи.
• Google в 2020 году объявила, что не будет продавать технологии распознавания лиц, пока не будут решены проблемы точности и предвзятости.

Влияние на законодательство

Работы Буоламвини стали одним из факторов, способствовавших принятию законов, ограничивающих использование технологий распознавания лиц в ряде городов и штатов США (например, в Сан-Франциско, Бостоне, Окленде, штате Калифорния). В 2021 году Европейский союз предложил проект закона об искусственном интеллекте (AI Act), который, в том числе, вводит жёсткие ограничения на использование систем биометрической идентификации в общественных местах.

Награды и признание

• 2017: Включена в список «30 Under 30» по версии журнала Forbes.
• 2019: Получила премию «Лучший молодой учёный» (Best Young Scientist) на конференции по искусственному интеллекту AAAI.
• 2020: Названа одной из «100 самых влиятельных людей мира» по версии журнала Time.
• 2021: Получила премию «Герой года» (Hero of the Year) от журнала Time.
• 2022: Вошла в список «50 самых влиятельных женщин в технологиях» по версии Forbes.
• 2023: Получила премию «За выдающиеся достижения в области компьютерных наук» от Ассоциации вычислительной техники (ACM).

Публикации

• Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, 77–91.
• Buolamwini, J. (2022). Unmasking AI: My Mission to Protect What Is Human in a World of Machines. Random House. (Книга, вышедшая в 2023 году).

См. также

• Алгоритмическая справедливость
• Предвзятость в искусственном интеллекте
• Распознавание лиц
• Тимнит Гебру

Источники

• Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency.
• Buolamwini, J. (2022). Unmasking AI: My Mission to Protect What Is Human in a World of Machines. Random House.
• "Joy Buolamwini". Forbes 30 Under 30 (2017).
• "The 100 Most Influential People of 2020". Time.
• "IBM to stop developing facial recognition technology due to 'racial and gender bias' concerns". The Guardian (2020).
• "Amazon bans police from using its facial recognition technology for a year". The Verge (2020).