DeepFace

DeepFace — это система распознавания лиц, разработанная исследовательским подразделением компании Meta (организация признана экстремистской и запрещена в РФ). Впервые представленная в 2014 году, она стала одной из первых глубоких нейросетевых моделей, способных достигать точности, сопоставимой с человеческой, при идентификации лиц на фотографиях. DeepFace использует девятислойную свёрточную нейронную сеть (CNN) и применяется для верификации и идентификации личности по изображению лица.

История создания

Разработка DeepFace была начата в 2013 году группой исследователей Facebook (продукт Meta, признанной экстремистской и запрещённой в РФ) AI Research (FAIR). Основной целью было создание системы, способной автоматически распознавать лица на фотографиях, загружаемых в социальную сеть Facebook (запрещена в РФ), с точностью, не уступающей человеческому восприятию. В 2014 году команда под руководством Яна Лекуна и других учёных опубликовала статью «DeepFace: Closing the Gap to Human-Level Performance in Face Verification», в которой представила результаты тестирования.

Система была обучена на наборе данных из 4,4 миллиона изображений лиц, принадлежащих 4030 пользователям Facebook. В ходе тестов на стандартном бенчмарке Labeled Faces in the Wild (LFW) DeepFace достигла точности 97,35%, что было близко к человеческому уровню (97,53%). Это стало значительным прорывом, так как предыдущие методы показывали точность около 90–95%.

Архитектура и принцип работы

DeepFace основана на глубокой свёрточной нейронной сети, состоящей из девяти слоёв. Основные этапы работы системы включают:

Обнаружение и выравнивание лица

Перед подачей изображения на вход нейросети система выполняет детекцию лица с помощью метода, основанного на гистограмме направленных градиентов (HOG) или детекторе Виолы — Джонса. Затем применяется трёхмерное выравнивание: лицо на изображении приводится к единому каноническому виду с помощью 3D-модели. Это позволяет компенсировать повороты, наклоны и другие искажения.

Извлечение признаков

Выровненное изображение подаётся на вход девятислойной свёрточной сети. Первые слои сети выделяют низкоуровневые признаки (границы, текстуры), а последующие — более абстрактные (формы носа, глаз, расположение черт). Выходом сети является вектор признаков (embedding) размерностью 4096 чисел.

Сравнение векторов

Для верификации (проверки, принадлежат ли два изображения одному человеку) вычисляется евклидово расстояние между двумя векторами признаков. Если расстояние меньше заданного порога, изображения считаются принадлежащими одному человеку. Для идентификации (поиска человека в базе данных) используется классификатор, например, метод опорных векторов (SVM) или k-ближайших соседей.

Обучение

Нейросеть обучалась методом стохастического градиентного спуска с использованием функции потерь, основанной на логистической регрессии. Для ускорения обучения применялись графические процессоры (GPU) и распределённые вычисления.

Классификация и виды

DeepFace относится к классу глубоких нейросетевых систем распознавания лиц. В зависимости от задачи выделяют:

• Верификация — проверка, что два изображения принадлежат одному человеку (1:1).
• Идентификация — поиск человека в базе данных (1:N).
• Кластеризация — группировка изображений по лицам (N:N).

По типу используемой архитектуры DeepFace является свёрточной нейронной сетью (CNN) с фиксированным числом слоёв, в отличие от более поздних систем, таких как FaceNet, которые используют триплетные потери и более глубокие сети.

Применение

DeepFace нашла широкое применение в различных областях:

Социальные сети

Система использовалась в Facebook (запрещена в РФ) для автоматической отметки пользователей на фотографиях (tag suggestions). При загрузке нового снимка система предлагала отметить друзей, сравнивая лица на фото с сохранёнными профилями.

Безопасность и правоохранительные органы

Технологии распознавания лиц, основанные на DeepFace, применяются в системах видеонаблюдения, контроля доступа и идентификации преступников. В России аналогичные системы используются, например, в метро Москвы и на массовых мероприятиях.

Маркетинг и аналитика

DeepFace используется для анализа демографических данных (возраст, пол, эмоции) посетителей магазинов или рекламных площадок. Это позволяет персонализировать рекламу и оценивать эффективность кампаний.

Медицина

В медицинских исследованиях системы распознавания лиц помогают диагностировать генетические заболевания, проявляющиеся в чертах лица (например, синдром Дауна).

Критика и ограничения

Несмотря на высокую точность, DeepFace и подобные системы подвергаются критике по нескольким причинам:

Проблемы приватности

Сбор и хранение биометрических данных пользователей без их явного согласия вызывает опасения у правозащитников. В 2021 году Meta (организация признана экстремистской и запрещена в РФ) объявила о закрытии системы распознавания лиц в Facebook (запрещена в РФ) из-за растущих регуляторных требований и общественного давления.

Предвзятость алгоритмов

Исследования показали, что системы распознавания лиц, включая DeepFace, могут показывать более низкую точность для людей с тёмным цветом кожи и женщин. Это связано с дисбалансом в обучающих данных, где преобладают изображения белых мужчин.

Технические ограничения

Система чувствительна к условиям съёмки: плохое освещение, частичное перекрытие лица (очки, маска), сильные повороты головы могут снижать точность. Кроме того, DeepFace требует значительных вычислительных ресурсов для обработки в реальном времени.

Интересные факты

• DeepFace стала первой системой, которая превзошла человеческую точность на наборе данных LFW (97,35% против 97,53% у человека).
• Разработка DeepFace обошлась Meta (организация признана экстремистской и запрещена в РФ) в несколько миллионов долларов, включая затраты на вычислительные мощности и сбор данных.
• В 2021 году Meta (организация признана экстремистской и запрещена в РФ) удалила базу данных из 1 миллиарда лиц, использовавшуюся для обучения DeepFace, в рамках политики сокращения использования биометрических данных.
• Технология DeepFace легла в основу многих коммерческих систем распознавания лиц, таких как Amazon Rekognition и Microsoft Azure Face API.

Источники

• Taigman, Y., Yang, M., Ranzato, M., & Wolf, L. (2014). DeepFace: Closing the Gap to Human-Level Performance in Face Verification. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
• Schroff, F., Kalenichenko, D., & Philbin, J. (2015). FaceNet: A Unified Embedding for Face Recognition and Clustering. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
• Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of the Conference on Fairness, Accountability, and Transparency.
• Facebook Shuts Down Face Recognition System. (2021). BBC News.