Мультимодальные биометрические системы

Мультимодальная биометрическая система — это автоматизированная система идентификации или аутентификации личности, использующая два или более различных биометрических признака (модальностей) человека для повышения точности, надёжности и устойчивости к подделкам. В отличие от одномодальных систем, которые полагаются на один признак (например, отпечаток пальца или лицо), мультимодальные системы объединяют информацию из нескольких источников, таких как отпечатки пальцев, геометрия лица, радужная оболочка глаза, голос, рисунок вен или динамика подписи.

История развития

Развитие мультимодальных биометрических систем началось в конце 1990-х — начале 2000-х годов, когда стало очевидно, что одномодальные системы имеют существенные ограничения. Основные проблемы одномодальных систем включали высокий уровень ложных отказов (False Rejection Rate, FRR) и ложных принятий (False Acceptance Rate, FAR), а также уязвимость к подделкам (например, использование силиконовых муляжей пальцев или фотографий лица).

Первые работы по мультимодальной биометрии были связаны с объединением отпечатков пальцев и геометрии лица. В 2000 году исследователи из Мичиганского университета (США) предложили методы слияния на уровне признаков и на уровне решений. В 2003 году Национальный институт стандартов и технологий США (NIST) начал программу оценки мультимодальных систем, что стимулировало развитие стандартов и алгоритмов.

В России активные исследования в этой области ведутся с середины 2000-х годов. В 2008 году в Московском государственном университете имени М. В. Ломоносова были разработаны первые отечественные алгоритмы слияния данных для систем контроля доступа. С 2010-х годов мультимодальные системы начали внедряться в государственные проекты, такие как Единая биометрическая система (ЕБС) России, запущенная в 2018 году.

Принцип работы

Мультимодальная биометрическая система включает несколько этапов обработки данных:

1. Сбор данных: датчики захватывают биометрические признаки разных модальностей (например, сканер отпечатков пальцев, камера для лица, микрофон для голоса).
2. Предварительная обработка: очистка шума, нормализация, выделение областей интереса.
3. Извлечение признаков: для каждой модальности формируется вектор признаков (например, миниитцы для отпечатков, гистограммы направленных градиентов для лица, мел-частотные кепстральные коэффициенты для голоса).
4. Слияние (фузия): объединение информации из разных модальностей на одном из уровней.
5. Принятие решения: сравнение объединённого шаблона с эталоном и выдача результата (идентификация или аутентификация).

Уровни слияния

Существует четыре основных подхода к слиянию данных в мультимодальных системах:

• Слияние на уровне датчиков: объединение сырых данных (например, наложение изображений лица и отпечатка пальца). Редко используется из-за разной природы данных.
• Слияние на уровне признаков: конкатенация векторов признаков из разных модальностей в один общий вектор. Требует нормализации и может быть вычислительно затратным.
• Слияние на уровне оценок (score-level fusion): объединение числовых оценок сходства, полученных от каждой модальности. Наиболее распространённый метод, так как он прост в реализации и не требует доступа к внутренним представлениям.
• Слияние на уровне решений: каждая модальность принимает независимое решение (да/нет), а затем применяется правило голосования (например, большинство или логическое «И»/«ИЛИ»).

Классификация

Мультимодальные биометрические системы классифицируются по нескольким критериям:

По типу используемых модальностей

• Физиологические: отпечатки пальцев, геометрия лица, радужная оболочка глаза, сетчатка глаза, рисунок вен ладони или пальца, форма уха, термограмма лица.
• Поведенческие: голос, динамика подписи, походка, ритм набора текста на клавиатуре, движения мыши.

По способу интеграции

• Последовательные (каскадные): модальности проверяются одна за другой; если первая даёт высокую уверенность, остальные не используются. Экономит время, но может снижать точность.
• Параллельные: все модальности обрабатываются одновременно, и результаты объединяются. Обеспечивает максимальную точность, но требует больше вычислительных ресурсов.
• Гибридные: комбинация последовательного и параллельного подходов.

По степени автономности

• С фиксированным набором: система использует заранее определённый набор модальностей (например, лицо + отпечаток пальца).
• Адаптивные: система может динамически выбирать модальности в зависимости от условий (например, при плохом освещении переключаться на голос или вены).

Преимущества и недостатки

Преимущества

• Высокая точность: снижение FAR и FRR за счёт комбинирования информации. Например, FAR одномодальной системы по лицу может составлять 1%, а мультимодальной (лицо + голос) — 0,01%.
• Устойчивость к подделкам: злоумышленнику сложнее подделать сразу несколько признаков (например, одновременно лицо, голос и отпечаток пальца).
• Робастность: система продолжает работать, если один из датчиков повреждён или качество данных низкое (например, грязный сканер отпечатков или плохое освещение).
• Универсальность: подходит для большего числа пользователей, так как некоторые люди могут иметь повреждённые или нечитаемые отпечатки пальцев, но при этом чёткое лицо или голос.

Недостатки

• Высокая стоимость: требуется несколько датчиков, более мощное оборудование и сложное программное обеспечение.
• Сложность интеграции: необходимо синхронизировать данные из разных источников и обеспечить их совместимость.
• Увеличение времени обработки: параллельная обработка нескольких модальностей требует больше времени, что может быть критично в системах реального времени.
• Проблемы конфиденциальности: сбор нескольких биометрических данных увеличивает риски утечки персональной информации.

Применение

Мультимодальные биометрические системы используются в различных областях, где требуется высокая степень безопасности:

Государственные системы

• Паспортно-визовый контроль: на границах многих стран (например, в аэропортах США, Великобритании, ОАЭ) используются системы, объединяющие распознавание лица и отпечатков пальцев.
• Единая биометрическая система (ЕБС) в России: запущена в 2018 году, позволяет гражданам проходить удалённую идентификацию для получения государственных и банковских услуг. Система использует комбинацию изображения лица и голосового слепка.
• Национальные программы идентификации: в Индии (Aadhaar) используется отпечатки пальцев, радужная оболочка глаза и фотография лица.

Банковский сектор

• Удалённое открытие счетов: банки используют мультимодальные системы для верификации клиентов при онлайн-обслуживании (лицо + голос).
• Доступ к сейфовым ячейкам: в отделениях банков устанавливаются терминалы с отпечатками пальцев и распознаванием лица.

Корпоративная безопасность

• Контроль доступа в режимные объекты: на предприятиях оборонной промышленности, в научно-исследовательских институтах и дата-центрах.
• Авторизация в информационных системах: для доступа к критически важным базам данных или системам управления.

Мобильные устройства

• Смартфоны и планшеты: некоторые модели (например, Samsung Galaxy S21 и выше) поддерживают мультимодальную аутентификацию — отпечаток пальца + распознавание лица.
• Платежные системы: Apple Pay и Google Pay могут использовать комбинацию Face ID/Touch ID и PIN-кода.

Медицина

• Доступ к электронным медицинским картам: для предотвращения несанкционированного доступа к конфиденциальным данным пациентов.
• Идентификация пациентов: в больницах для исключения ошибок при назначении лечения.

Технические стандарты

Основные международные стандарты, регулирующие мультимодальные биометрические системы:

• ISO/IEC 19795: серия стандартов по тестированию и оценке биометрических систем, включая мультимодальные.
• ISO/IEC 24745: стандарт по защите биометрической информации, определяет требования к хранению и передаче данных.
• ISO/IEC 30107: стандарт по оценке устойчивости к атакам (презентационным атакам, spoofing).
• ГОСТ Р ИСО/МЭК 19795-1-2013: российский аналог, устанавливающий общие принципы тестирования.

Критика и ограничения

Несмотря на преимущества, мультимодальные биометрические системы подвергаются критике по нескольким причинам:

• Конфиденциальность: сбор нескольких биометрических данных создаёт «цифровой профиль» человека, который может быть использован для слежки или дискриминации. В России действует Федеральный закон № 152-ФЗ «О персональных данных», который регулирует сбор и обработку биометрических данных, но правоприменительная практика остаётся неоднозначной.
• Ошибки распознавания: даже мультимодальные системы не гарантируют 100% точность. Например, в условиях плохого освещения или при изменении голоса из-за болезни возможны ложные отказы.
• Дискриминация: некоторые алгоритмы могут показывать разную точность для разных расовых, возрастных или гендерных групп. Исследования 2019 года (например, от MIT Media Lab) показали, что коммерческие системы распознавания лиц имеют более высокую ошибку для темнокожих женщин.
• Уязвимость к атакам: хотя подделать несколько признаков сложнее, чем один, существуют методы атак (например, deepfake для лица и синтезированный голос), которые могут обмануть систему.

Перспективы развития

Современные тенденции в развитии мультимодальных биометрических систем включают:

• Интеграция с искусственным интеллектом: использование глубоких нейронных сетей для автоматического выбора оптимальных модальностей и улучшения слияния данных.
• Бесконтактные технологии: развитие систем, работающих на расстоянии (например, распознавание лица + походка + термограмма), что особенно актуально в постпандемийный период.
• Облачные решения: перенос обработки и хранения биометрических шаблонов в облачные сервисы, что снижает стоимость оборудования, но повышает риски утечек.
• Квантовоустойчивая криптография: разработка методов защиты биометрических данных от атак с использованием квантовых компьютеров.

Источники

1. Jain, A. K., Ross, A., & Prabhakar, S. (2004). An Introduction to Biometric Recognition. IEEE Transactions on Circuits and Systems for Video Technology, 14(1), 4–20.
2. Ross, A., & Jain, A. K. (2003). Information Fusion in Biometrics. Pattern Recognition Letters, 24(13), 2115–2125.
3. Национальный институт стандартов и технологий США (NIST). (2003). Report on the Evaluation of Multimodal Biometric Systems.
4. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных» (ред. от 14.07.2022).
5. Постановление Правительства РФ от 06.07.2018 № 789 «О Единой биометрической системе».
6. ISO/IEC 19795-1:2006. Information technology — Biometric performance testing and reporting — Part 1: Principles and framework.
7. Buolamwini, J., & Gebru, T. (2018). Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of the 1st Conference on Fairness, Accountability and Transparency, 77–91.