Deep Fusion

Deep Fusion — это технология обработки изображений на основе искусственного интеллекта, впервые внедрённая компанией Apple в 2019 году в операционной системе iOS 13.2. Она предназначена для улучшения качества фотографий, сделанных на камеры iPhone, путём объединения нескольких экспозиций и применения методов машинного обучения.

Принцип работы

Deep Fusion использует нейронный движок (Neural Engine) процессора Apple A13 Bionic и более поздних моделей. В отличие от традиционного HDR (High Dynamic Range), который объединяет три кадра с разной экспозицией, Deep Fusion обрабатывает до девяти кадров, захваченных с разными параметрами. Процесс включает несколько этапов:

1. Захват кадров: Камера делает серию снимков с разной выдержкой и ISO. Обычно это один длинный кадр (для детализации теней), один короткий (для сохранения светов) и несколько промежуточных.
2. Выбор лучшего кадра: Нейронная сеть анализирует каждый кадр и выбирает наиболее качественный в качестве базового.
3. Попиксельное слияние: Алгоритм объединяет информацию из всех кадров, уделяя особое внимание текстурам, шумам и деталям. Для каждого пикселя выбирается оптимальный источник.
4. Повышение резкости: На финальном этапе применяется адаптивное повышение резкости (sharpening), которое усиливает мелкие детали, такие как волосы, ткань или текстура листьев, не создавая артефактов.

Deep Fusion работает в фоновом режиме и не требует от пользователя дополнительных действий. Технология активируется автоматически при съёмке в условиях среднего и низкого освещения (от 10 до 1000 люкс), когда HDR неэффективен, а использование ночного режима (Night Mode) ещё не требуется.

История развития

Технология Deep Fusion была анонсирована на презентации iPhone 11 в сентябре 2019 года. Первоначально она была доступна только в бета-версии iOS 13.2, выпущенной в октябре 2019 года. В более ранних версиях iOS 13 функция отсутствовала из-за необходимости дополнительной оптимизации.

С выходом iPhone 12 (2020) и процессора A14 Bionic возможности Deep Fusion были расширены. Новая версия алгоритма стала быстрее обрабатывать изображения и лучше справляться с шумами в условиях плохого освещения. В iPhone 13 (2021) с процессором A15 Bionic Deep Fusion был интегрирован с режимом «Киноэффект» (Cinematic Mode) для улучшения качества видео с размытым фоном.

В 2022 году с выходом iPhone 14 Pro и процессора A16 Bionic Deep Fusion получил поддержку 48-мегапиксельных снимков в формате ProRAW. В этом режиме технология объединяет данные с четырёх пикселей в один (технология Quad Bayer), что позволяет получать 12-мегапиксельные изображения с улучшенной детализацией.

Аппаратные требования

Deep Fusion требует наличия нейронного движка (Neural Engine) в процессоре Apple. Поддерживаются следующие модели:

• iPhone 11, 11 Pro, 11 Pro Max (A13 Bionic)
• iPhone SE (2-го поколения, 2020) (A13 Bionic)
• iPhone 12, 12 mini, 12 Pro, 12 Pro Max (A14 Bionic)
• iPhone 13, 13 mini, 13 Pro, 13 Pro Max (A15 Bionic)
• iPhone SE (3-го поколения, 2022) (A15 Bionic)
• iPhone 14, 14 Plus, 14 Pro, 14 Pro Max (A15/A16 Bionic)
• iPhone 15, 15 Plus, 15 Pro, 15 Pro Max (A16/A17 Pro)

На устройствах с процессорами A12 Bionic и старше (iPhone XS, XR, iPad Pro 2018) Deep Fusion не поддерживается из-за недостаточной производительности нейронного движка.

Сравнение с другими технологиями

Deep Fusion отличается от других методов обработки изображений, используемых в мобильных устройствах:

В отличие от HDR, Deep Fusion не фокусируется на расширении динамического диапазона, а нацелен на повышение детализации и снижение шума. В отличие от ночного режима, он не требует длительной выдержки и работает быстрее.

Критика и ограничения

Несмотря на широкое распространение, Deep Fusion имеет ряд недостатков:

1. Задержка обработки: Алгоритм требует времени на анализ и объединение кадров, что может приводить к задержке при съёмке серийных снимков.
2. Артефакты: В некоторых случаях (например, при съёмке движущихся объектов) могут возникать ореолы или двоение изображения.
3. Отсутствие контроля: Пользователь не может вручную включить или отключить Deep Fusion. Технология активируется автоматически, что иногда приводит к нежелательным результатам (например, чрезмерное повышение резкости на портретах).
4. Зависимость от освещения: При очень ярком свете (более 1000 люкс) Deep Fusion не активируется, и камера использует Smart HDR.
5. Потребление ресурсов: Обработка требует значительных вычислительных мощностей, что может влиять на время автономной работы устройства.

Влияние на индустрию

Внедрение Deep Fusion стимулировало развитие технологий вычислительной фотографии в других производителях смартфонов. Например, Google в 2020 году представила технологию HDR+ с улучшенным шумоподавлением, а Samsung — алгоритм Single Take, который также использует многокадровую обработку. В 2023 году компания Qualcomm анонсировала технологию Snapdragon Sight, которая объединяет элементы Deep Fusion и HDR для процессоров своих мобильных платформ.

Deep Fusion также повлиял на развитие профессиональной фотографии: некоторые фотографы начали использовать iPhone с этой технологией для съёмки в условиях плохого освещения, где традиционные камеры с большими матрицами требуют более длительной выдержки.

Источники

• Apple Inc. (2019). «iPhone 11 — Deep Fusion: как это работает». Официальная документация.
• TechCrunch (2019). «Deep Fusion: Apple’s new computational photography explained».
• DxOMark (2020). «iPhone 11 Pro camera review: Deep Fusion analysis».
• The Verge (2021). «How Deep Fusion works on iPhone 13».
• AnandTech (2022). «Apple A16 Bionic: Deep Fusion improvements in iPhone 14 Pro».