MetalFX Upscaling

MetalFX Upscaling — это технология масштабирования изображения с использованием методов машинного обучения, разработанная компанией Apple. Она предназначена для повышения производительности и качества графики в играх и приложениях на устройствах под управлением операционных систем Apple (macOS, iOS, iPadOS). Технология позволяет рендерить сцену в более низком разрешении, а затем с помощью нейросетевых алгоритмов восстанавливать её до целевого высокого разрешения, что снижает нагрузку на графический процессор (GPU) и увеличивает частоту кадров.

История и контекст появления

Технология MetalFX Upscaling была анонсирована компанией Apple 6 июня 2022 года в рамках конференции для разработчиков Worldwide Developers Conference (WWDC). Её появление было связано с выходом операционной системы macOS 13 Ventura и iOS 16. Основной целью разработки стало предоставление разработчикам игр и приложений инструмента, аналогичного существующим на рынке решениям, таким как NVIDIA DLSS (Deep Learning Super Sampling) и AMD FSR (FidelityFX Super Resolution), но оптимизированного для аппаратной архитектуры Apple Silicon (M1, M2 и более поздние модели).

До появления MetalFX Upscaling на платформе Apple не существовало универсального и эффективного способа динамического масштабирования с использованием нейросетей, что ограничивало производительность игр, особенно на устройствах с интегрированной графикой. Технология стала частью фреймворка Metal — низкоуровневого API для работы с графикой и вычислениями на GPU, разработанного Apple.

Принцип работы

MetalFX Upscaling основан на применении свёрточных нейронных сетей (CNN), которые обучены восстанавливать детали изображения. Процесс включает несколько этапов:

1. Рендеринг в низком разрешении: Игра или приложение отрисовывает каждый кадр в разрешении, меньшем, чем целевое (например, 1920×1080 вместо 3840×2160 для 4K).
2. Передача данных в MetalFX: Полученное изображение и дополнительные буферы (глубина, движение, цвет) передаются в API MetalFX.
3. Обработка нейросетью: Специализированная нейронная сеть, выполняемая на GPU (в том числе на нейронных блоках Neural Engine в чипах Apple Silicon), анализирует кадр и генерирует недостающие пиксели, восстанавливая текстуры, контуры и устраняя артефакты.
4. Вывод итогового изображения: Результат выводится на экран в целевом разрешении.

Технология поддерживает два основных режима:

• MetalFX Spatial (пространственное масштабирование): Использует только данные текущего кадра для повышения разрешения. Менее требователен к ресурсам, но может давать менее точные результаты по сравнению с временным масштабированием.
• MetalFX Temporal (временное масштабирование): Использует информацию из предыдущих кадров (буферы движения и глубины) для более точного восстановления деталей и уменьшения мерцания. Обеспечивает более высокое качество, но требует больше вычислительных ресурсов.

Аппаратные требования и совместимость

MetalFX Upscaling работает на устройствах, оснащённых чипами Apple Silicon (M1, M1 Pro, M1 Max, M1 Ultra, M2, M2 Pro, M2 Max, M2 Ultra, M3, M3 Pro, M3 Max, M4 и их последующие поколения), а также на устройствах с процессорами Intel, использующими дискретные графические карты (например, AMD Radeon Pro), при условии, что они поддерживают Metal 3. Однако максимальная эффективность и качество достигаются на устройствах с Apple Silicon благодаря встроенным нейронным блокам.

Технология встроена непосредственно в Metal 3 API, что делает её доступной для всех разработчиков, использующих этот фреймворк. Для интеграции требуется минимальное количество кода — разработчику достаточно указать параметры масштабирования (входное и выходное разрешение, режим) и передать текстуру.

Применение

Основная область применения MetalFX Upscaling — игровая индустрия. Технология позволяет запускать современные AAA-игры на устройствах Mac, iPad и iPhone с более высокими настройками графики и частотой кадров. Примеры игр, поддерживающих MetalFX Upscaling:

• Resident Evil Village (Capcom) — одна из первых игр, получивших поддержку технологии.
• Resident Evil 4 Remake (Capcom).
• Death Stranding (Kojima Productions).
• No Man’s Sky (Hello Games).
• Lies of P (Neowiz).
• The Medium (Bloober Team).

Кроме игр, технология может использоваться в профессиональных приложениях для обработки видео, 3D-моделирования и рендеринга, где требуется масштабирование изображения в реальном времени.

Сравнение с аналогами

MetalFX Upscaling является прямым конкурентом технологий NVIDIA DLSS и AMD FSR. Основные отличия:

• Аппаратная платформа: DLSS привязана к видеокартам NVIDIA с тензорными ядрами, FSR — кроссплатформенное решение, работающее на широком спектре GPU. MetalFX — эксклюзив для устройств Apple.
• Качество: По оценкам тестов, MetalFX Temporal демонстрирует качество, сопоставимое с DLSS 2.0 и FSR 2.0, особенно в режимах «Качество» и «Сбалансированный». В режиме «Производительность» возможны артефакты, характерные для временного масштабирования.
• Производительность: Прирост частоты кадров может достигать 2–3 раз на устройствах Apple Silicon, в зависимости от разрешения и сложности сцены.
• Гибкость: В отличие от DLSS, MetalFX не требует специального обучения для каждой игры — нейросеть является универсальной, что упрощает интеграцию.

Критика и ограничения

Несмотря на очевидные преимущества, MetalFX Upscaling имеет ряд недостатков:

• Эксклюзивность: Технология работает только на устройствах Apple, что ограничивает её распространение.
• Зависимость от версии ОС: Для использования требуется macOS 13 Ventura или более поздняя версия, а также iOS 16 или iPadOS 16.
• Артефакты: В некоторых сценах (быстрое движение, мелкие детали, текстуры с высокой частотой) могут появляться размытие, мерцание или «призраки» (ghosting).
• Отсутствие поддержки на старых устройствах: На устройствах с процессорами Intel и устаревшими GPU производительность может быть ниже ожидаемой.

Перспективы развития

С выходом новых поколений чипов Apple Silicon (M3, M4 и далее) ожидается улучшение качества работы MetalFX Upscaling за счёт увеличения производительности нейронных блоков. Также возможно появление новых режимов, таких как масштабирование с использованием машинного обучения для улучшения качества теней и освещения. Технология является важным элементом стратегии Apple по продвижению своей платформы как игровой, что подтверждается ростом числа AAA-игр, портируемых на macOS и iOS.

Источники

• Документация Apple Developer: MetalFX Upscaling.
• WWDC 2022: «Metal 3: Accelerate your graphics with MetalFX Upscaling».
• Статья «Apple’s MetalFX Upscaling: Everything you need to know» на сайте 9to5Mac.
• Сравнительные тесты производительности на ресурсах AnandTech и Notebookcheck.
• Официальные пресс-релизы Apple о выпуске macOS Ventura и iOS 16.