Neural Engine

Neural Engine — это специализированный аппаратный модуль, входящий в состав системы на кристалле (SoC) устройств Apple, предназначенный для ускорения операций, связанных с машинным обучением и искусственным интеллектом. Впервые был представлен в 2017 году с процессором A11 Bionic и с тех пор устанавливается во все актуальные чипы Apple для iPhone, iPad, Apple TV, Apple Watch и компьютеров Mac на базе архитектуры Apple Silicon.

История

Необходимость в выделенном нейронном сопроцессоре возникла из-за роста вычислительных нагрузок, связанных с обработкой изображений, распознаванием речи, дополненной реальностью и задачами компьютерного зрения. До появления Neural Engine эти функции выполнялись центральным процессором (CPU) и графическим процессором (GPU), что приводило к повышенному энергопотреблению и снижению производительности в ресурсоёмких сценариях.

Apple начала интеграцию специализированных блоков для нейросетевых вычислений с процессором A11 Bionic, выпущенным в сентябре 2017 года. Первое поколение Neural Engine состояло из двух ядер (cores) и могло выполнять до 600 миллиардов операций в секунду. Основным применением стали функции распознавания лиц (Face ID), анимированные эмодзи (Animoji) и улучшение качества фотографий.

С каждым новым поколением чипов A-серии и M-серии производительность Neural Engine возрастала. К 2024 году в чипе M4 Ultra количество ядер Neural Engine достигло 32, а пиковая производительность — 38 триллионов операций в секунду (38 TOPS). Это позволяет выполнять в реальном времени сложные модели машинного обучения, ранее требовавшие серверных мощностей.

Архитектура и принцип работы

Аппаратная часть

Neural Engine представляет собой интегральную схему, специализированную для выполнения матричных вычислений и операций свёртки. В отличие от CPU (универсального процессора) и GPU (ориентированного на параллельную обработку графики), нейронный процессор спроектирован для эффективной работы с нейросетями, где преобладают операции умножения и накопления (Multiply-Accumulate, MAC).

Основные блоки Neural Engine:

• Матричные умножители: выполняют умножение матриц — ключевую операцию в нейронных сетях.
• Векторные процессоры: обрабатывают небольшие массивы данных.
• Память: специализированная встроенная память для хранения весов моделей и промежуточных результатов, что снижает задержки при обмене данными.
• Контроллер доступа к данным: управляет потоком данных между памятью чипа и вычислительными ядрами.

Программная часть

Apple предоставляет программный стек Core ML, который позволяет разработчикам интегрировать модели машинного обучения в свои приложения. Core ML автоматически оптимизирует модель для работы на Neural Engine, распределяя нагрузку между CPU, GPU и нейронным сопроцессором. Если модель не оптимизирована для Neural Engine, она выполняется на CPU или GPU.

Поколения и производительность

Применение

Neural Engine используется для ускорения широкого спектра задач, выполняемых на устройстве (on-device), что обеспечивает конфиденциальность данных, так как информация не покидает устройство пользователя.

Обработка изображений и видео

• Портретный режим: выделение объекта на переднем плане и размытие фона (эффект боке). Нейросеть определяет границы объекта и глубину сцены.
• Улучшение фотографий в условиях низкой освещённости: подавление шума, восстановление деталей и балансировка экспозиции.
• Умный HDR: комбинирование нескольких кадров с разной экспозицией для получения насыщенного изображения.
• Распознавание сцен и объектов (в том числе лиц) в приложении «Фото»: автоматическая каталогизация по категориям (люди, животные, места, предметы).

Распознавание речи и текста

• Работа голосового помощника Siri: обработка голосовых запросов и локальное распознавание речи без отправки на сервер.
• Распознавание текста в режиме реального времени (приложение «Камера» или «Заметки»): перевод рукописного или печатного текста в цифровой формат.
• Клавиатура QuickType: предсказание следующего слова и контекстные подсказки при вводе текста.

Дополненная реальность (AR)

Neural Engine используется для быстрого обнаружения и отслеживания плоскостей (пол, стены), а также для распознавания объектов в пространстве. Это необходимо для наложения виртуальных объектов на реальное окружение.

Обработка аудио

• Шумоподавление во время голосовых звонков: нейросеть выделяет речь и подавляет фоновые шумы.
• Адаптивный эквалайзер в наушниках AirPods Pro: настройка частотной характеристики под форму ушной раковины пользователя.
• Распознавание музыки: приложение Shazam загружает фрагмент песни и локально сравнивает его с базой данных (до подключения к серверу).

Дополненные возможности безопасности

• Распознавание лиц (Face ID): Neural Engine сканирует карту глубины лица и сравнивает сохранённый шаблон с новым изображением.
• Обнаружение подделок: нейросеть анализирует изображение на предмет масок, фотографий или других попыток обмана системы.

Критика

Несмотря на высокую производительность, Neural Engine имеет ограничения:

• Эксклюзивность: Neural Engine доступен только в устройствах Apple, что создаёт замкнутую экосистему и ограничивает возможности сторонних разработчиков, использующих другие платформы.
• Зависимость от Core ML: сторонние разработчики могут использовать только оптимизированные модели Core ML. Для моделей, не поддерживающих Core ML, преимущества Neural Engine остаются недоступными.
• Ограниченная гибкость: в отличие от CPU и GPU, Neural Engine спроектирован для выполнения строго определённого типа операций (свёрточные нейронные сети и трансформеры). Не все типы нейросетей могут быть эффективно на нём запущены.
• Трудности с моделированием: для ряда сложных моделей (например, модели больших языков с миллиардами параметров) требуется значительный объём оперативной памяти, и встраиваемый нейропроцессор в мобильных устройствах может оказаться недостаточным.

Значение

Neural Engine стал важной частью стратегии Apple по переносу вычислительных операций, связанных с искусственным интеллектом, на само устройство. Это обеспечивает меньшие задержки (отсутствие задержек на передачу данных по сети), повышенную конфиденциальность (данные не покидают устройство) и сниженное энергопотребление по сравнению с облачными вычислениями. С 2020 года Neural Engine является обязательным компонентом всех чипов Apple Silicon, что свидетельствует о его ключевой роли в будущих продуктах компании, особенно в контексте развития функций генеративного искусственного интеллекта и дополненной реальности.

Источники

• Документация Apple по Core ML и Neural Engine (developer.apple.com)
• Презентации Apple на конференциях WWDC (2017–2024)
• Технические исследования и обзоры процессоров A-серии и M-серии (AnandTech, SemiAnalysis)
• Описание архитектуры чипов Apple в официальных пресс-релизах