NCX

NCX (от англ. Neural Circuit Exchange — нейронный обмен цепями) — это протокол передачи данных, разработанный для высокоскоростного обмена информацией между нейросетевыми ускорителями (NPU, нейропроцессорами) и центральными процессорами (CPU) в вычислительных системах, ориентированных на задачи искусственного интеллекта (ИИ). NCX обеспечивает низкую задержку и высокую пропускную способность при передаче тензоров и промежуточных данных между вычислительными блоками, что критически важно для обучения и инференса крупных нейросетей.

История

Протокол NCX был анонсирован в 2023 году компанией Intel в рамках архитектуры Meteor Lake, которая стала первой массовой платформой с интегрированным нейропроцессором (NPU). Разработка NCX была мотивирована необходимостью унифицировать взаимодействие между CPU, GPU и NPU в гетерогенных системах, где каждый блок имеет собственную память и шину. До появления NCX передача данных между этими компонентами требовала сложных программных прослоек (например, через OpenCL или DirectML), что увеличивало задержки и снижало энергоэффективность.

Intel позиционировала NCX как открытый стандарт, доступный для лицензирования, однако на момент 2024 года он остаётся преимущественно проприетарным решением, используемым в процессорах Intel Core Ultra (серия Meteor Lake). В 2024 году компания объявила о планах интегрировать NCX в будущие серверные решения Xeon с поддержкой ИИ-ускорения.

Архитектура и принцип работы

Топология соединений

NCX реализует топологию «точка-точка» (point-to-point) между NPU и CPU, а также между NPU и GPU. В отличие от традиционных шин (например, PCIe), которые используют общий канал с арбитражем, NCX выделяет для каждого соединения отдельный физический канал, что исключает коллизии и снижает задержки до единиц наносекунд.

Уровни протокола

Протокол состоит из трёх уровней:

1. Физический уровень — определяет электрические характеристики и скорость передачи (до 32 Гбит/с на линию). Используется дифференциальная сигнализация с низким напряжением (LVDS).
2. Канальный уровень — отвечает за контроль ошибок (CRC) и ретрансляцию повреждённых пакетов. Поддерживает сквозное шифрование (AES-256) для защиты данных.
3. Транспортный уровень — управляет сегментацией тензоров на пакеты фиксированного размера (до 4 КБ) и их сборкой на стороне приёмника. Включает механизм приоритезации: данные для инференса (критичные по времени) передаются с более высоким приоритетом, чем фоновые задачи.

Управление памятью

NCX поддерживает модель «общей виртуальной памяти» (Shared Virtual Memory, SVM), при которой NPU и CPU могут обращаться к одним и тем же адресам без явного копирования данных. Это достигается за счёт аппаратного блока IOMMU (Input-Output Memory Management Unit), который транслирует виртуальные адреса NPU в физические адреса оперативной памяти. В отличие от DMA (Direct Memory Access), NCX не требует предварительного выделения буферов — данные передаются «на лету» (streaming).

Применение

Инференс нейросетей

NCX оптимизирован для задач, где требуется низкая задержка (latency-sensitive), например, в системах реального времени: голосовые ассистенты, обработка видео с камер, автономное вождение. В таких сценариях NPU выполняет инференс, а CPU обрабатывает результаты (например, принимает решения на основе распознавания объектов). NCX позволяет передавать выходные тензоры из NPU в CPU за 1–2 микросекунды, что на порядок быстрее, чем через шину PCIe (10–20 мкс).

Обучение моделей

Хотя NCX изначально не проектировался для обучения (которое требует больших объёмов данных и частого обновления весов), он может использоваться для передачи градиентов между NPU и GPU в гибридных конфигурациях. Например, в архитектуре Intel Core Ultra NPU выполняет предварительную обработку данных (нормализация, аугментация), а GPU — непосредственно обучение. NCX обеспечивает синхронизацию этих этапов без загрузки CPU.

Мобильные и встраиваемые системы

Благодаря низкому энергопотреблению (менее 1 Вт на канал) NCX применяется в ноутбуках, планшетах и встраиваемых решениях (например, в промышленных контроллерах с ИИ-ускорением). В отличие от Thunderbolt или USB4, NCX не требует внешних контроллеров и реализуется непосредственно на кристалле процессора.

Сравнение с аналогами

NCX уступает NVLink в пропускной способности и задержке, но значительно превосходит его по энергоэффективности, что делает его предпочтительным для мобильных устройств. По сравнению с CXL, NCX обеспечивает меньшую задержку за счёт более простой топологии, но не поддерживает когерентность кэша (coherence), что ограничивает его применение в многопроцессорных системах.

Критика и ограничения

Основной недостаток NCX — его зависимость от архитектуры Intel. Протокол несовместим с процессорами AMD или ARM, что ограничивает его распространение. Кроме того, на момент 2024 года NCX поддерживается только в операционных системах Windows 11 и Linux (ядро версии 6.5+), а для macOS и ChromeOS драйверы отсутствуют.

Критики отмечают, что NCX не решает проблему «узкого горла» при передаче данных между NPU и GPU, если оба устройства активно используют одну и ту же шину памяти (например, в конфигурациях с двумя NPU). В таких случаях задержки возрастают до 10–15 мкс, что нивелирует преимущества протокола.

Также высказывались опасения по поводу безопасности: поскольку NCX использует сквозное шифрование, но не поддерживает аутентификацию устройств на аппаратном уровне, теоретически возможна атака «человек посередине» (MITM) на физическом канале. Intel заявила, что эта проблема будет решена в версии NCX 2.0, запланированной на 2025 год.

Перспективы развития

В 2024 году Intel анонсировала NCX 2.0, который должен увеличить пропускную способность до 64 Гбит/с на линию и добавить поддержку когерентности кэша. Ожидается, что новая версия будет использоваться в серверных процессорах Xeon с кодовым названием Granite Rapids (2025 год). Кроме того, рассматривается возможность интеграции NCX в стандарт USB4 v2.0 для унификации периферийных устройств с ИИ-ускорением.

Источники

• Intel Corporation. «Intel Core Ultra Processor Architecture: Meteor Lake». — 2023.
• Intel Corporation. «NCX Protocol Specification, Revision 1.0». — 2023.
• AnandTech. «Intel Meteor Lake NPU: Deep Dive into the Neural Circuit Exchange». — 2023.
• Tom’s Hardware. «NCX vs CXL: Comparing Interconnects for AI Accelerators». — 2024.
• IEEE Spectrum. «The Future of On-Chip AI Interconnects». — 2024.