Compute Express Link¶

Compute Express Link (CXL) — открытый отраслевой стандарт высокоскоростной шины для соединения центральных процессоров (CPU), ускорителей вычислений, памяти и устройств хранения данных в серверных системах. Разработан консорциумом Compute Express Link Consortium и базируется на физическом и протокольном уровне интерфейса PCI Express (PCIe), что обеспечивает обратную совместимость с существующей экосистемой.

¶История и развитие

Инициатива по созданию CXL была анонсирована в марте 2019 года компаниями Intel, AMD, Arm, Cisco, Google, Huawei, HPE, Microsoft и другими. Первая версия спецификации CXL 1.0 появилась в том же году. В ноябре 2019 года была сформирована организация Compute Express Link Consortium, которая взяла на себя управление стандартом. В 2020 году вышла версия CXL 1.1, а в 2022 году — CXL 2.0. В августе 2022 года была опубликована спецификация CXL 3.0, а в ноябре 2023 года — CXL 3.1. В 2024 году консорциум представил CXL 3.2, расширивший возможности для работы с памятью.

¶Архитектура и протоколы

CXL использует физический слой PCIe 5.0 (32 GT/s на линию) и PCIe 6.0 (64 GT/s) для передачи данных. Протокол CXL разделён на три независимых подпротокола, которые могут работать одновременно:

• CXL.io — основан на протоколе PCIe и используется для конфигурации устройств, ввода-вывода и управления. Обеспечивает совместимость с драйверами и операционными системами.
• CXL.cache — обеспечивает когерентность кэша между CPU и ускорителями. Позволяет ускорителю читать и записывать данные в кэш процессора с минимальной задержкой.
• CXL.mem — предоставляет доступ к памяти, подключённой к устройству, как к обычной системной памяти. CPU и ускорители могут адресовать такую память напрямую, что упрощает программирование и повышает производительность.

Когерентность кэша достигается за счёт поддержания единой модели памяти, что отличает CXL от традиционных шин ввода-вывода.

¶Виды устройств

Спецификация CXL определяет три типа устройств:

• Type 1 — устройства, использующие только CXL.io и CXL.cache (например, сетевые карты и ускорители с кэш-памятью).
• Type 2 — устройства, поддерживающие все три подпротокола (например, GPU, FPGA и специализированные ускорители, которым нужен доступ к памяти CPU).
• Type 3 — устройства, работающие только с CXL.io и CXL.mem (например, контроллеры памяти и устройства расширения памяти).

¶Применение и значение

Основное назначение CXL — решение проблемы узкого места в системах с большими объёмами данных. Технология позволяет:

• Расширять память — подключать дополнительные модули памяти (CXL Memory Expander) к серверу, увеличивая ёмкость без замены процессора.
• Создавать гетерогенные вычисления — объединять CPU, GPU и другие ускорители в единое адресное пространство, что упрощает разработку приложений для искусственного интеллекта и научных расчётов.
• Организовывать пулы памяти — в CXL 2.0 и 3.0 появилась возможность объединять память нескольких серверов в общий пул и динамически распределять её между узлами.
• Поддерживать горячую замену — устройства CXL можно подключать и отключать без остановки системы.

CXL рассматривается как ключевая технология для центров обработки данных, облачных вычислений и высокопроизводительных вычислений. Она позволяет снизить совокупную стоимость владения за счёт более эффективного использования памяти и ускорителей.

¶Совместимость и внедрение

Первые коммерческие продукты с поддержкой CXL появились в 2022–2023 годах. Процессоры Intel Xeon Scalable 4-го поколения (Sapphire Rapids) и AMD EPYC 9004 (Genoa) поддерживают CXL 1.1. В 2023 году Intel выпустила линейку Xeon Scalable 5-го поколения с поддержкой CXL 2.0. Компания Samsung и SK Hynix представили модули памяти CXL-DRAM объёмом до 128 ГБ и 256 ГБ соответственно. Компания Marvell разработала контроллеры для CXL-коммутаторов.

Операционные системы Linux (начиная с ядра 5.12) и Windows Server 2022 включают базовую поддержку CXL. Экосистема продолжает развиваться: консорциум работает над стандартизацией CXL 4.0, который должен поддержать скорости PCIe 7.0.

¶Критика и ограничения

Основные ограничения CXL связаны с задержками при обращении к удалённой памяти (через коммутатор) и с увеличением энергопотребления. Некоторые эксперты отмечают, что для большинства приложений традиционная локальная память DDR5 остаётся предпочтительной из-за меньшей латентности. Также существует конкуренция со стороны других интерфейсов, например NVLink (Nvidia) и UALink (AMD, Intel, Google, Microsoft), ориентированных на соединение ускорителей между собой.

¶Источники

• Официальная спецификация Compute Express Link 3.2, Compute Express Link Consortium, 2024.
• CXL 2.0 Specification, Compute Express Link Consortium, 2020.
• «Compute Express Link: The Breakthrough Memory Interconnect», SNIA, 2022.
• Материалы конференций Hot Chips 2022–2023 годов.