Открыть сервис
Главная → Блог → Host Channel Adapter

Host Channel Adapter

Host Channel Adapter (HCA) — это сетевая плата (адаптер), предназначенная для подключения сервера или рабочей станции к высокоскоростной сети с архитектурой InfiniBand. HCA выполняет функции сетевого интерфейса, обеспечивая прямую передачу данных между оперативной памятью компьютера и сетью без участия центрального процессора (технология прямого доступа к памяти, RDMA). Адаптер является ключевым компонентом в кластерных вычислительных системах, суперкомпьютерах и центрах обработки данных, где требуется минимальная задержка и высокая пропускная способность.

История

Развитие HCA неразрывно связано с эволюцией технологии InfiniBand. В 1999 году был основан консорциум InfiniBand Trade Association (IBTA), который поставил целью создать стандарт для высокоскоростной межсоединительной сети, способной заменить существовавшие на тот момент шины и протоколы (например, PCI и Fibre Channel). Первые спецификации InfiniBand (1.0) были выпущены в 2000 году, а в 2001 году появились первые коммерческие HCA.

В 2000-х годах HCA активно применялись в высокопроизводительных вычислениях (HPC) и в системах хранения данных. С развитием технологий скорость передачи данных в HCA росла: от 2,5 Гбит/с на линию (SDR) до 56 Гбит/с (FDR) и 100 Гбит/с (EDR) в 2010-х годах. В 2016 году был представлен стандарт HDR (200 Гбит/с), а в 2020-х — NDR (400 Гбит/с). Параллельно с этим развивались и конкурирующие технологии, такие как Ethernet с поддержкой RDMA (RoCE), но HCA остаются основным выбором для систем, где критична минимальная задержка (менее 1 микросекунды).

Устройство и принцип работы

HCA представляет собой плату расширения, устанавливаемую в слот PCI Express (PCIe) сервера. Основные компоненты HCA:

  • Контроллер (ASIC): специализированная микросхема, реализующая протокол InfiniBand. Она управляет передачей пакетов, обработкой заголовков, поддержкой виртуальных каналов и механизмов RDMA.
  • Порты: один или несколько разъёмов (обычно QSFP) для подключения оптических или медных кабелей. Каждый порт может работать на определённой скорости (например, EDR — 100 Гбит/с).
  • Память: буферы для временного хранения пакетов и служебных данных.
  • Интерфейс PCIe: обеспечивает связь с системной шиной сервера. Современные HCA используют PCIe 3.0/4.0/5.0 с количеством линий от x8 до x16.

Принцип работы HCA основан на технологии RDMA (Remote Direct Memory Access). В отличие от традиционных сетевых карт, где данные передаются через буферы ядра операционной системы, HCA позволяет приложению напрямую читать и писать в память удалённого узла без участия ЦП. Это достигается за счёт того, что HCA содержит собственную логику для обработки протоколов InfiniBand и управления передачей. Приложение регистрирует участки памяти, которые могут быть доступны удалённо, и HCA самостоятельно выполняет операции чтения/записи, отправляя запросы через сеть.

Классификация

HCA классифицируются по нескольким параметрам:

По скорости передачи данных

  • SDR (Single Data Rate): 2,5 Гбит/с на линию (устаревшие).
  • DDR (Double Data Rate): 5 Гбит/с.
  • QDR (Quad Data Rate): 10 Гбит/с.
  • FDR (Fourteen Data Rate): 14,0625 Гбит/с (фактически 56 Гбит/с на 4 линии).
  • EDR (Enhanced Data Rate): 25,78125 Гбит/с (100 Гбит/с на 4 линии).
  • HDR (High Data Rate): 50 Гбит/с (200 Гбит/с на 4 линии).
  • NDR (Next Data Rate): 100 Гбит/с (400 Гбит/с на 4 линии).

По числу портов

  • Однопортовые: один физический порт.
  • Двухпортовые: два порта, часто используются для повышения отказоустойчивости или агрегации каналов.

По производителю

Основные производители HCA — компании NVIDIA (после приобретения Mellanox Technologies в 2020 году) и Intel. Продукты NVIDIA (серия ConnectX) являются доминирующими на рынке HPC. Intel выпускала HCA под брендом Intel Omni-Path, но в 2019 году объявила о сворачивании этого направления.

Применение

HCA используются в следующих областях:

Преимущества и недостатки

Преимущества

  • Низкая задержка: время передачи данных между узлами может составлять менее 1 микросекунды, что значительно быстрее Ethernet (обычно 5–10 микросекунд).
  • Высокая пропускная способность: современные HCA (NDR) обеспечивают до 400 Гбит/с на порт.
  • Разгрузка ЦП: технология RDMA снижает нагрузку на процессор, так как данные передаются напрямую между памятью и сетью.
  • Надёжность: поддержка механизмов коррекции ошибок (CRC) и виртуальных каналов для обеспечения качества обслуживания (QoS).

Недостатки

  • Стоимость: HCA и коммутаторы InfiniBand дороже аналогичных решений на Ethernet.
  • Сложность настройки: требуется специальное программное обеспечение (драйверы, библиотеки OpenFabrics) и знание протокола.
  • Ограниченная совместимость: HCA работают только в сетях InfiniBand, что требует использования специализированных коммутаторов и кабелей.

Интересные факты

  • Первые HCA имели скорость 2,5 Гбит/с, а современные модели (NDR) — 400 Гбит/с, что в 160 раз быстрее.
  • В 2023 году NVIDIA выпустила HCA ConnectX-8, поддерживающий скорость 800 Гбит/с на порт (в режиме агрегации).
  • В России HCA InfiniBand используются в суперкомпьютерах «Кристофари» (НИЦ «Курчатовский институт») и «Галушкин» (МФТИ).
  • Технология RDMA, реализованная в HCA, также применяется в протоколах iWARP (для Ethernet) и RoCE (RDMA over Converged Ethernet), но InfiniBand остаётся эталоном по задержке.

Источники

  • InfiniBand Trade Association. «InfiniBand Architecture Specification Volume 1». 2020.
  • NVIDIA. «Mellanox ConnectX-6 Single/Dual-Port Adapter User Manual». 2021.
  • Top500.org. «November 2024 List of Supercomputers». 2024.
  • Громов, А. В. «Высокопроизводительные вычисления: архитектура и технологии». М.: МГУ, 2022.
  • Intel. «Intel Omni-Path Architecture». 2018.

BFOmetr — база данных и аналитика по компаниям России.

На главную BFOmetr →

Похожие материалы