InfiniBand

InfiniBand — это высокоскоростная последовательная коммуникационная шина, предназначенная для соединения вычислительных узлов, систем хранения данных и сетевого оборудования в высокопроизводительных вычислительных кластерах (HPC) и центрах обработки данных (ЦОД). Относится к классу сетевых технологий с коммутацией каналов и пакетов, обеспечивающих низкую задержку (латентность) и высокую пропускную способность. Разработана консорциумом InfiniBand Trade Association (IBTA) в конце 1990-х годов как преемник технологий Future I/O и Next Generation I/O.

История

Создание и стандартизация

Технология InfiniBand была анонсирована в 1999 году консорциумом, в который вошли компании Compaq, Dell, Hewlett-Packard, IBM, Intel, Microsoft и Sun Microsystems. Первоначально она позиционировалась как универсальная замена для шин PCI и PCI-X, а также для сетевых технологий, таких как Ethernet и Fibre Channel. Первая версия спецификации (1.0) была опубликована в 2000 году.

Развитие и конкуренция

В начале 2000-х годов InfiniBand столкнулась с конкуренцией со стороны более дешёвых решений на базе Ethernet и Fibre Channel. Однако технология нашла нишу в высокопроизводительных вычислениях, где требовались минимальные задержки. В 2005 году компания Mellanox Technologies (в 2020 году поглощена NVIDIA) стала основным производителем адаптеров и коммутаторов InfiniBand, что стимулировало развитие стандарта. В 2010-х годах InfiniBand стала доминирующей сетевой технологией в суперкомпьютерах, входящих в рейтинг TOP500.

Современное состояние

На 2025 год InfiniBand продолжает развиваться. Последняя версия спецификации (HDR — High Data Rate) обеспечивает скорость до 200 Гбит/с на одну линию. В 2023 году NVIDIA анонсировала технологию Quantum-2, поддерживающую скорость 400 Гбит/с. InfiniBand активно используется в системах искусственного интеллекта и машинного обучения, где требуется высокая пропускная способность для обмена данными между GPU.

Архитектура

Топология

InfiniBand использует коммутируемую топологию «точка-точка» (switched fabric). Устройства подключаются к коммутаторам, которые образуют иерархическую или плоскую сеть. В отличие от Ethernet, где используется протокол CSMA/CD, InfiniBand работает с коммутацией каналов, что гарантирует низкую задержку.

Компоненты

• Целевые адаптеры (HCA — Host Channel Adapter): устанавливаются в вычислительные узлы и обеспечивают подключение к сети. HCA поддерживают аппаратную обработку протоколов InfiniBand.
• Коммутаторы (Switch): устройства, соединяющие несколько HCA и обеспечивающие маршрутизацию пакетов.
• Маршрутизаторы (Router): используются для соединения нескольких подсетей InfiniBand.
• Кабели: медные (до 5 метров) и оптоволоконные (до 100 метров и более).

Уровни модели OSI

InfiniBand реализует уровни с 1-го по 4-й модели OSI:

• Физический уровень: определяет электрические и оптические характеристики, скорость передачи (SDR, DDR, QDR, FDR, EDR, HDR, NDR).
• Канальный уровень: отвечает за адресацию, обнаружение ошибок и управление потоком.
• Сетевой уровень: обеспечивает маршрутизацию пакетов между подсетями.
• Транспортный уровень: гарантирует доставку сообщений (режимы: Reliable Connection, Unreliable Datagram, Reliable Datagram).

Характеристики

Пропускная способность

Скорость передачи данных в InfiniBand измеряется в гигабитах в секунду (Гбит/с) на одну линию (lane). Современные версии:

• SDR (Single Data Rate): 2,5 Гбит/с.
• DDR (Double Data Rate): 5 Гбит/с.
• QDR (Quad Data Rate): 10 Гбит/с.
• FDR (Fourteen Data Rate): 14,0625 Гбит/с.
• EDR (Enhanced Data Rate): 25 Гбит/с.
• HDR (High Data Rate): 50 Гбит/с (на линию), до 200 Гбит/с на порт (4 линии).
• NDR (Next Data Rate): 100 Гбит/с на линию, до 400 Гбит/с на порт.

Задержка (латентность)

Одной из ключевых особенностей InfiniBand является низкая задержка. В современных реализациях (HDR) задержка на передачу пакета составляет менее 1 микросекунды (0,5–0,7 мкс). Это достигается за счёт аппаратной обработки протоколов и прямого доступа к памяти (RDMA — Remote Direct Memory Access).

RDMA (Remote Direct Memory Access)

InfiniBand поддерживает технологию RDMA, которая позволяет одному компьютеру напрямую читать или записывать данные в память другого компьютера без участия процессора. Это значительно снижает задержки и нагрузку на CPU, что критично для HPC и приложений ИИ.

Надёжность

InfiniBand использует механизмы обнаружения и коррекции ошибок на аппаратном уровне (CRC, ECC). Коммутаторы и HCA поддерживают функции управления трафиком (Quality of Service, QoS) и виртуализации (SR-IOV).

Применение

Высокопроизводительные вычисления (HPC)

InfiniBand является стандартом для суперкомпьютеров. По данным рейтинга TOP500 (2024 год), более 60% систем используют InfiniBand в качестве межсоединения. Примеры: суперкомпьютер «Ломоносов-2» (МГУ, Россия), Frontier (США), Fugaku (Япония).

Искусственный интеллект и машинное обучение

В системах ИИ, где требуется обмен данными между сотнями и тысячами GPU, InfiniBand обеспечивает необходимую пропускную способность. Например, кластеры NVIDIA DGX SuperPOD используют InfiniBand для соединения GPU-серверов.

Центры обработки данных (ЦОД)

InfiniBand применяется для построения высокоскоростных сетей хранения данных (SAN) и сетей передачи данных (LAN). В ЦОДах технология используется для консолидации трафика (converged networking) и снижения затрат на оборудование.

Финансовый сектор

В алгоритмической торговле и высокочастотном трейдинге (HFT) низкая задержка InfiniBand позволяет сократить время выполнения транзакций до микросекунд.

Преимущества и недостатки

Преимущества

• Низкая задержка (менее 1 мкс).
• Высокая пропускная способность (до 400 Гбит/с).
• Поддержка RDMA.
• Аппаратная обработка протоколов.
• Масштабируемость (до десятков тысяч узлов).

Недостатки

• Высокая стоимость оборудования (по сравнению с Ethernet).
• Сложность настройки и администрирования.
• Ограниченная совместимость с потребительским оборудованием.
• Зависимость от одного производителя (NVIDIA/Mellanox).

Критика

Основная критика InfiniBand связана с её высокой стоимостью и сложностью. В 2010-х годах технология Ethernet с поддержкой RDMA (RoCE — RDMA over Converged Ethernet) начала составлять конкуренцию InfiniBand, предлагая сопоставимые характеристики при более низкой цене. Однако в сегменте HPC и ИИ InfiniBand сохраняет лидерство благодаря более низкой задержке и лучшей масштабируемости.

Интересные факты

• InfiniBand используется в крупнейших суперкомпьютерах мира, включая Frontier (США) — первый экзафлопсный суперкомпьютер.
• Технология поддерживает до 48 000 узлов в одной подсети.
• В 2023 году NVIDIA представила InfiniBand Quantum-2 с поддержкой скорости 400 Гбит/с и встроенной поддержкой ИИ-нагрузок.
• В России InfiniBand применяется в суперкомпьютерах «Ломоносов-2» (МГУ) и «Кристофари» (Сколтех).

Источники

• InfiniBand Trade Association. «InfiniBand Architecture Specification Volume 1». 2020.
• Mellanox Technologies. «InfiniBand: A Technical Overview». 2019.
• TOP500.org. «List Statistics». 2024.
• NVIDIA. «Quantum-2 InfiniBand Platform». 2023.
• Статья «InfiniBand» в журнале «Суперкомпьютеры» (№4, 2022).