NVLink третьего поколения

NVLink третьего поколения — это высокоскоростная двунаправленная последовательная шина межсоединений, разработанная компанией NVIDIA для соединения графических процессоров (GPU) между собой и с центральными процессорами (CPU) в многопроцессорных вычислительных системах. Третье поколение технологии, представленное в 2020 году в составе архитектуры NVIDIA Ampere, обеспечивает пропускную способность до 600 ГБ/с на один канал (в каждом направлении) и поддерживает топологии «все-к-всем» (all-to-all) для масштабирования до 8 GPU в одном узле без использования внешних коммутаторов.

История и развитие

NVLink был впервые представлен NVIDIA в 2014 году как альтернатива традиционным шинам PCI Express для соединения GPU в высокопроизводительных вычислениях (HPC) и задачах искусственного интеллекта. Первое поколение, реализованное в архитектуре Pascal (2016), обеспечивало пропускную способность 160 ГБ/с на канал. Второе поколение, появившееся с архитектурой Volta (2017), удвоило этот показатель до 300 ГБ/с. Третье поколение NVLink, дебютировавшее в 2020 году с архитектурой Ampere, стало очередным шагом в эволюции, увеличив пропускную способность до 600 ГБ/с на канал и внедрив поддержку более гибких топологий соединения.

Архитектура и технические характеристики

Физический уровень

NVLink третьего поколения использует дифференциальные сигнальные пары для передачи данных. Каждый канал состоит из 4 пар (4 линии) в каждом направлении, что обеспечивает двунаправленную связь. Скорость передачи данных по одной линии составляет 25 Гбит/с, что в сумме даёт 100 ГБ/с в одном направлении на канал. С учётом двунаправленности полная пропускная способность канала достигает 200 ГБ/с. Для достижения заявленных 600 ГБ/с на канал (в каждом направлении) используется три канала (12 линий).

Протокол и топология

NVLink третьего поколения поддерживает протоколы передачи данных, оптимизированные для GPU-вычислений, включая:

• Direct Memory Access (DMA) — прямой доступ к памяти других GPU без участия CPU.
• Atomic operations — атомарные операции для синхронизации потоков.
• Cache coherence — когерентность кэша между GPU, позволяющая совместно использовать данные без явного копирования.

Топология соединения может быть организована как:

• Полносвязная (all-to-all) — каждый GPU соединён с каждым, что обеспечивает минимальную задержку и максимальную пропускную способность. В системах с 8 GPU (например, NVIDIA DGX A100) используется именно такая конфигурация.
• Кольцевая (ring) — GPU соединены последовательно, что снижает сложность разводки, но увеличивает задержки для удалённых узлов.
• Гибридная — комбинация полносвязной и кольцевой топологий для оптимизации под конкретные задачи.

Интеграция с архитектурой Ampere

Третье поколение NVLink встроено непосредственно в GPU архитектуры Ampere (например, A100). Каждый GPU A100 имеет 12 каналов NVLink, что позволяет организовать полносвязную топологию для 8 GPU (каждый GPU использует 6 каналов для соединения с остальными 7, а 6 каналов остаются для связи с CPU или другими устройствами). Пропускная способность между двумя GPU A100 через NVLink 3.0 достигает 600 ГБ/с в каждом направлении, что в 10 раз превышает скорость PCIe 4.0 x16 (около 32 ГБ/с).

Применение

Высокопроизводительные вычисления (HPC)

NVLink третьего поколения широко используется в суперкомпьютерах и кластерах для задач, требующих интенсивного обмена данными между GPU. Примеры:

• NVIDIA DGX A100 — система, объединяющая 8 GPU A100 через NVLink 3.0, обеспечивая суммарную пропускную способность до 4,8 ТБ/с между GPU.
• Selene (США) — суперкомпьютер на базе A100, использующий NVLink для масштабирования до тысяч GPU.
• LUMI (Финляндия) — один из крупнейших суперкомпьютеров Европы, также построенный на A100 с NVLink 3.0.

Искусственный интеллект и машинное обучение

В задачах обучения глубоких нейронных сетей (DNN) NVLink 3.0 позволяет эффективно распределять данные между GPU, уменьшая время на синхронизацию градиентов и обновление весов. Это особенно важно для моделей с миллиардами параметров (например, GPT-3, BERT), где требуется параллельная обработка на множестве GPU.

Научные расчёты

NVLink 3.0 применяется в моделировании климата, молекулярной динамике, вычислительной гидродинамике и других областях, где требуется высокая пропускная способность и низкая задержка при обмене данными между GPU.

Сравнение с предшественниками и конкурентами

Основным конкурентом NVLink является шина PCI Express (PCIe). В сравнении с PCIe 4.0 x16 (32 ГБ/с) NVLink 3.0 обеспечивает в 18,75 раз большую пропускную способность на канал. Однако NVLink требует специализированной поддержки со стороны материнских плат и процессоров, что ограничивает его применение в основном серверными и HPC-системами.

Критика и ограничения

Несмотря на высокую производительность, NVLink третьего поколения имеет ряд ограничений:

• Зависимость от экосистемы NVIDIA — технология является проприетарной и не поддерживается на оборудовании других производителей (AMD, Intel).
• Сложность интеграции — для использования NVLink требуются специализированные материнские платы, процессоры (например, AMD EPYC или Intel Xeon) и программное обеспечение (CUDA, NCCL).
• Энергопотребление — каждый канал NVLink потребляет около 1,5 Вт, что при 12 каналах на GPU A100 добавляет до 18 Вт к энергопотреблению чипа.
• Ограниченная масштабируемость — полносвязная топология эффективна только для 8 GPU; для большего количества требуются внешние коммутаторы (NVSwitch), что увеличивает задержки и стоимость.

Перспективы развития

NVLink третьего поколения стало основой для последующих версий технологии. В 2022 году NVIDIA представила четвёртое поколение NVLink в составе архитектуры Hopper (H100), которое увеличило пропускную способность до 900 ГБ/с на канал. Пятое поколение, анонсированное в 2024 году с архитектурой Blackwell (B200), достигло 1,8 ТБ/с на канал. Несмотря на это, NVLink 3.0 остаётся актуальным для систем на базе A100, которые продолжают эксплуатироваться в дата-центрах и суперкомпьютерах по всему миру.

Источники

1. NVIDIA Corporation. "NVIDIA NVLink 3.0 Whitepaper." 2020.
2. NVIDIA Corporation. "NVIDIA DGX A100 System Architecture." 2020.
3. NVIDIA Corporation. "NVIDIA Ampere GPU Architecture." 2020.
4. Top500.org. "Selene Supercomputer." 2020.
5. EuroHPC Joint Undertaking. "LUMI Supercomputer Technical Specifications." 2021.
6. IEEE Spectrum. "NVLink: A High-Speed Interconnect for GPU Computing." 2021.