NVIDIA HGX A100

NVIDIA HGX A100 — это серверная платформа (базовый шасси) производства компании NVIDIA, предназначенная для создания высокопроизводительных вычислительных систем. Она объединяет несколько графических ускорителей (GPU) NVIDIA A100 в единую вычислительную сеть с использованием высокоскоростных интерфейсов NVLink и NVSwitch. Платформа ориентирована на задачи искусственного интеллекта (ИИ), глубокого обучения, научных вычислений и анализа больших данных.

История и контекст создания

Платформа HGX A100 была анонсирована в мае 2020 года одновременно с выпуском графического процессора NVIDIA A100, построенного на архитектуре Ampere. A100 стал первым GPU, использующим технологию Multi-Instance GPU (MIG), позволяющую разделять один физический ускоритель на несколько логических для более эффективного использования ресурсов. HGX A100 была разработана как стандартизированное решение для серверных стоек, позволяющее производителям серверов (OEM) быстро интегрировать мощные GPU-кластеры в свои продукты без необходимости проектировать собственные сложные схемы соединения.

До HGX A100 существовали предшествующие платформы, такие как HGX-1 и HGX-2, но A100 стала первой, кто полностью перешёл на четвёртое поколение интерфейса NVLink (NVLink 3.0) и внедрила третий поколение NVSwitch. Это позволило значительно увеличить пропускную способность между GPU и масштабируемость систем.

Архитектура и устройство

Базовый модуль HGX A100

Основной элемент платформы — это модуль HGX A100, который представляет собой печатную плату с установленными GPU A100 и коммутаторами NVSwitch. Существует две основные конфигурации модуля:

• HGX A100 4-GPU: Включает четыре GPU A100, соединённых через NVLink без использования внешнего NVSwitch. Каждый GPU имеет прямое соединение с тремя другими, образуя топологию «каждый с каждым» (all-to-all). Эта конфигурация предназначена для систем с меньшим числом ускорителей, где требуется высокая плотность вычислений, но не требуется масштабирование до 8 GPU.
• HGX A100 8-GPU: Включает восемь GPU A100, соединённых через шесть коммутаторов NVSwitch (третьего поколения). Каждый GPU подключён к каждому из шести NVSwitch, что обеспечивает полную неблокируемую связь между всеми восемью GPU. Пропускная способность NVLink в этой конфигурации составляет 600 гигабайт в секунду (ГБ/с) на GPU (в обе стороны), что в 7 раз превышает пропускную способность шины PCIe 4.0 x16.

Ключевые компоненты

• GPU NVIDIA A100: Каждый ускоритель содержит 6912 ядер CUDA (для вычислений с плавающей запятой), 432 тензорных ядра (для операций ИИ) и 40 или 80 ГБ памяти HBM2e (High Bandwidth Memory 2e) с пропускной способностью до 2 ТБ/с. GPU поддерживает технологию MIG, позволяющую разделить его на до 7 логических разделов.
• NVSwitch: Третье поколение NVSwitch — это специализированный коммутатор, который обеспечивает полную связность между GPU. Каждый NVSwitch имеет 18 портов NVLink, каждый из которых работает на скорости 50 ГБ/с. В модуле 8-GPU используется шесть таких коммутаторов.
• NVLink 3.0: Интерфейс, соединяющий GPU и NVSwitch. Каждый GPU A100 имеет 12 линий NVLink 3.0, каждая из которых обеспечивает двунаправленную пропускную способность 50 ГБ/с. Общая пропускная способность NVLink на GPU составляет 600 ГБ/с.

Система охлаждения

Платформа HGX A100 может поставляться в двух вариантах охлаждения:

• Воздушное охлаждение: Стандартное решение с использованием радиаторов и вентиляторов. Требует эффективной циркуляции воздуха в серверной стойке.
• Жидкостное охлаждение (Direct Liquid Cooling, DLC): Используется для систем с высокой плотностью мощности (до 40 кВт на стойку). Жидкость отводит тепло непосредственно от GPU через холодные пластины (cold plates), что позволяет снизить энергопотребление на охлаждение и уменьшить шум.

Применение

Искусственный интеллект и глубокое обучение

Основное применение HGX A100 — обучение и инференс (выполнение) моделей ИИ. Благодаря высокой пропускной способности NVLink, платформа позволяет эффективно распределять вычисления между несколькими GPU, что критически важно для обучения больших языковых моделей (LLM), генеративных нейросетей и систем компьютерного зрения. Например, обучение модели GPT-3 (175 миллиардов параметров) требует кластеров из сотен или тысяч GPU A100, соединённых через HGX-модули.

Научные вычисления (HPC)

В области высокопроизводительных вычислений HGX A100 используется для моделирования физических процессов (например, в аэродинамике, климатологии, материаловедении), обработки данных с научных приборов (ускорители частиц, телескопы) и симуляции сложных систем. Архитектура Ampere поддерживает вычисления двойной точности (FP64), что необходимо для многих научных задач.

Аналитика больших данных

Платформа применяется для ускорения обработки больших объёмов данных с использованием фреймворков, таких как Apache Spark и RAPIDS. GPU-ускорение позволяет сократить время выполнения запросов и анализа с часов до минут.

Примеры систем на базе HGX A100

Многие крупные производители серверов (OEM) выпускают системы на базе HGX A100. Среди них:

• NVIDIA DGX A100: Эталонная система от самой NVIDIA, объединяющая 8 GPU A100 в одном корпусе. DGX A100 является стандартом для многих исследовательских центров.
• Dell PowerEdge XE8545: Сервер, поддерживающий до 4 GPU A100.
• HPE Apollo 6500 Gen10 Plus: Система, поддерживающая до 8 GPU A100.
• Lenovo ThinkSystem SR670 V2: Сервер, поддерживающий до 4 GPU A100.
• Supermicro SYS-420GP: Система, поддерживающая до 8 GPU A100.

Критика и ограничения

• Высокая стоимость: Платформа HGX A100, особенно в конфигурации 8-GPU, является дорогостоящим решением. Цена одного сервера DGX A100 может превышать 200 000 долларов США. Это делает её недоступной для многих небольших организаций.
• Энергопотребление: Каждый GPU A100 имеет тепловыделение (TDP) до 400 Вт, а система из 8 GPU — до 3,2 кВт только на ускорители. Для охлаждения и электропитания требуется мощная инфраструктура.
• Ограниченная доступность: В 2022–2023 годах из-за высокого спроса на GPU для ИИ и ограничений на поставки в некоторые страны (включая Китай) наблюдался дефицит платформы HGX A100.
• Зависимость от экосистемы NVIDIA: Для полного использования возможностей платформы требуется программное обеспечение NVIDIA (CUDA, cuDNN, NCCL), что привязывает пользователя к экосистеме компании и ограничивает использование альтернативных решений.

Интересные факты

• Платформа HGX A100 поддерживает технологию Multi-Instance GPU (MIG), которая позволяет разделить один физический GPU A100 на до 7 логических разделов. Это даёт возможность запускать несколько независимых задач на одном GPU, повышая его утилизацию.
• В 2023 году NVIDIA выпустила преемника — платформу HGX H100 на базе GPU H100 (архитектура Hopper), которая предлагает ещё более высокую производительность и пропускную способность.
• Системы на базе HGX A100 используются в крупнейших суперкомпьютерах мира, таких как Perlmutter (Национальная лаборатория Лоуренса Беркли, США) и Leonardo (CINECA, Италия).

Источники

• NVIDIA Corporation. (2020). NVIDIA A100 Tensor Core GPU Architecture. NVIDIA Whitepaper.
• NVIDIA Corporation. (2020). NVIDIA HGX A100: The Foundation for AI and HPC. NVIDIA Product Brief.
• NVIDIA Corporation. (2020). NVIDIA DGX A100: The Universal System for AI Infrastructure. NVIDIA Product Guide.
• Top500.org. (2022). November 2022 List of the World’s Top 500 Supercomputers.