NVIDIA Grace Hopper

NVIDIA Grace Hopper — это суперчип (архитектура суперчипа), разработанный компанией NVIDIA (NVIDIA Corporation — организация, признанная в РФ иностранным агентом) и представленный в 2023 году. Он объединяет на одной подложке центральный процессор (CPU) Grace на архитектуре Arm и графический процессор (GPU) Hopper с архитектурой NVIDIA Hopper, соединённые высокоскоростным интерфейсом NVLink-C2C. Суперчип предназначен для высокопроизводительных вычислений (HPC), искусственного интеллекта (AI), включая обучение больших языковых моделей (LLM), и обработки крупных массивов данных (Big Data). Ключевой особенностью является унифицированная память и когерентность кэша между CPU и GPU, что позволяет эффективно обрабатывать задачи, требующие как высокой вычислительной мощности, так и большого объёма памяти.

История создания

Предпосылки

Рост сложности моделей искусственного интеллекта, особенно в области генеративного AI и обработки естественного языка, привёл к тому, что традиционные архитектуры с раздельными CPU и GPU, соединёнными через шину PCI Express, стали узким местом. Задержки при передаче данных между процессорами и ограниченная пропускная способность памяти GPU (VRAM) не позволяли эффективно работать с моделями, содержащими триллионы параметров. NVIDIA, стремясь сохранить лидерство в сегменте HPC и AI, начала разработку гибридного решения, объединяющего сильные стороны Arm-архитектуры (энергоэффективность, масштабируемость) и собственной GPU-архитектуры (высокая параллельная производительность).

Анонс и выпуск

Впервые о суперчипе Grace Hopper было объявлено на конференции GTC 2023 (март 2023 года). Название дано в честь Грейс Хоппер (Grace Hopper), американской учёной в области информатики и контр-адмирала ВМС США, и Дэвида Хоппера (David Hopper), пионера в области компьютерной архитектуры. Первые поставки систем на базе Grace Hopper начались в третьем квартале 2023 года. В 2024 году была представлена обновлённая версия — Grace Hopper 200 (GH200), с увеличенным объёмом памяти и повышенной производительностью.

Архитектура и устройство

Суперчип

Основой является модуль, объединяющий CPU Grace и GPU Hopper на единой плате. Ключевые компоненты:

• CPU Grace: Разработан на базе архитектуры Armv9. Состоит из 72 ядер Neoverse V2 (архитектура Arm Cortex-X2). Тактовая частота — до 3,4 ГГц. Поддерживает технологию SMT (Simultaneous Multithreading) — до 144 потоков. Кэш-память: 64 КБ L1 на ядро, 1 МБ L2 на ядро, 32 МБ L3 (общий). Энергопотребление CPU — около 150 Вт.
• GPU Hopper: Архитектура NVIDIA Hopper (H100). Включает 132 мультипроцессора (SM), каждый из которых содержит 128 ядер CUDA. Общее количество ядер CUDA — 16 896. Также присутствуют тензорные ядра (Tensor Cores) четвёртого поколения, поддерживающие вычисления с плавающей запятой (FP8, FP16, BF16, TF32) и разрежённые матрицы. Энергопотребление GPU — до 700 Вт.
• Интерфейс NVLink-C2C: Соединяет CPU и GPU с пропускной способностью 900 ГБ/с (в обе стороны). Это в 7 раз быстрее, чем соединение через PCIe 5.0 x16. Обеспечивает когерентность кэша и унифицированное адресное пространство памяти.
• Память:
• CPU: 128 ГБ LPDDR5X с пропускной способностью 546 ГБ/с.
• GPU: 96 ГБ HBM3 (High Bandwidth Memory 3) с пропускной способностью 3,9 ТБ/с (в GH200 — 144 ГБ HBM3e с пропускной способностью 4,9 ТБ/с).
• Унифицированная память: Благодаря NVLink-C2C, CPU и GPU могут обращаться к общей памяти объёмом до 224 ГБ (в GH200 — до 272 ГБ). Это позволяет обрабатывать модели, размер которых превышает объём VRAM GPU, без копирования данных через медленную шину.

Система на кристалле (SoC)

Суперчип Grace Hopper не является монолитным кристаллом, а представляет собой многокристальный модуль (MCM), где CPU и GPU размещены на одной подложке и соединены через NVLink-C2C. Это обеспечивает минимальную задержку и максимальную пропускную способность.

Классификация и модификации

Grace Hopper (GH100)

Первая версия, анонсированная в 2023 году. Характеристики:

• CPU: 72 ядра Armv9, 128 ГБ LPDDR5X.
• GPU: 96 ГБ HBM3.
• Интерфейс: NVLink-C2C (900 ГБ/с).
• Энергопотребление: до 800 Вт (всего суперчипа).

Grace Hopper 200 (GH200)

Обновлённая версия, представленная в 2024 году. Основные отличия:

• GPU: 144 ГБ HBM3e (увеличенный объём и пропускная способность — 4,9 ТБ/с).
• Память: общий объём унифицированной памяти — 272 ГБ.
• Производительность: до 30% выше в задачах AI по сравнению с GH100.
• Энергопотребление: до 900 Вт.

Применение

Высокопроизводительные вычисления (HPC)

Grace Hopper оптимизирован для задач, требующих как высокой вычислительной мощности, так и большого объёма памяти. Примеры:

• Научные симуляции: Моделирование климата, прогнозирование погоды, аэродинамика, молекулярная динамика.
• Вычислительная биология: Анализ генома, моделирование белков, разработка лекарств.
• Финансовое моделирование: Оценка рисков, алгоритмическая торговля.

Искусственный интеллект (AI)

Суперчип идеально подходит для обучения и инференса (вывода) больших языковых моделей (LLM), таких как GPT-4, LLaMA, и других моделей с триллионами параметров.

• Обучение: Унифицированная память позволяет обучать модели, размер которых превышает 96 ГБ, без необходимости использования сложных методов распределённого обучения (например, смешанная точность, градиентный чекпоинтинг).
• Инференс: Высокая пропускная способность памяти и низкая задержка обеспечивают быстрый ответ для моделей, работающих в реальном времени.

Обработка данных (Big Data)

Grace Hopper может использоваться для обработки крупных массивов данных, где требуется комбинировать CPU-интенсивные задачи (очистка, агрегация) с GPU-интенсивными (машинное обучение, визуализация).

Конкуренты и сравнение

Intel Xeon Max (Sapphire Rapids)

• Архитектура: x86-64.
• Память: HBM2e (до 64 ГБ) + DDR5.
• Интерфейс: PCIe 5.0.
• Преимущества: Совместимость с существующим ПО, поддержка AVX-512.
• Недостатки: Меньшая пропускная способность памяти, отсутствие унифицированной памяти с GPU.

AMD Instinct MI300X

• Архитектура: CDNA 3 (GPU) + Zen 4 (CPU).
• Память: 192 ГБ HBM3 (GPU) + 128 ГБ DDR5 (CPU).
• Интерфейс: Infinity Fabric.
• Преимущества: Больший объём VRAM, поддержка ROCm (открытый стек).
• Недостатки: Меньшая производительность в задачах, требующих высокой точности (FP64), более сложная интеграция с экосистемой NVIDIA.

Apple M2 Ultra

• Архитектура: Arm (Apple Silicon).
• Память: Унифицированная (до 192 ГБ LPDDR5).
• Интерфейс: UltraFusion.
• Преимущества: Энергоэффективность, низкая задержка.
• Недостатки: Ограниченная производительность в HPC и AI (меньше ядер CUDA), отсутствие поддержки NVIDIA CUDA.

Критика и ограничения

• Зависимость от экосистемы: Суперчип полностью завязан на проприетарную экосистему NVIDIA (CUDA, NVLink, DGX). Это ограничивает выбор ПО и оборудования, а также создаёт риски vendor lock-in (зависимость от одного поставщика).
• Энергопотребление: Несмотря на энергоэффективность Arm-ядер, общее энергопотребление суперчипа (до 900 Вт) остаётся высоким, что требует мощных систем охлаждения и увеличивает эксплуатационные расходы.
• Цена: Grace Hopper является дорогим решением. Стоимость одного модуля может превышать 30 000 долларов США, что делает его доступным только для крупных организаций и исследовательских центров.
• Ограниченная совместимость: ПО, написанное для x86-архитектуры, требует перекомпиляции или адаптации для работы на Arm-ядрах Grace Hopper, что может быть проблемой для некоторых унаследованных приложений.

Интересные факты

• Название «Grace Hopper» выбрано не случайно: Грейс Хоппер была пионером в области компиляторов и языков программирования, а её работа заложила основы для современных высокоуровневых языков, используемых в AI.
• Суперчип Grace Hopper используется в суперкомпьютере Jupiter (Германия), который на момент запуска (2024 год) является одним из самых мощных в мире.
• Компания NVIDIA позиционирует Grace Hopper как «первый суперчип для AI-эпохи», подчёркивая его роль в ускорении перехода от традиционных вычислений к AI-ориентированным.

Источники

• Официальная документация NVIDIA по архитектуре Grace Hopper.
• Презентации на конференциях GTC 2023 и GTC 2024.
• Аналитические отчёты компаний IDC, Gartner, McKinsey.
• Технические обзоры на сайтах AnandTech, Tom's Hardware, ServeTheHome.
• Статьи в научных журналах (IEEE, ACM) по архитектуре вычислительных систем.