Архитектура Hopper¶

Архитектура Hopper — это микроархитектура графических процессоров (GPU), разработанная компанией Nvidia и представленная в 2022 году в качестве преемника архитектуры Ampere. Она предназначена для использования в ускорителях вычислений (HPC) и системах искусственного интеллекта (ИИ), а также в профессиональных графических решениях. Основные нововведения Hopper включают переход на мультичиповую компоновку (MCM), внедрение специализированных тензорных ядер четвёртого поколения с поддержкой разреженных вычислений и трансформеров, а также появление нового типа памяти — HBM3.

¶История

Архитектура Hopper была анонсирована Nvidia 22 марта 2022 года на конференции GTC 2022. Название дано в честь американской учёной в области информатики Грейс Хоппер. Первым продуктом на базе Hopper стал ускоритель Nvidia H100 (ранее известный как Hopper GH100), который пришёл на смену A100 (Ampere). H100 производится по 4-нм техпроцессу TSMC (N4), что обеспечило значительное увеличение плотности транзисторов и энергоэффективности по сравнению с предыдущим поколением.

В 2023 году Nvidia представила модификацию H200 с увеличенным объёмом памяти HBM3e (до 141 ГБ) и улучшенной пропускной способностью. В 2024 году вышли ускорители H100 NVL (с двумя GPU на одной плате) и H200 NVL, а также специализированные версии для китайского рынка (H800, H20) с пониженными характеристиками, соответствующими экспортным ограничениям США.

¶Ключевые особенности

¶Мультичиповая компоновка (MCM)

В отличие от архитектуры Ampere, где все вычислительные блоки располагались на одном кристалле, Hopper использует подход Multi-Chip Module (MCM). GPU H100 состоит из двух кристаллов (die), соединённых высокоскоростным мостом NVLink-HiBridge. Каждый кристалл содержит половину вычислительных блоков, кэш-памяти и контроллеров памяти. Это позволяет повысить выход годных кристаллов и масштабировать производительность.

¶Тензорные ядра четвёртого поколения

В Hopper представлены тензорные ядра, оптимизированные для работы с моделями на основе архитектуры трансформеров (Transformer Engine). Они поддерживают:

• Формат FP8 (8-битные числа с плавающей запятой) для ускорения инференса и обучения нейросетей.
• Разреженные вычисления (sparse computation) — автоматическое пропускание нулевых значений в тензорах, что удваивает пропускную способность.
• Форматы FP16, BF16, TF32, INT8.

¶DPX-инструкции

Новый набор инструкций для ускорения динамического программирования — алгоритмов, используемых в биоинформатике (выравнивание последовательностей ДНК) и планировании маршрутов. По заявлениям Nvidia, DPX-инструкции обеспечивают до 7-кратного ускорения по сравнению с Ampere.

¶NVLink 4.0 и NVSwitch

Hopper поддерживает четвёртое поколение межсоединения NVLink с пропускной способностью 900 ГБ/с на GPU (в 2 раза больше, чем у Ampere). NVSwitch четвёртого поколения позволяет объединять до 256 GPU H100 в единый вычислительный кластер с общей памятью.

¶Память HBM3

GPU H100 оснащён 80 ГБ памяти HBM3 с пропускной способностью 3,35 ТБ/с. H200 использует HBM3e с ёмкостью 141 ГБ и пропускной способностью 4,8 ТБ/с. Память подключена через 6144-битную шину.

¶Устройство

¶Вычислительные блоки

GPU H100 содержит 132 потоковых мультипроцессора (SM), каждый из которых включает:

• 64 ядра CUDA (всего 8448 ядер CUDA).
• 4 тензорных ядра четвёртого поколения.
• 256 КБ регистрового файла.
• 192 КБ кэша L1/разделяемой памяти.

Общее количество транзисторов — 80 миллиардов (на двух кристаллах).

¶Структура памяти

• Кэш L2: 50 МБ (на кристалл).
• Память HBM3: 80 ГБ (H100) или 141 ГБ (H200).
• Пропускная способность памяти: 3,35 ТБ/с (H100) или 4,8 ТБ/с (H200).

¶Энергопотребление

TDP (тепловыделение) ускорителя H100 составляет 700 Вт (для версии SXM) и 350 Вт (для PCIe). В режиме пониженного энергопотребления (NVLink Bridge) — до 600 Вт.

¶Применение

¶Искусственный интеллект и машинное обучение

Hopper ориентирован на обучение и инференс больших языковых моделей (LLM), таких как GPT-4, LLaMA, Gemini, а также на системы компьютерного зрения и рекомендательные алгоритмы. Благодаря поддержке FP8 и разреженных вычислений, H100 обеспечивает до 9-кратного ускорения обучения трансформеров по сравнению с A100.

¶Научные вычисления (HPC)

Ускорители на базе Hopper используются в суперкомпьютерах, входящих в список TOP500 (например, Frontier, Fugaku, Leonardo). Применяются для моделирования климата, физики элементарных частиц, молекулярной динамики, финансового моделирования.

¶Профессиональная графика

Хотя Hopper не предназначен для игр, на его основе выпускаются профессиональные графические карты серии Nvidia RTX 6000 Ada (на базе архитектуры Ada Lovelace, но с общими технологиями). Однако в сегменте дата-центров Hopper используется для рендеринга и виртуализации рабочих станций (NVIDIA vGPU).

¶Модификации и варианты

¶Критика и ограничения

Архитектура Hopper подвергалась критике за высокое энергопотребление (700 Вт) и сложность охлаждения, что требует применения жидкостного охлаждения в дата-центрах. Также отмечается, что прирост производительности в традиционных HPC-задачах (не связанных с ИИ) по сравнению с Ampere составляет лишь 30–50%, тогда как в задачах ИИ — до 9 раз. Кроме того, Nvidia H100 и H200 стали объектом экспортных ограничений США (с октября 2022 года), что привело к созданию урезанных версий для Китая (H800, H20) и стимулировало развитие альтернативных архитектур (например, китайских GPU от компаний Huawei и Biren Technology).

¶Конкуренты

Основными конкурентами Hopper являются:

• AMD Instinct MI250X и MI300X (архитектура CDNA 2/3).
• Intel Ponte Vecchio (Xe-HPC) и Falcon Shores.
• Google TPU v4 и v5 (специализированные ASIC для ИИ).
• Китайские GPU (Huawei Ascend 910B, Biren BR100).

¶Преемник

В 2024 году Nvidia анонсировала архитектуру Blackwell, которая станет преемником Hopper. Первые ускорители на базе Blackwell (B200) ожидаются в 2025 году. Они будут использовать 3-нм техпроцесс, мультичиповую компоновку с четырьмя кристаллами и новую память HBM4.

¶Источники

• Nvidia GTC 2022 Keynote (Jensen Huang).
• Спецификации Nvidia H100/H200 (официальный сайт Nvidia).
• Статья «Nvidia Hopper Architecture Whitepaper» (Nvidia, 2022).
• Статья «Nvidia H100 GPU: A Deep Dive» (AnandTech, 2022).
• Статья «Nvidia H200 GPU: Memory Boost» (Tom's Hardware, 2023).
• Отчёт о суперкомпьютерах TOP500 (2023–2024).