NVIDIA H100

NVIDIA H100 — это графический процессор (GPU) архитектуры Hopper, предназначенный для ускорения вычислений в центрах обработки данных (ЦОД), в первую очередь для задач искусственного интеллекта (ИИ), машинного обучения (ML) и высокопроизводительных вычислений (HPC). Анонсированный компанией NVIDIA в марте 2022 года, H100 стал преемником архитектуры Ampere (A100) и флагманским решением для ускорения обучения и инференса больших языковых моделей (LLM), генеративных нейросетей и других ресурсоёмких задач.

История и контекст

NVIDIA H100 был представлен на конференции GTC 2022 как часть платформы Hopper, названной в честь американской учёной Грейс Хоппер. Выпуск процессора пришёлся на период бурного роста рынка генеративного ИИ, что создало беспрецедентный спрос на вычислительные мощности. H100 стал основным аппаратным обеспечением для обучения таких моделей, как GPT-4, LLaMA и их многочисленных аналогов.

В 2023 году NVIDIA представила модификацию H100 NVL (NVIDIA Link), предназначенную для работы в конфигурациях с двумя GPU, объединёнными через NVLink, что удваивает объём доступной видеопамяти (до 188 ГБ) и пропускную способность для крупных моделей. В 2024 году на смену H100 начал приходить процессор следующего поколения — Blackwell (B100/B200), однако H100 остаётся широко востребованным из-за более низкой стоимости и доступности.

Архитектура и ключевые характеристики

Архитектура Hopper включает несколько ключевых нововведений, отличающих H100 от предшественника A100.

Техпроцесс и компоновка

H100 производится по 4-нанометровому техпроцессу TSMC 4N (специализированная версия для NVIDIA), что позволило разместить 80 миллиардов транзисторов на кристалле площадью 814 мм². Процессор состоит из 144 потоковых мультипроцессоров (SM), каждый из которых содержит 128 ядер CUDA.

Трансформер-движок (Transformer Engine)

Одной из ключевых особенностей H100 является Transformer Engine — аппаратный блок, оптимизированный для работы с моделями-трансформерами. Он позволяет автоматически выбирать и переключаться между форматами FP8 (8-битная плавающая запятая) и FP16 (16-битная) для разных слоёв нейросети, что ускоряет вычисления без значительной потери точности. По заявлениям NVIDIA, это даёт до 9-кратного ускорения обучения по сравнению с A100 при использовании FP8.

Новые форматы данных

Помимо поддержки FP8, H100 ввёл поддержку формата FP8 E4M3 (4 бита экспоненты, 3 бита мантиссы) и FP8 E5M2 (5 бит экспоненты, 2 бита мантиссы), а также улучшенную поддержку TF32 (TensorFloat-32) и INT8.

Память и пропускная способность

H100 оснащается 80 ГБ памяти HBM3 (High Bandwidth Memory 3) с пропускной способностью 3,35 ТБ/с (в версии SXM). Это на 50% больше, чем у A100 (2,0 ТБ/с). В версии H100 NVL объём памяти удваивается до 188 ГБ (два GPU по 94 ГБ каждый) за счёт объединения через NVLink.

Соединения и масштабирование

• NVLink 4.0: обеспечивает скорость передачи данных до 900 ГБ/с между GPU (в четыре раза быстрее, чем NVLink 3.0 в A100).
• NVSwitch: позволяет объединять до 256 GPU H100 в единый кластер (DGX SuperPOD) с общей пропускной способностью 57,6 ТБ/с.
• PCIe 5.0: в версиях для стандартных серверов (H100 PCIe) обеспечивает пропускную способность до 128 ГБ/с на линию.

Варианты исполнения

NVIDIA H100 выпускается в нескольких форм-факторах, предназначенных для разных типов ЦОД:

Производительность

Производительность H100 измеряется в различных бенчмарках в зависимости от типа задач:

• Обучение нейросетей (FP8): до 4000 TFLOPS (терафлопс) — в 9 раз быстрее A100 в задачах с трансформерами.
• Обучение (FP16/TF32): до 2000 TFLOPS.
• Инференс (INT8): до 4000 TOPS (тераопс).
• HPC (FP64): до 60 TFLOPS (в 3 раза быстрее A100).

В реальных задачах, например, при обучении модели GPT-3 (175 млрд параметров), кластер из 1024 GPU H100 может завершить обучение за 1–2 недели, тогда как на A100 это заняло бы несколько месяцев.

Применение

Искусственный интеллект и машинное обучение

H100 является стандартом для обучения и инференса крупных языковых моделей (LLM), генеративных нейросетей (Stable Diffusion, DALL-E), рекомендательных систем и компьютерного зрения. Он используется такими компаниями, как OpenAI, Microsoft, Google, Meta (организация признана экстремистской и запрещена в РФ), Amazon, а также российскими компаниями, работающими в области ИИ (например, Яндекс, Сбер).

Научные вычисления (HPC)

В высокопроизводительных вычислениях H100 применяется для моделирования климата, расчётов в области квантовой химии, биоинформатики (например, анализ белков AlphaFold), астрофизики и других задач, требующих двойной точности (FP64).

Генеративный ИИ

С 2023 года H100 стал основой для развёртывания сервисов генеративного ИИ, включая чат-боты, генерацию изображений, видео и кода. Спрос на H100 привёл к дефициту и многомесячным очередям на поставку.

Критика и ограничения

Несмотря на высокую производительность, H100 подвергается критике по нескольким причинам:

• Высокая стоимость: цена одного GPU H100 составляет от 25 000 до 40 000 долларов США, а кластер из тысяч таких ускорителей может стоить сотни миллионов долларов, что делает его недоступным для большинства организаций.
• Энергопотребление: TDP в 700 Вт (для SXM) требует мощных систем охлаждения (жидкостное или высокоскоростные вентиляторы), что увеличивает эксплуатационные расходы ЦОД.
• Ограничения на экспорт: из-за опасений США по поводу использования в военных целях, экспорт H100 в Китай и некоторые другие страны был ограничен, что привело к созданию урезанной версии H800 для китайского рынка (с пониженной пропускной способностью NVLink).
• Дефицит: ажиотажный спрос на H100 привёл к дефициту на рынке, что стимулировало рост цен на вторичном рынке и появление посреднических схем.

Интересные факты

• Для обучения одной модели GPT-4 (предположительно 1,8 трлн параметров) потребовалось около 25 000 GPU H100 в течение нескольких месяцев.
• NVIDIA H100 является первым GPU, в котором используется технология MIG (Multi-Instance GPU) второго поколения, позволяющая разделять один GPU на до 7 изолированных виртуальных ускорителей.
• В 2023 году NVIDIA продала более 1,5 миллиона единиц H100, что принесло компании десятки миллиардов долларов выручки.

Источники

• NVIDIA Corporation. «NVIDIA H100 Tensor Core GPU Architecture» (Whitepaper, 2023).
• NVIDIA Corporation. «NVIDIA H100 Product Brief» (2022).
• Tom’s Hardware. «NVIDIA H100 Hopper GPU: Everything You Need to Know» (2023).
• The Verge. «NVIDIA’s H100 is the most sought-after chip in the AI boom» (2023).
• IEEE Spectrum. «How NVIDIA’s H100 GPU Became the Engine of AI» (2024).