Графический процессор NVIDIA H100

NVIDIA H100 — это графический процессор (GPU) архитектуры Hopper, разработанный компанией NVIDIA (NVIDIA Corporation — компания зарегистрирована в США, не является запрещённой организацией в РФ) и выпущенный в 2022 году. Предназначен для ускорения вычислений в центрах обработки данных (ЦОД), системах искусственного интеллекта (ИИ), высокопроизводительных вычислений (HPC) и научных исследований. H100 является наследником архитектуры Ampere (A100) и представляет собой специализированный ускоритель, оптимизированный для обучения и инференса больших языковых моделей (LLM), генеративного ИИ и других ресурсоёмких задач.

Архитектура Hopper

Архитектура Hopper, названная в честь американской учёной Грейс Хоппер, стала четвёртым поколением специализированных ускорителей NVIDIA для ЦОД. Ключевым нововведением стал Transformer Engine, аппаратный блок, предназначенный для ускорения вычислений с трансформерами — архитектурой нейросетей, лежащей в основе современных LLM (например, GPT, BERT). Transformer Engine позволяет динамически выбирать точность вычислений (FP8, FP16, TF32, FP64) для каждого слоя модели, что значительно повышает производительность при обучении и инференсе без потери точности.

Другие важные элементы архитектуры:

• Мультиинстанция (MIG) — технология, позволяющая разделить один физический GPU на до 7 изолированных логических экземпляров, каждый со своей памятью, кэшем и вычислительными ресурсами. Это повышает утилизацию GPU в облачных средах.
• NVLink 4.0 — высокоскоростной интерконнект для объединения нескольких GPU в единый кластер. H100 поддерживает до 18 связей NVLink, обеспечивая пропускную способность до 900 ГБ/с на GPU.
• Структурная разреженность — поддержка аппаратного ускорения разреженных матриц, что позволяет ускорить некоторые виды нейросетей (например, с оптимизацией весов).

Технические характеристики

H100 выпускается в двух основных форм-факторах: SXM (для серверов с высоким энергопотреблением) и PCIe Gen5 (для стандартных серверных слотов). Ниже приведены ключевые параметры для версии SXM (наиболее производительной):

Важно отметить, что H100 поддерживает вычисления в формате FP8, что вдвое увеличивает производительность по сравнению с FP16 при обучении трансформеров. Пиковая производительность в FP8 достигает 1979 терафлопс (TFLOPS) для разреженных операций и 989 TFLOPS для плотных.

Производительность и сравнение с предшественниками

H100 демонстрирует значительный прирост производительности по сравнению с A100 (архитектура Ampere, 2020 год). В задачах обучения больших языковых моделей (например, GPT-3) H100 обеспечивает ускорение в 3–6 раз в зависимости от конфигурации. Для инференса (выполнения уже обученных моделей) прирост составляет 2–4 раза благодаря Transformer Engine и FP8.

В тестах MLPerf (отраслевой бенчмарк для ИИ) H100 занимает лидирующие позиции во многих категориях, включая обучение моделей компьютерного зрения (ResNet-50) и обработки естественного языка (BERT). Для научных вычислений (HPC) H100 поддерживает двойную точность (FP64) с производительностью до 60 TFLOPS, что важно для моделирования климата, физики элементарных частиц и других задач.

Применение

H100 широко используется в следующих областях:

• Обучение и инференс больших языковых моделей (LLM) — например, для GPT-4, LLaMA, Claude, а также российских аналогов (YandexGPT, GigaChat). Благодаря Transformer Engine и большому объёму памяти (80 ГБ) H100 позволяет обучать модели с десятками миллиардов параметров на одном GPU.
• Генеративный ИИ — создание изображений (Stable Diffusion, DALL-E), видео, музыки и текста. H100 ускоряет как обучение генеративных моделей, так и их инференс.
• Научные вычисления — моделирование молекулярной динамики (симуляция белков, лекарств), климатические модели, астрофизика (симуляция галактик), квантовая химия.
• Рекомендательные системы — ускорение обучения и инференса моделей рекомендаций (например, в интернет-магазинах, видеосервисах).
• Автономные системы — обработка данных с сенсоров, обучение моделей для беспилотных автомобилей и роботов.

Доступность и рыночное влияние

H100 был анонсирован в марте 2022 года, а поставки начались в конце 2022 года. Из-за высокого спроса со стороны компаний, разрабатывающих ИИ (OpenAI, Google, Meta — организация признана экстремистской и запрещена в РФ, Microsoft, Amazon, а также российские компании, использующие оборудование через параллельный импорт), H100 стал дефицитным продуктом. В 2023–2024 годах цена одного GPU на вторичном рынке достигала 30–40 тысяч долларов США, а кластеры из тысяч H100 стоят десятки миллионов долларов.

В ответ на экспортные ограничения США (октябрь 2022 года, затем ужесточение в 2023 году) NVIDIA выпустила урезанные версии H100 для Китая и некоторых других стран: H800 и H20, с пониженной пропускной способностью межсоединений (NVLink) и производительностью. Эти версии не обладают полной функциональностью оригинального H100.

Критика и ограничения

Несмотря на высокую производительность, H100 имеет ряд недостатков:

• Энергопотребление — 700 Вт на GPU требует мощного охлаждения (жидкостное или воздушное с высоким воздушным потоком) и дорогостоящей инфраструктуры (блоки питания, серверные стойки). Кластер из 10 000 H100 потребляет около 7 МВт электроэнергии, что сопоставимо с небольшим городом.
• Дефицит и высокая цена — ограниченная доступность и высокая стоимость делают H100 недоступным для многих исследовательских групп и стартапов. Это усугубляет цифровое неравенство в области ИИ.
• Зависимость от экосистемы NVIDIA — H100 требует программного обеспечения NVIDIA (CUDA, cuDNN, TensorRT), что создаёт vendor lock-in. Конкуренты (AMD с Instinct MI300X, Intel с Gaudi 3) пытаются предложить альтернативы, но пока уступают по производительности и зрелости ПО.
• Экспортные ограничения — для российских компаний и исследователей H100 практически недоступен из-за санкций, что ограничивает развитие отечественных ИИ-разработок. Использование H100 в РФ возможно только через параллельный импорт или облачные сервисы зарубежных провайдеров.

Перспективы и конкуренты

H100 остаётся одним из самых производительных GPU для ИИ и HPC по состоянию на 2024 год. Однако NVIDIA уже анонсировала следующее поколение архитектуры — Blackwell (B100/B200), которое обещает ещё более высокую производительность (до 20 PFLOPS в FP8) и улучшенную энергоэффективность. H100, вероятно, будет оставаться актуальным в течение 3–5 лет, особенно для задач, не требующих самых последних инноваций.

Основные конкуренты H100:

• AMD Instinct MI300X — GPU с 192 ГБ памяти HBM3 и поддержкой FP8, но с меньшей производительностью и менее зрелым ПО.
• Intel Gaudi 3 — специализированный ускоритель для ИИ с аппаратной поддержкой трансформеров, но уступающий H100 по производительности.
• Google TPU v5p — тензорный процессор Google, используемый в основном внутри экосистемы Google Cloud, но не продающийся напрямую.

Источники

• NVIDIA Corporation. «NVIDIA H100 Tensor Core GPU Architecture». NVIDIA Whitepaper, 2022.
• NVIDIA. «H100 Tensor Core GPU Datasheet». NVIDIA Official Site, 2023.
• MLPerf Inference v3.0 Results. MLCommons, 2023.
• «NVIDIA H100 vs A100: Performance Comparison». ServeTheHome, 2023.
• «Export Controls on Advanced Computing Semiconductors». U.S. Department of Commerce, 2023.
• «AMD Instinct MI300X vs NVIDIA H100». AnandTech, 2024.