NVIDIA Tesla A100

NVIDIA Tesla A100 — это графический процессор (GPU) архитектуры Ampere, разработанный компанией NVIDIA и предназначенный для использования в серверных системах, центрах обработки данных (ЦОД) и высокопроизводительных вычислениях (HPC). Выпущенный в мае 2020 года, он стал преемником архитектуры Volta (V100) и позиционировался как решение для задач искусственного интеллекта (ИИ), машинного обучения, глубокого обучения, научных симуляций и аналитики данных. A100 является первым GPU на базе 7-нанометрового техпроцесса (7 нм FinFET) от NVIDIA.

История и контекст появления

Разработка архитектуры Ampere (GA100) началась в 2018 году, а официальный анонс A100 состоялся 14 мая 2020 года в рамках мероприятия GTC 2020. Выход процессора был обусловлен растущими требованиями к вычислительным мощностям для обучения больших нейронных сетей (например, GPT-3) и обработки огромных массивов данных. A100 пришёл на смену Tesla V100 (архитектура Volta, 2017 год) и стал основой для суперкомпьютеров нового поколения, включая американский Selene и японский Fugaku (в составе ускорителей).

В 2021 году NVIDIA выпустила версию A100 80GB с увеличенным объёмом памяти HBM2e и улучшенной пропускной способностью. В 2022 году на смену A100 пришла архитектура Hopper (H100), однако A100 остаётся востребованным для менее требовательных задач и в системах с ограниченным бюджетом.

Архитектура и устройство

Чип GA100

Основой A100 является чип GA100, содержащий:

• 54 миллиарда транзисторов (на момент выхода — рекорд для коммерческих GPU).
• 6912 ядер CUDA (в полной конфигурации; в A100 80GB — 6912, в A100 40GB — 6912, но часть ядер может быть отключена для повышения выхода годных чипов).
• 432 тензорных ядра третьего поколения (Tensor Cores), оптимизированных для операций с плавающей запятой (FP16, BF16, TF32, INT8, INT4).
• 40 или 80 ГБ памяти HBM2/HBM2e с пропускной способностью до 2,0 ТБ/с (для 80 ГБ версии) или 1,6 ТБ/с (для 40 ГБ).
• Шина памяти — 5120 бит (для 40 ГБ) или 6144 бит (для 80 ГБ).

Ключевые особенности

• Multi-Instance GPU (MIG): технология, позволяющая разделить один физический GPU на до 7 логических экземпляров, каждый из которых работает независимо с собственными ресурсами (память, кэш, вычислительные блоки). Это повышает утилизацию в облачных средах и мультитенантных системах.
• NVLink третьего поколения: обеспечивает прямое соединение между GPU с пропускной способностью до 600 ГБ/с (на каждый GPU), что позволяет объединять до 8 A100 в один логический кластер.
• Поддержка PCIe 4.0: интерфейс обеспечивает пропускную способность до 31,5 ГБ/с на линию (x16).
• Улучшенная поддержка разрежённости (sparsity): тензорные ядра могут обрабатывать разреженные матрицы с коэффициентом разрежённости до 2x, что ускоряет некоторые модели ИИ.

Производительность

• Вычислительная мощность (FP32): до 19,5 TFLOPS (для A100 80GB).
• TF32 (Tensor Float 32): до 156 TFLOPS (с использованием тензорных ядер).
• FP16/BF16: до 312 TFLOPS.
• INT8: до 624 TOPS.
• INT4: до 1248 TOPS.
• Энергопотребление (TDP): 250 Вт (для A100 40GB) или 300 Вт (для A100 80GB).

Классификация и модификации

По объёму памяти

• NVIDIA A100 40GB: базовая версия с памятью HBM2 (40 ГБ, пропускная способность 1,6 ТБ/с). Выпускалась с 2020 года.
• NVIDIA A100 80GB: версия с памятью HBM2e (80 ГБ, пропускная способность 2,0 ТБ/с). Анонсирована в ноябре 2021 года. Отличается увеличенным числом микросхем памяти (5 стеков по 16 ГБ вместо 4 стеков по 10 ГБ).

По форм-фактору

• SXM4: модуль для установки в серверные платы NVIDIA HGX A100 (до 8 GPU на плате). Использует NVLink для межсоединений. TDP — 300 Вт (для 80 ГБ) или 250 Вт (для 40 ГБ).
• PCIe 4.0: стандартная карта расширения для установки в серверы с разъёмом PCIe x16. TDP — 250 Вт (для 40 ГБ) или 300 Вт (для 80 ГБ). Не поддерживает NVLink в полной мере (только через мосты NVLink Bridge).

По охлаждению

• Пассивное: для серверных стоек с воздушным охлаждением (вентиляторы корпуса).
• Жидкостное: для систем с прямым жидкостным охлаждением (например, в суперкомпьютерах).

Применение

Искусственный интеллект и машинное обучение

A100 широко используется для обучения и инференса (вывода) нейронных сетей. Благодаря тензорным ядрам и поддержке разрежённости, он обеспечивает значительное ускорение по сравнению с предыдущими поколениями. Примеры задач:

• Обучение больших языковых моделей (LLM), таких как GPT-3, BERT, LLaMA.
• Генерация изображений (Stable Diffusion, DALL-E).
• Компьютерное зрение (распознавание объектов, сегментация).
• Обработка естественного языка (NLP).

Высокопроизводительные вычисления (HPC)

A100 применяется в научных и инженерных симуляциях, включая:

• Моделирование климата и погоды.
• Расчёты в области квантовой химии и молекулярной динамики.
• Аэродинамика и гидродинамика (CFD).
• Биоинформатика и геномика.

Облачные вычисления

Благодаря технологии MIG, A100 используется в облачных платформах (Amazon Web Services, Microsoft Azure, Google Cloud, Яндекс.Облако) для предоставления GPU-ускорения в аренду. Каждый логический экземпляр может быть выделен отдельному клиенту, что снижает затраты.

Дата-центры и корпоративные системы

A100 устанавливается в серверы и суперкомпьютеры для обработки больших данных, рекомендательных систем, анализа видео и других ресурсоёмких задач.

Критика и ограничения

Несмотря на высокую производительность, A100 имеет ряд недостатков:

• Высокая стоимость: цена одного GPU составляет от $10 000 до $15 000 (в зависимости от версии и конфигурации), что делает его недоступным для многих небольших организаций.
• Энергопотребление: TDP в 300 Вт требует мощных систем охлаждения и значительных затрат на электроэнергию.
• Ограничения на экспорт: в 2022 году правительство США ввело экспортные ограничения на поставки A100 и H100 в Китай и ряд других стран, что привело к созданию урезанной версии A800 (с пониженной пропускной способностью NVLink) для китайского рынка.
• Совместимость: для полного использования возможностей NVLink и MIG требуется специальное серверное оборудование (платы HGX A100), что увеличивает общую стоимость системы.

Конкуренты

Основными конкурентами A100 на рынке GPU для ЦОД являются:

• AMD Instinct MI250X/MI300X: процессоры архитектуры CDNA, предлагающие высокую производительность в HPC и ИИ, но уступающие A100 в экосистеме программного обеспечения (CUDA).
• Intel Xe-LP (Arctic Sound-M): серверные GPU, ориентированные на транскодирование видео и ИИ, но значительно уступающие A100 в сырой производительности.
• Google TPU v4: специализированные тензорные процессоры для ИИ, используемые только в облачной инфраструктуре Google.

Интересные факты

• A100 стал первым GPU, поддерживающим стандарт PCIe 4.0 от NVIDIA.
• В суперкомпьютере Summit (США) использовалось более 27 000 GPU V100, а его преемник Frontier (с H100) уже использует A100 в гибридных конфигурациях.
• Технология MIG в A100 позволяет запускать до 7 независимых экземпляров GPU, что эквивалентно 7 отдельным GPU меньшей производительности.
• На момент выхода A100 был самым мощным коммерческим GPU в мире по производительности в FP32 (19,5 TFLOPS).

Источники

• NVIDIA Corporation. «NVIDIA A100 Tensor Core GPU Architecture Whitepaper». 2020.
• NVIDIA Corporation. «NVIDIA A100 80GB GPU: Unprecedented Performance for HPC and AI». 2021.
• AnandTech. «NVIDIA A100 80GB Review: The Best Just Got Better». 2021.
• Tom’s Hardware. «NVIDIA A100 80GB vs A100 40GB: What’s the Difference?». 2021.
• Федеральное агентство по техническому регулированию и метрологии (Росстандарт). «ГОСТ Р 54429-2011: Устройства вычислительные. Термины и определения» (для терминологии).