HBM

HBM (High Bandwidth Memory, память с высокой пропускной способностью) — это тип высокопроизводительной оперативной памяти, предназначенный для использования в графических процессорах, суперкомпьютерах и других системах, требующих максимальной пропускной способности при минимальном энергопотреблении и физическом объёме. В отличие от традиционных типов памяти (GDDR), HBM использует трёхмерную компоновку кристаллов и широкую шину данных, что позволяет достигать значительно более высоких показателей пропускной способности на ватт потребляемой энергии.

История

Разработка HBM была начата в конце 2000-х годов консорциумом, в который вошли компании AMD, SK Hynix, Samsung Electronics и другие. Основной целью было создание памяти, способной преодолеть ограничения по пропускной способности и энергопотреблению, присущие GDDR5, которая на тот момент была стандартом для видеокарт.

Первая спецификация HBM (HBM1) была стандартизирована JEDEC (Joint Electron Device Engineering Council) в 2013 году. Первым коммерческим продуктом, использующим HBM1, стал графический процессор AMD Fiji, выпущенный в 2015 году в составе видеокарт серии Radeon R9 Fury. HBM1 обеспечивала пропускную способность до 128 ГБ/с на стек кристаллов при использовании 4096-битной шины данных.

В 2016 году была представлена вторая версия — HBM2. Она увеличила максимальную пропускную способность одного стека до 256 ГБ/с и повысила максимальную ёмкость стека до 8 ГБ (позднее — до 16 ГБ). HBM2 стала основой для графических процессоров AMD Vega (2017) и NVIDIA Volta (2017), а также для специализированных ускорителей, таких как NVIDIA Tesla V100.

В 2020 году JEDEC утвердила спецификацию HBM2E (Enhanced), которая ещё больше повысила скорость передачи данных (до 3,2 Гбит/с на контакт) и ёмкость стека (до 24 ГБ). HBM2E используется в ускорителях NVIDIA Ampere (A100) и AMD Instinct MI200.

Современным стандартом на начало 2024 года является HBM3, утверждённый JEDEC в 2022 году. HBM3 обеспечивает скорость передачи данных до 6,4 Гбит/с на контакт, пропускную способность одного стека до 819 ГБ/с и ёмкость до 32 ГБ на стек. HBM3 применяется в ускорителях NVIDIA Hopper (H100) и AMD Instinct MI300.

Устройство и принцип работы

Трёхмерная компоновка (3D stacking)

Ключевая особенность HBM — вертикальное расположение кристаллов памяти (DRAM dies) друг над другом, соединённых сквозными кремниевыми переходами (TSV — Through-Silicon Vias). Кристаллы укладываются в стек (stack) и соединяются с контроллером памяти через кремниевый интерпозер (silicon interposer). Интерпозер, в свою очередь, располагается на подложке рядом с графическим процессором или другим вычислительным чипом.

Такая компоновка позволяет:

• Значительно сократить физическое расстояние между памятью и процессором, уменьшая задержки.
• Увеличить количество каналов и ширину шины данных без увеличения площади чипа.
• Снизить энергопотребление за счёт меньшей длины проводников.

Широкая шина данных

Каждый стек HBM имеет собственную шину данных шириной 1024 бита (128 байт). Для сравнения, шина GDDR6 обычно имеет ширину 32 бита на чип. В конфигурации с четырьмя стеками HBM общая ширина шины достигает 4096 бит, что позволяет передавать огромные объёмы данных за один такт.

Канальная архитектура

Каждый стек HBM логически разделён на 8 независимых каналов (channels), каждый из которых имеет собственную шину данных шириной 128 бит. Каналы могут работать параллельно, что дополнительно увеличивает пропускную способность и эффективность использования памяти.

Технические характеристики

HBM1

• Скорость передачи данных: до 1 Гбит/с на контакт
• Пропускная способность стека: до 128 ГБ/с
• Ёмкость стека: до 1 ГБ (4 кристалла по 2 Гбит)
• Ширина шины стека: 1024 бита
• Энергопотребление: около 2,5 пДж/бит

HBM2

• Скорость передачи данных: до 2 Гбит/с на контакт
• Пропускная способность стека: до 256 ГБ/с
• Ёмкость стека: до 8 ГБ (первоначально), до 16 ГБ (поздние версии)
• Ширина шины стека: 1024 бита
• Энергопотребление: около 2 пДж/бит

HBM2E

• Скорость передачи данных: до 3,2 Гбит/с на контакт
• Пропускная способность стека: до 410 ГБ/с
• Ёмкость стека: до 24 ГБ
• Ширина шины стека: 1024 бита

HBM3

• Скорость передачи данных: до 6,4 Гбит/с на контакт
• Пропускная способность стека: до 819 ГБ/с
• Ёмкость стека: до 32 ГБ
• Ширина шины стека: 1024 бита
• Энергопотребление: около 1,5 пДж/бит

Применение

Графические процессоры (GPU)

HBM широко применяется в высокопроизводительных видеокартах для рабочих станций, серверов и игр. Примеры:

• AMD Radeon R9 Fury (HBM1)
• AMD Radeon RX Vega (HBM2)
• NVIDIA Quadro GP100 (HBM2)
• AMD Radeon Pro W7900 (HBM2E)

Ускорители для искусственного интеллекта и машинного обучения

HBM является стандартом для ускорителей, используемых в обучении и инференсе нейронных сетей. Примеры:

• NVIDIA Tesla V100 (HBM2)
• NVIDIA A100 (HBM2E)
• NVIDIA H100 (HBM3)
• AMD Instinct MI250X (HBM2E)
• AMD Instinct MI300X (HBM3)

Суперкомпьютеры

Многие современные суперкомпьютеры используют HBM для обеспечения высокой пропускной способности памяти. Например, в суперкомпьютере Frontier (США) используются ускорители AMD Instinct MI250X с HBM2E, а в Fugaku (Япония) — процессоры Fujitsu A64FX, интегрирующие HBM2.

Сетевые устройства и FPGA

HBM также применяется в высокопроизводительных сетевых процессорах и программируемых логических интегральных схемах (FPGA) для обработки больших объёмов данных в реальном времени.

Преимущества и недостатки

Преимущества

• Высокая пропускная способность: значительно превосходит GDDR и DDR при сравнимом энергопотреблении.
• Низкое энергопотребление: благодаря коротким соединениям и низкому напряжению.
• Компактность: трёхмерная компоновка экономит место на печатной плате.
• Масштабируемость: возможность добавления дополнительных стеков для увеличения ёмкости и пропускной способности.

Недостатки

• Высокая стоимость производства: использование кремниевых интерпозеров и TSV увеличивает себестоимость.
• Сложность интеграции: требует специальной подложки и охлаждения.
• Ограниченная ёмкость: максимальная ёмкость одного стека HBM3 (32 ГБ) меньше, чем у GDDR6X (до 16 ГБ на чип, но чипов может быть больше).
• Задержки: хотя HBM имеет низкие задержки по сравнению с GDDR, она всё же уступает в этом параметре встроенной в процессор кеш-памяти.

Конкурирующие технологии

GDDR6/GDDR6X

Основной конкурент HBM в сегменте потребительских видеокарт. GDDR6 дешевле в производстве и проще в интеграции, но уступает HBM по пропускной способности на ватт и по компактности. GDDR6X (Micron) использует технологию PAM4 для увеличения скорости, но потребляет больше энергии.

HMC (Hybrid Memory Cube)

Разработанная компанией Micron технология, также использующая 3D-стэкинг и TSV. HMC имела схожие характеристики с HBM, но не получила широкого распространения из-за более сложной архитектуры и меньшей поддержки со стороны производителей.

LPDDR (Low Power DDR)

Используется в мобильных устройствах и некоторых ноутбуках. LPDDR имеет низкое энергопотребление, но значительно уступает HBM по пропускной способности.

Перспективы развития

Стандарт HBM продолжает развиваться. Ожидается, что HBM4 будет стандартизирован в 2025–2026 годах. Среди прогнозируемых улучшений:

• Увеличение скорости передачи данных до 8–10 Гбит/с на контакт.
• Увеличение ёмкости стека до 64 ГБ и более.
• Внедрение более эффективных методов охлаждения.
• Снижение стоимости производства за счёт совершенствования технологий TSV и интерпозеров.

HBM остаётся ключевой технологией для систем искусственного интеллекта, суперкомпьютеров и высокопроизводительных вычислений, где требования к пропускной способности памяти продолжают расти.

Источники

• JEDEC Standard JESD235A: High Bandwidth Memory (HBM) DRAM.
• JEDEC Standard JESD235B: High Bandwidth Memory 2 (HBM2) DRAM.
• JEDEC Standard JESD235C: High Bandwidth Memory 3 (HBM3) DRAM.
• AMD, “High Bandwidth Memory (HBM) White Paper,” 2015.
• Samsung Electronics, “HBM2E: The Next Generation of High Bandwidth Memory,” 2020.
• SK Hynix, “HBM3: The World’s Best High Bandwidth Memory,” 2022.
• NVIDIA, “NVIDIA H100 Tensor Core GPU Architecture,” 2022.
• Micron Technology, “GDDR6X: A New Generation of Graphics Memory,” 2020.