Cerebras WSE

Cerebras WSE (Cerebras Wafer-Scale Engine) — это серия сверхбольших интегральных схем (чипов), предназначенных для ускорения вычислений в области искусственного интеллекта (ИИ) и машинного обучения. Разрабатывается и производится американской компанией Cerebras Systems. Главная особенность WSE заключается в том, что один чип занимает всю площадь кремниевой пластины (подложки) диаметром 300 мм (12 дюймов), что делает его крупнейшим процессором в мире по физическому размеру и количеству транзисторов, когда-либо созданным для коммерческих вычислений.

История

Компания Cerebras Systems была основана в 2015 году в Лос-Альтосе, Калифорния, группой инженеров и предпринимателей, включая Эндрю Фельдмана (генеральный директор), Гэри Лаутера и Майкла Джеймса. Основной идеей стартапа было преодоление фундаментальных ограничений традиционных графических процессоров (GPU) и центральных процессоров (CPU) для задач ИИ. Ключевым из этих ограничений является закон Амдала и проблема «узкого горлышка» памяти, когда данные приходится многократно передавать между отдельными чипами и памятью, что снижает производительность и увеличивает энергопотребление.

Первый чип, Cerebras WSE-1, был анонсирован в августе 2019 года. Он содержал 1,2 триллиона транзисторов и 400 000 вычислительных ядер (Cores), объединённых в единую сеть на кристалле. Для сравнения, крупнейший на тот момент GPU (NVIDIA GV100) содержал около 21,1 миллиарда транзисторов. Площадь WSE-1 составляла 46 225 мм² (примерно 215×215 мм), что в 56 раз больше площади типичного GPU.

Второе поколение, Cerebras WSE-2, было представлено в апреле 2021 года. Технологический процесс был улучшен с 16-нм FinFET до 7-нм FinFET, что позволило разместить на той же площади пластины 2,6 триллиона транзисторов и 850 000 ядер. Площадь чипа осталась неизменной, но производительность и энергоэффективность значительно выросли.

Третье поколение, Cerebras WSE-3, было анонсировано в марте 2024 года. Оно также производится по 7-нм техпроцессу, но количество транзисторов выросло до 4 триллионов, а число ядер — до 900 000. По заявлению компании, производительность WSE-3 в два раза выше, чем у WSE-2, при том же энергопотреблении.

Устройство и архитектура

Принцип «пластина-как-чип»

Традиционно микросхемы производятся на кремниевых пластинах, после чего пластина разрезается на отдельные кристаллы (dies). Каждый кристалл затем тестируется, упаковывается в корпус и соединяется с другими чипами через печатную плату. Cerebras WSE отказывается от этого подхода: весь кристалл, занимающий всю площадь пластины, остаётся целым. Это позволяет избежать потерь производительности на межчиповых соединениях (межсоединениях), которые являются основным узким местом в системах с множеством GPU.

Вычислительные ядра

Каждое ядро WSE (называемое SLAC — Sparse Linear Algebra Core) представляет собой специализированный процессор, оптимизированный для выполнения операций разреженной линейной алгебры, которые лежат в основе нейронных сетей. Ядра имеют собственный блок памяти (локальная память SRAM) и могут обмениваться данными напрямую с соседними ядрами через высокоскоростную сеть на кристалле. Это позволяет реализовать модель вычислений «данные-как-поток» (dataflow), где данные передаются между ядрами по мере необходимости, а не извлекаются из внешней памяти.

Память и коммуникации

Ключевая особенность WSE — огромная совокупная локальная память. В WSE-3 общий объём встроенной SRAM-памяти составляет 44 гигабайта. Эта память распределена между всеми 900 000 ядер, и каждое ядро может получить доступ к данным соседних ядер с минимальной задержкой. Пропускная способность межсоединений на кристалле достигает 214 петабит в секунду. Для сравнения, пропускная способность шины памяти между GPU и его внешней видеопамятью (HBM) составляет порядка нескольких терабайт в секунду.

Охлаждение и питание

Из-за огромной площади и плотности транзисторов (более 100 миллионов транзисторов на квадратный миллиметр в WSE-3) отвод тепла является критической проблемой. Обычные системы охлаждения (воздушные или жидкостные с холодными пластинами) не могут справиться с тепловыделением, которое может достигать 15–20 кВт на один чип. Cerebras разработала специальную систему охлаждения, в которой чип погружается в диэлектрическую жидкость (иммерсионное охлаждение). Жидкость циркулирует через специальный радиатор, непосредственно прилегающий к обратной стороне пластины, эффективно отводя тепло.

Сравнение поколений

Применение

Системы на базе Cerebras WSE (например, суперкомпьютер CS-2, содержащий один WSE-2) используются для решения задач, где традиционные GPU неэффективны из-за ограничений памяти или пропускной способности.

Обучение больших языковых моделей (LLM)

WSE позволяет обучать модели с сотнями миллиардов параметров без необходимости разбивать их на множество GPU и использовать сложные методы распределённого обучения (например, модель с 1,8 триллионами параметров, обученная на WSE-2). Благодаря огромной локальной памяти, вся модель может помещаться на одном чипе, что резко упрощает программное обеспечение и ускоряет обучение.

Научные вычисления

Используется в задачах моделирования климата, молекулярной динамики, аэродинамики и других областях, где требуется обработка больших разреженных матриц. Например, в Национальной лаборатории Аргонна (США) система Cerebras используется для моделирования ядерных реакторов и процессов горения.

Обработка потоковых данных

WSE может обрабатывать данные в реальном времени, например, для анализа финансовых транзакций, мониторинга промышленного оборудования или обработки спутниковых снимков.

Критика и ограничения

Несмотря на впечатляющие характеристики, Cerebras WSE сталкивается с рядом критических замечаний:

1. Стоимость. Системы на базе WSE чрезвычайно дороги (по оценкам, цена одного суперкомпьютера CS-2 может превышать 10 миллионов долларов США). Это делает их доступными только для крупных корпораций, государственных лабораторий и исследовательских центров.
2. Сложность программного обеспечения. Для эффективного использования WSE требуется специальное программное обеспечение (компиляторы, библиотеки), которое несовместимо с популярными фреймворками для GPU (CUDA, PyTorch, TensorFlow). Хотя Cerebras предоставляет свой стек (Cerebras Software Platform), его адаптация для новых задач может быть трудоёмкой.
3. Энергопотребление. Хотя энергопотребление одного чипа (15 кВт) может быть меньше, чем у кластера из сотен GPU, решающих ту же задачу, для одного вычислительного узла это очень высокий показатель. Требуется мощная инфраструктура охлаждения и электропитания.
4. Ограниченная универсальность. WSE оптимизирован для линейной алгебры и нейронных сетей. Он неэффективен для задач, требующих сложной логики управления, работы с целыми числами или выполнения традиционных алгоритмов, где GPU или CPU остаются более гибкими.

Интересные факты

• Производство WSE требует использования специальных фотомасок, которые по размеру соответствуют всей пластине. Обычно маски покрывают только часть пластины (ретикл), и чипы печатаются многократным экспонированием.
• Из-за огромного размера кристалла выход годных чипов (yield) чрезвычайно низок. Даже один дефект на пластине может сделать весь чип неработоспособным. Cerebras использует избыточность (redundancy) — в чип закладывается больше ядер, чем требуется, и дефектные ядра отключаются программно.
• В 2023 году компания Cerebras Systems подала заявку на первичное публичное размещение акций (IPO) на бирже Nasdaq, но отозвала её в 2024 году из-за рыночных условий.

Источники

1. Cerebras Systems. (2019). Cerebras Wafer Scale Engine: An Introduction. White Paper.
2. Cerebras Systems. (2021). Cerebras WSE-2: The Second Generation Wafer-Scale Engine. Product Brief.
3. Cerebras Systems. (2024). Cerebras WSE-3: The Third Generation Wafer-Scale Engine. Product Brief.
4. Simonite, T. (2019). The Giant Chip That Could Crush Nvidia’s AI Dominance. Wired.
5. Markoff, J. (2019). Cerebras Unveils a Record-Size Chip for A.I. The New York Times.
6. Argonne National Laboratory. (2022). Cerebras CS-2 System at Argonne. Case Study.
7. Карцев, А. (2021). Cerebras WSE-2: второй чип размером с пластину. Хабр.