AWS Inferentia

AWS Inferentia — это семейство специализированных интегральных схем (ASIC), разработанных компанией Amazon Web Services (AWS, входит в Amazon.com, Inc. — организация признана иноагентом в РФ) для ускорения вывода (инференса) моделей машинного обучения в облачной инфраструктуре. Чипы предназначены для выполнения этапа логического вывода обученных нейросетей, а не для их обучения, и оптимизированы для достижения высокой производительности на ватт потребляемой мощности и низкой задержки.

История

Разработка Inferentia была анонсирована на конференции AWS re:Invent в ноябре 2018 года. На тот момент основными драйверами создания собственного чипа стали растущие потребности клиентов AWS в масштабировании сервисов машинного обучения, а также стремление Amazon снизить зависимость от сторонних поставщиков графических процессоров (GPU) и центральных процессоров (CPU) для задач инференса. Первое поколение чипов (Inferentia1) поступило в коммерческую эксплуатацию в конце 2019 года в составе сервиса Amazon EC2 Inf1.

В декабре 2021 года AWS представила второе поколение — AWS Trainium, которое, в отличие от Inferentia, было ориентировано на обучение моделей. Однако в ноябре 2023 года на re:Invent 2023 было анонсировано третье поколение — AWS Inferentia2, которое стало эволюционным развитием линейки, сохранив специализацию на инференсе, но с существенно улучшенными характеристиками для работы с большими языковыми моделями (LLM) и генеративным искусственным интеллектом.

Архитектура и устройство

Inferentia1 (первое поколение)

Каждый чип Inferentia1 содержит четыре вычислительных ядра собственной архитектуры, названных NeuronCores. Каждое ядро представляет собой гетерогенную вычислительную единицу, включающую:

• Матричный умножитель (Matrix Engine) — для операций с тензорами, типичных для свёрточных и полносвязных слоёв.
• Векторный процессор (Vector Engine) — для нелинейных функций активации, нормализации и других поэлементных операций.
• Скалярный процессор (Scalar Engine) — для управления потоком данных и выполнения вспомогательных операций.

Чипы объединяются в кластеры через высокоскоростные межсоединения (NeuronLink), что позволяет масштабировать вычислительную мощность для крупных моделей. Память — встроенный кэш и высокоскоростная DRAM (HBM2) с пропускной способностью до 800 ГБ/с на чип.

Inferentia2 (второе поколение)

Inferentia2 построен на более производительном техпроцессе (7 нм) и содержит 12 ядер NeuronCore-v2. Ключевые улучшения:

• Поддержка форматов с плавающей запятой — FP32, BF16, FP16, а также нового формата cFP8 (8-битный с плавающей запятой), оптимизированного для инференса.
• Увеличенная пропускная способность памяти — до 1,6 ТБ/с на чип.
• Встроенные механизмы разреженности (sparsity) — поддержка разреженных матриц, что позволяет ускорить обработку моделей с большим количеством нулевых весов.
• Поддержка динамического батчинга — автоматическая группировка запросов для повышения утилизации ядер.

Программное обеспечение

Для работы с Inferentia используется AWS Neuron SDK — набор инструментов, включающий компилятор, runtime-библиотеки и профилировщик. Компилятор Neuron автоматически преобразует модели, обученные в популярных фреймворках (TensorFlow, PyTorch, MXNet), в оптимизированный для Inferentia формат. Процесс включает:

1. Квантование — снижение точности весов (например, с FP32 до BF16 или INT8) без существенной потери качества.
2. Оптимизация графа вычислений — слияние операций, переупорядочивание, удаление избыточных узлов.
3. Распределение по ядрам — автоматическое разбиение модели на части, исполняемые параллельно на нескольких NeuronCores.

SDK поддерживает популярные модели, включая BERT, ResNet, GPT, Llama, Stable Diffusion, а также предоставляет возможность кастомной оптимизации.

Применение

AWS Inferentia используется в сервисах Amazon EC2 (инстансы семейства Inf1 для Inferentia1 и Inf2 для Inferentia2) для задач, требующих высокопроизводительного и экономичного инференса:

• Обработка естественного языка — машинный перевод, анализ тональности, ответы на вопросы, чат-боты.
• Компьютерное зрение — распознавание объектов, классификация изображений, сегментация, детекция аномалий.
• Рекомендательные системы — персонализация контента, прогнозирование кликов.
• Генеративный ИИ — генерация текста (LLM), изображений, кода.
• Автоматизация бизнес-процессов — обработка документов, распознавание речи, анализ данных.

По сравнению с GPU-инстансами (например, NVIDIA A100 или H100), Inferentia обеспечивает до 40% более низкую стоимость на одно предсказание при сопоставимой производительности для типовых задач инференса, особенно при высоких нагрузках.

Критика и ограничения

Несмотря на преимущества, Inferentia имеет ряд ограничений:

• Зависимость от экосистемы AWS — чипы доступны исключительно в облаке Amazon, что создаёт vendor lock-in для клиентов.
• Ограниченная гибкость — архитектура оптимизирована под определённые типы моделей (свёрточные, трансформеры), но может быть менее эффективна для нестандартных архитектур (например, графовых нейросетей или моделей с динамическими графами).
• Сложность переноса — требуется повторная компиляция моделей, что может быть нетривиально для сложных пайплайнов с кастомными операциями.
• Конкуренция — на рынке присутствуют альтернативные решения от Google (TPU), Intel (Habana Gaudi), AMD (Xilinx Alveo) и NVIDIA (GPU с Tensor Cores), которые также предлагают специализированные чипы для инференса.

Интересные факты

• Inferentia стала первым процессором, разработанным полностью внутри AWS, а не приобретённым через стороннего производителя.
• В 2023 году AWS объявила, что более 80% моделей машинного обучения, запускаемых в облаке Amazon, используют Inferentia или Trainium.
• Чипы Inferentia2 поддерживают модели с параметрами до 175 миллиардов (например, GPT-3) в режиме инференса с использованием техники тензорного параллелизма.

Источники

• AWS re:Invent 2018 – Amazon EC2 Inf1 Instances with AWS Inferentia
• AWS Neuron SDK Documentation (Amazon Web Services)
• «AWS Inferentia: A Custom Chip for Machine Learning Inference» — Amazon Science
• «AWS Inferentia2: The Next Generation of Inference Acceleration» — AWS News Blog
• «Benchmarking AWS Inferentia for Deep Learning Inference» — Papers with Code (2020)
• «Amazon’s Inferentia Chip: A Deep Dive» — The Next Platform (2019)