Интернод — узел сети передачи данных¶

Интернод — узел компьютерной сети, обеспечивающий обмен данными между смежными узлами; в контексте высокопроизводительных вычислений (HPC) — физический сервер (компьютер), входящий в кластер и используемый для параллельных расчётов. Термин происходит от англ. inter-node («между узлами») и применяется в сетевых технологиях, распределённых системах и суперкомпьютерных кластерах.

¶Сетевые интерноды

В теории компьютерных сетей интернодом называют узел, который передаёт трафик между другими узлами — например, маршрутизатор или коммутатор, соединяющий несколько сегментов сети. В отличие от «лишь потребляющих» конечных узлов (хостов), интернод выполняет функцию транзита пакетов, поддерживает таблицы маршрутизации и протоколы обнаружения соседей.

В одноранговых (P2P) сетях интернодом выступает любой участвующий компьютер, который одновременно является клиентом и сервером, принимая и передавая данные другим участникам. В сетях с разделением каналов (например, в топологиях «звезда» или «дерево») интерноды образуют промежуточные уровни между ядром сети и конечными пользователями.

¶Интерноды в кластерах HPC

В суперкомпьютерных кластерах под интернодом понимается отдельный физический сервер, оснащённый собственными процессорами, оперативной памятью и, как правило, локальным дисковым накопителем. Современные кластеры состоят из сотен и тысяч таких узлов, объединённых высокоскоростными интерконнектами.

Ключевые характеристики типичного интернода HPC:

• Процессоры — как правило, многопроцессорные конфигурации на базе двух-, четырёх- или восьмисокетных платформ (например, Intel Xeon, AMD EPYC или российские процессоры «Эльбрус» и «Байкал»).
• Оперативная память — от десятков до нескольких сотен гигабайт на узел, часто с поддержкой коррекции ошибок (ECC).
• Интерконнект — специализированная сеть низкой задержки (InfiniBand, Omni-Path, Ethernet с RoCE), обеспечивающая обмен данными между узлами с латентностью в микросекунды.
• Локальное хранилище — SSD или NVMe-накопители для временных файлов расчётов.

¶Программный интерфейс и модели параллелизма

Для распределения вычислений между интернодами используются библиотеки параллельного программирования. Наиболее распространён стандарт MPI (Message Passing Interface), в котором программа запускается на нескольких узлах, а обмен данными между процессами разных узлов осуществляется посредством вызовов MPI_Send/MPI_Recv и коллективных операций. Внутри одного узла, в свою очередь, может применяться многопоточность (OpenMP, Pthreads).

Такая двухуровневая модель «интернод + интранод» является стандартной для современных HPC-приложений: распараллеливание по узлам обеспечивает масштабирование на тысячи ядер, а потоки внутри узла используют все доступные процессорные ресурсы.

¶Интерноды в российских суперкомпьютерных системах

Российские суперкомпьютеры построены на базе интернодов с отечественными и импортными процессорами. Система «Ломоносов-2» МГУ (запущена в 2024 году) построена на процессорах «Эльбрус-16С» и состоит из тысяч интернодов, объединённых InfiniBand-интерконнектом. Суперкомпьютер «Гамма» НИЯУ МИФИ использует процессоры «Байкал-М» и также построен по кластерной архитектуре из множества однотипных узлов. Система «Кирилл» в Вычислительном центре РАН построена на базе процессоров «Эльбрус-8С».

Кластерная архитектура на однотипных интернодах позволяет масштабировать производительность линейно — добавление новых узлов увеличивает суммарную вычислительную мощность, что делает её предпочтительной для построения петафлопсных и эксафлопсных систем.

¶Применение

Интерноды кластеров используются для решения задач:

• Моделирования климата и атмосферных процессов
• Расчётов в механике жидкости и газа (CFD)
• Молекулярного моделирования и расчёта белковых структур
• Обработки больших данных и обучения нейронных сетей
• Ядерных и физических симуляций

¶Интересные факты

• В ряде кластеров интерноды выполняют разные роли: часть узлов выделена под вычисления, а часть — под управление файловой системой и доступ к хранилищу данных (так называемые «сервисные узлы»).
• Понятие «интернод» иногда используется для обозначения сетевых интерфейсов внутри одного сервера — например, в кластерах InfiniBand каждый узел может иметь несколько HCA-адаптеров (Host Channel Adapter), по одному на каждый интерконнект.

¶Источники

• Tanenbaum A. S., Wetherall D. J. Computer Networks. — Pearson, 2011.
• Государственный доклад о суперкомпьютерных технологиях в Российской Федерации. — М., 2023.
• Сайт НИЯУ МИФИ — суперкомпьютер «Гамма».
• Сайт МГУ — суперкомпьютер «Ломоносов-2».
• Parallel Programming with MPI / OpenMP — учебные материалы ВЦ РАН.