Трёхмерная сеть с топологией «тор

Трёхмерная сеть с топологией «тор» (также известная как 3D-тор, трёхмерная тороидальная сеть, или torus network) — это топология компьютерной сети или системы межсоединений (например, в суперкомпьютерах, нейронных сетях или распределённых вычислениях), в которой узлы организованы в трёхмерную решётку (куб), а грани этой решётки замкнуты сами на себя, образуя тороидальную (кольцевую) структуру. В такой сети каждый узел соединён с шестью соседями (по трём осям), а узлы на краях решётки соединяются с противоположными краями, что устраняет границы и создаёт топологию, эквивалентную трёхмерному тору (произведению трёх окружностей). Трёхмерный тор является частным случаем k-арной n-кубической сети (k-ary n-cube) с n=3.

История

Идея использования тороидальных топологий в вычислительных системах восходит к 1980-м годам, когда возникла потребность в масштабируемых и низколатентных межсоединениях для параллельных суперкомпьютеров. Одним из первых коммерческих применений стала система Cray T3D (1993 год), которая использовала трёхмерную тороидальную сеть для соединения процессоров. Впоследствии топология «тор» стала стандартом для многих суперкомпьютеров, включая Blue Gene/L (IBM, 2004 год), где применялась трёхмерная тороидальная сеть с узлами на базе процессоров PowerPC. В 2010-х годах топология 3D-тора была использована в суперкомпьютере Fugaku (Япония, 2020 год), хотя его архитектура Tofu Interconnect D представляет собой модифицированную версию с дополнительными связями.

В контексте нейронных сетей и искусственного интеллекта трёхмерные тороидальные структуры применяются для моделирования нейронных ансамблей, например, в модели Nengo (Университет Ватерлоо, Канада), где топология тора используется для реализации непрерывных аттракторов в нейронных полях.

Структура и топология

Геометрическое представление

Трёхмерная сеть с топологией «тор» представляет собой трёхмерную решётку размером \( L_x \times L_y \times L_z \) узлов, где каждый узел имеет координаты \((x, y, z)\), причём \(0 \le x < L_x\), \(0 \le y < L_y\), \(0 \le z < L_z\). Каждый узел соединён с шестью соседями:

• по оси X: \((x \pm 1 \mod L_x, y, z)\);
• по оси Y: \((x, y \pm 1 \mod L_y, z)\);
• по оси Z: \((x, y, z \pm 1 \mod L_z)\).

Модульная арифметика (операция mod) обеспечивает замыкание границ: узел на краю решётки соединяется с узлом на противоположном краю по той же оси. Это превращает решётку в топологический тор — произведение трёх окружностей \( S^1 \times S^1 \times S^1 \).

Свойства

• Степень вершины: каждый узел имеет ровно 6 соседей (степень 6), что является константой и не зависит от размера сети.
• Диаметр сети: максимальное расстояние между любыми двумя узлами равно \( \lfloor L_x/2 \rfloor + \lfloor L_y/2 \rfloor + \lfloor L_z/2 \rfloor \). Для симметричной сети \( L_x = L_y = L_z = N \) диаметр составляет \( 3 \lfloor N/2 \rfloor \).
• Среднее расстояние между узлами: для симметричной сети с чётным \( N \) среднее расстояние равно \( \frac{3N}{4} \) (при \( N \to \infty \)).
• Симметрия: сеть является вершинно-транзитивной (все узлы топологически эквивалентны), что упрощает маршрутизацию и балансировку нагрузки.
• Масштабируемость: общее число узлов \( M = L_x \cdot L_y \cdot L_z \). При фиксированной степени (6) сеть может масштабироваться до миллионов узлов, сохраняя умеренный диаметр (порядка \( O(M^{1/3}) \)).

Сравнение с другими топологиями

Применение

Суперкомпьютеры

Трёхмерная тороидальная сеть широко применяется в суперкомпьютерах благодаря низкой латентности, высокой пропускной способности и равномерной нагрузке на каналы. Примеры:

• Blue Gene/L (IBM, 2004): 65 536 узлов, соединённых в 3D-тор размером 32×32×64. Каждый узел содержал два процессора PowerPC 440.
• Blue Gene/P (IBM, 2007): до 294 912 узлов в 3D-торе.
• Fugaku (Fujitsu, 2020): использует модифицированную топологию Tofu Interconnect D, которая включает 3D-тор с дополнительными связями для повышения производительности. Система содержит 158 976 узлов.
• K computer (Fujitsu, 2011): предшественник Fugaku, также использовал 3D-тор (Tofu Interconnect).

В таких системах топология тора обеспечивает эффективную реализацию коллективных операций (например, all-to-all, broadcast) и поддерживает алгоритмы, требующие регулярного обмена данными (моделирование погоды, квантовая хромодинамика, молекулярная динамика).

Нейронные сети

В вычислительной нейронауке трёхмерные тороидальные сети используются для моделирования нейронных полей и непрерывных аттракторов. Например, в модели Nengo (Университет Ватерлоо) топология тора применяется для реализации нейронных ансамблей, кодирующих двумерные или трёхмерные пространства (например, для моделирования гиппокампальных клеток места). Замкнутость тора позволяет моделировать периодические граничные условия, что важно для нейронных сетей, обрабатывающих циклические данные (например, ориентацию или фазу).

Распределённые вычисления

В системах распределённых вычислений (например, кластеры, облачные платформы) топология 3D-тора может использоваться для организации виртуальных сетей с низкой задержкой. Однако на практике чаще применяются более гибкие топологии (например, Fat Tree), так как физическая реализация тора требует сложной кабельной инфраструктуры.

Маршрутизация

В трёхмерной тороидальной сети маршрутизация обычно осуществляется с помощью алгоритма Dimension-Order Routing (DOR), также известного как маршрутизация по осям. Пакет передаётся сначала по оси X, затем по оси Y, затем по оси Z. Для каждой оси выбирается кратчайшее направление (по часовой стрелке или против) с учётом модульной арифметики. DOR является детерминированным, тупиково-свободным и простым в реализации, но может приводить к неравномерной нагрузке при определённых паттернах трафика. Для устранения этого недостатка применяются адаптивные алгоритмы маршрутизации, такие как DyAD (Dynamic Adaptive Deterministic), которые выбирают маршрут на основе текущей загрузки каналов.

Преимущества и недостатки

Преимущества

• Низкий диаметр относительно числа узлов: \( O(M^{1/3}) \), что лучше, чем у 2D-тора (\( O(M^{1/2}) \)) или кольца (\( O(M) \)).
• Равномерная степень: каждый узел имеет 6 соседей, что упрощает проектирование коммутаторов и маршрутизаторов.
• Симметрия: отсутствие границ обеспечивает одинаковую производительность для всех узлов.
• Масштабируемость: возможно построение сетей с миллионами узлов без увеличения степени.

Недостатки

• Сложность физической реализации: замыкание границ требует длинных кабелей или специальных коммутационных плат, что увеличивает стоимость и задержки.
• Чувствительность к отказам: выход из строя одного узла или канала может нарушить симметрию и потребовать перемаршрутизации.
• Неоптимальность для некоторых паттернов трафика: при неравномерном трафике (например, all-to-all в подмножестве узлов) могут возникать «горячие точки».

Интересные факты

• Топология 3D-тора является частным случаем k-арной n-кубической сети (\( k \)-ary \( n \)-cube), где \( k \) — размерность по каждой оси, а \( n \) — число измерений. Для 3D-тора \( n=3 \), \( k = L_x = L_y = L_z \).
• В математике трёхмерный тор (трёхмерный тор) — это многообразие, гомеоморфное произведению трёх окружностей. В контексте сетей это соответствует периодическим граничным условиям.
• Суперкомпьютер Blue Gene/L (разработан IBM) имел максимальную производительность 596 терафлопс (2007 год) и использовал 3D-тор размером 64×32×32.
• В 2023 году компания NVIDIA представила архитектуру Grace Hopper, которая использует модифицированную тороидальную топологию для соединения GPU и CPU, хотя точная конфигурация не раскрывается.

Источники

• Д. А. Паттерсон, Дж. Л. Хеннесси. «Архитектура компьютера и проектирование компьютерных систем». 5-е издание, 2014.
• W. J. Dally, B. Towles. «Principles and Practices of Interconnection Networks». Morgan Kaufmann, 2004.
• T. C. Johnson, R. W. H. S. (1993). «Cray T3D: A Scalable Parallel Computer». Cray Research.
• IBM. «Blue Gene/L: Hardware Overview». IBM Journal of Research and Development, 2005.
• Fujitsu. «Fugaku: Supercomputer with Tofu Interconnect D». Fujitsu Scientific & Technical Journal, 2020.
• C. Eliasmith, T. C. Stewart, et al. «A Large-Scale Model of the Functioning Brain». Science, 2012.