NET4EXA：迈向适用于百亿亿级高性能计算和人工智能系统的以太网原生互连技术

《Microprocessors and Microsystems》：NET4EXA: Toward Ethernet-native interconnects for exascale HPC and AI systems

　　

约翰·格利克斯伯格|卢卡·安德里埃蒂|达尼埃莱·迪巴里|朱塞佩·帕加诺|安德烈亚·蒙特鲁比亚诺|马泰奥·图里西尼|莉莉娅·扎乌拉尔|穆罕默德·贝纳祖兹|安东尼·波蒂埃|哈立德·塔库比特|朱利安·雅格尔|科伦坦·博利厄|阿尼斯·佩西厄|弗洛里安·雷尼耶|雨果·塔博阿达|安杰洛斯·比拉斯|法比安·谢伊|尼古拉奥斯·克里斯奥斯|埃万杰洛斯·马格埃罗普洛斯|吉勒·莫罗|塔哈·阿卜杜勒阿齐兹·拉赫曼尼

法国，布尔公司

摘要

高性能计算（HPC）和人工智能（AI）基础设施正在向高度异构的百亿亿级系统发展，而通信的可扩展性和数据传输效率逐渐成为限制整体性能和效率的关键因素。本文介绍了NET4EXA这一欧洲计划，该计划旨在开发BXIv3，即布尔公司百亿亿级互连技术（BXI）的第三代产品，它基于以太网原生架构，融合了基于FPGA的智能网络接口卡、定制化的交换ASIC以及硬件加速的通信机制。

本文展示了该项目在通信栈多个层面取得的阶段性研究成果，包括网络接口卡和交换机层面的任务卸载、TCP/RDMA加速、网络接口卡上的处理操作、通过触发机制实现通信与计算的协同处理，以及利用IOVEC机制优化数据传输。此外，该项目还实现了基于Portals运行时的OpenSHMEM集成、针对Dragonfly＋拓扑结构的拥塞感知路由与映射策略，以及用于HPC和AI通信工作负载的基准测试框架。

最后，本文还探讨了基于硅光技术和共封装光学技术的未来互连架构研究方向，这类技术有望用于构建多太比特通信系统。

引言

超级计算基础设施依赖于先进的计算、存储和网络技术的紧密整合，才能支撑大规模的高性能计算（HPC）和人工智能（AI）任务，这些系统通常由多种异构处理器和加速器、高性能存储系统以及低延迟互连结构共同构成。

在这些组件中，互连网络在很大程度上决定了系统的通信能力，因为它需要提供现代大规模任务所需的低延迟和高带宽通信功能。随着现代HPC和AI系统在节点和系统层面日益呈现异构化趋势，这一挑战愈发突出。处理器数量、加速器密度以及通信量的快速增长进一步增加了对互连基础设施的压力。

目前，高性能互连市场主要由非欧洲厂商主导，比如拥有InfiniBand技术的NVIDIA、拥有Slingshot技术的HPE，还有多家厂商提供的基于以太网的解决方案。在欧洲范围内，由BULL公司为BullSequana超级计算机系列开发的BXI（布尔百亿亿级互连技术）[1]，是为数不多的面向大规模HPC系统的欧洲自主互连技术之一。

为增强欧洲在这一战略领域的科技自主性，欧洲HPC联合企业（EuroHPC JU）于2023年启动了一项名为“低延迟高带宽互连创新行动征集”[2]的计划。其目标是开发出具有竞争力的欧洲自主互连技术，用于下一代HPC和AI基础设施，同时保留关键技术能力，减少对外部供应商的依赖。

在此背景下，NET4EXA项目于2024年9月启动[3]，旨在将BXI互连技术的第三代产品BXIv3开发到技术成熟度8级，同时探索未来BXIv4版本的架构方向。

该项目由法国替代能源和原子能委员会CEA牵头，汇集了欧洲学术界、研究机构及工业界的众多顶尖机构参与。参与方包括CINECA、FOORTH、BULL、NUMASCALE、罗马萨皮恩扎大学（UNIROMA1）、特伦托大学（UNITRENTO）以及意大利国家核物理研究所（INFN），他们在互连架构设计、软硬件协同开发、拥塞控制、基准测试以及先进通信机制等领域都具备深厚专业能力。

由于BXIv3硬件仍在研发中，目前尚无法进行大规模实验验证。本文介绍了BXIv3的架构愿景、设计目标和技术路线图，同时还展示了该项目在通信任务卸载、可扩展路由、运行时系统以及原型验证平台等方面的阶段性研究成果。本文的主要贡献可归纳为以下几点：

• •
  BXIv3的架构愿景与设计目标，这是一种新一代的以太网原生互连技术，专为可扩展且异构的HPC和AI基础设施设计。
• •
  该项目在通信栈多个层面取得的阶段性研究成果，涵盖网络接口卡和交换机层面的任务卸载、通信与计算的协同处理，以及对基于加速器的系统的优化支持。
• •
  先进的通信范式和运行时机制，包括OpenSHMEM集成、基于IOVEC的优化技术、由GPU发起的通信路径，以及基于Portals语义的硬件触发式集体操作。
• •
  面向后百亿亿级计算系统的新兴互连技术方向，包括可扩展的互连结构管理、可编程的智能网络接口卡架构，以及用于共封装光学互连的硅光技术。

本文的其余部分结构如下：第2节将介绍下一代HPC互连技术的技术背景，包括BXI的发展规划、相关的欧洲计划，以及智能网络接口卡架构的最新进展；第3节会详细介绍BXIv3的架构及其设计目标，涉及性能、能效、可靠性以及软件生态系统的整合等方面；第4节则总结了该项目在通信任务卸载、可扩展路由与拥塞管理、异构系统通信范式、基准测试框架以及原型验证平台等方面的主要研究成果；最后，第5节会对全文进行总结，并阐述BXIv4未来的发展前景。

章节要点

背景与技术环境

互连网络是现代超级计算机和大型数据中心的通信基础，它负责实现计算节点、加速器、存储系统以及管理基础设施之间的数据传输。随着计算密度、内存带宽和存储吞吐量的不断提升，互连网络需要具备更高的带宽、更低的延迟以及更好的可扩展性，才能满足日益复杂的并行计算需求以及新兴HPC和AI任务对通信能力的更高要求。

高性能

BXIv3架构与设计目标

NET4EXA项目致力于设计一种新一代互连基础设施，以便为现代异构化和模块化计算中心提供支持，其设计理念借鉴了模块化超级计算机架构（MSA）[20]的思想。在该架构中，互连网络充当核心纽带，将多个专业的计算集群、加速器、存储资源以及数据分析服务整合为一个统一的大型基础设施，从而更好地服务于异构化的HPC和AI应用。

实验评估与研究方向

本节总结了该项目在通信任务卸载、可扩展路由、运行时系统、基准测试框架以及实验原型平台等方面的代表性研究成果。这些成果涵盖了架构探索、通信任务卸载、可扩展的互连结构管理、基于拓扑结构的路由优化、异构系统通信范式、基准测试框架以及原型集成平台等多个方面，共同构成了对该项目的全面概述。

结论

本文介绍了NET4EXA这一欧洲计划，该计划旨在开发BXIv3，这是一种新一代的以太网原生互连技术，专为百亿亿级HPC和AI基础设施设计。BXIv3结合了基于FPGA的智能网络接口卡、高性能交换ASIC，以及基于RDMA和Portals 4抽象技术的硬件加速通信机制，旨在满足未来大规模计算系统在可扩展性、异构性以及效率方面的需求。

本文还介绍了该项目所取得的众多重要成果

利益冲突声明

作者声明，他们不存在任何可能影响本文所述工作的已知财务利益冲突或个人关系。

致谢

本项目得到了欧洲高性能计算联合企业（JU）的资助，资助协议编号为101175702。

马泰奥·图里西尼是CINECA机构的高级HPC技术专家兼项目经理。他是一名实验物理学家，专长于单光子探测器的读出电路设计，在美国和欧洲的粒子加速器设施中拥有超过十年的实验设备设计与实施经验。在CINECA，他负责推进那些由欧盟资助、涉及网络技术、计算架构以及能源相关领域的科研项目。