**基于Eisenstein–Jacobi拓扑的故障自适应路由深度强化学习:局部注意力智能体实现接近全局最短路径性能**

《IEEE Access》:Deep Reinforcement Learning for Fault-Adaptive Routing in Eisenstein–Jacobi Interconnection Topologies

【字体: 大 中 小 】 时间:2026年09月20日 来源:IEEE Access 4.2

编辑推荐:

  多核架构密度的持续提升对互连网络提出了兼具高性能与故障弹性的需求。Eisenstein–Jacobi(EJ)网络凭借其对称的6-正则拓扑提供了富有吸引力的拓扑特性,但在故障条件下对传统路由启发式算法构成挑战。本文引入一系列仅利用纯粹局部观测的强化学习(RL)路

  
多核架构密度的持续提升对互连网络提出了兼具高性能与故障弹性的需求。Eisenstein–Jacobi(EJ)网络凭借其对称的6-正则拓扑提供了富有吸引力的拓扑特性,但在故障条件下对传统路由启发式算法构成挑战。本文引入一系列仅利用纯粹局部观测的强化学习(RL)路由智能体。研究人员提出RL-Pro,该智能体结合故障感知、基于信用流控的缓冲区占用率,以及通过单跳状态交换实现的二跳故障可见性,并引入方向注意力机制以优先处理关键方向。RL-Pro在四种网络规模(61–169节点)的相同试验中,与随机游走、最小自适应、几何贪心、探索贪心(Greedy-X)及全局最短路径路由(Dijkstra)进行对比评估。在综合指标体系中,RL-Pro匹配理想全局最短路径路由的可达性,并实现接近最优的平均路径伸长(差距在2%以内),同时在拥塞条件下显著优于所评估的基线方法:热点流量下,较最佳拥塞不可知基线的接受吞吐量提升高达1.8倍;中等负载下99分位延迟降低45%;公平性指数达到最高观测值(0.99);每投递数据包的链路穿越工作量减少18%。研究人员强调,此处的Dijkstra是拥塞盲的全局最短路径基准;因此,RL-Pro的容量和延迟优势是针对拥塞不可知路由而言,而非相对于本文未评估的假设性拥塞感知全局最优。RL-Pro的链路穿越节省部分被较高的单次决策计算开销所抵消;研究人员对两者均进行了量化。这些结果表明,仅使用局部信息的学习型局部策略能够匹配全局最短路径的可达性和近最优路径长度,同时增加拥塞适应性和对信息陈旧性的鲁棒性。
**Eisenstein–Jacobi互连拓扑中故障自适应路由的深度强化学习研究解读**

**一、研究背景与问题提出**

随着多核与众核架构的持续发展,互连网络已成为决定系统整体性能、能效与可靠性的首要因素。现代众核系统和高性能计算(HPC)架构依赖高效的片上网络(NoC)互连不断增多的处理单元。当单芯片上集成的处理单元数量向千核阈值迈进时,传统二维网格(2D mesh)和环面(torus)拓扑因直径较大、连通性有限而暴露出明显局限。寻找比网格具有更优度/直径折衷的正则拓扑成为活跃的研究方向。循环图(circulant graphs)和最优双环网络在度为四时展现出比同等规模网格更小的直径和平均距离;king拓扑在度为八时追求相同目标。Eisenstein–Jacobi(EJ)网络占据该设计空间中度为六的位置:它是由Eisenstein整数α=a+bρ生成的顶点传递六边形环面,具有闭式距离与直径表达式、三条边不相交的哈密顿回路以及丰富的路径多样性(六个出方向而非四个),以六端口路由器为代价。与同等规模的二维环面相比,EJ网络具有更低的直径和平均距离,因此六边形环面NoC成为高带宽、低延迟互连的有力候选。

然而,任何此类拓扑的性能对链路或节点故障高度敏感。传统最小贪心路由计算简单但在故障存在时容易陷入局部最小值,导致投递失败和绕行。相反,Dijkstra等全局最优算法在存在路径时保证投递,但需要完整、实时的全局故障知识且每次路由决策计算量可观,不适用于大型分布式NoC中的逐包路由。研究人员明确指出,此类最短路径基准在路径长度和可达性上最优,但它是拥塞盲的:不进行负载均衡,因此在竞争条件下不代表吞吐量或延迟的上界。强化学习(RL)路由占据中间地带:保留贪心方案的局部观测和恒定时间决策,同时从经验中学习绕行行为。已有研究表明RL在NoC路由中的潜力,但外部学习路由器因拓扑特定的状态和动作编码而无法直接移植到六端口EJ场景。因此,研究人员以强局部启发式和自身RL智能体的渐进消融作为对照基准。

本研究引入RL-Pro,一种面向EJ网络的深度强化学习路由智能体,其核心贡献包括:基于EJ ρ-taxicab度量的尺寸不变局部状态表示,允许单一策略在19–91节点的EJ网络上训练并零样本部署到未见的127和169节点实例;以轻量级方向注意力模块增强的智能体家族;严格一致的评估协议,所有算法在相同源-目的对、故障配置和跳数预算下运行;涵盖可达性、路径伸长、吞吐量、延迟、公平性、链路穿越工作、单次决策计算和静态故障鲁棒性的综合指标体系;以及无死锁的分组交换评估模型和RL推理引擎的架构成本分析。

**二、研究方法概述**

研究人员将路由任务形式化为马尔可夫决策过程(MDP)。状态空间为33维局部特征(六个方向各自的故障标志、距离变化独热编码、访问标志,加上三个全局标量);动作空间为六个离散方向。RL智能体采用PPO(Proximal Policy Optimization)算法优化,演员-评论家架构为多层感知机。拥塞感知智能体RL-C扩展状态至40维,加入基于信用流控的七个局部缓冲区占用率。增强智能体RL-E添加六个第二环故障密度特征(共46维),通过单跳状态交换获得二跳故障可见性。RL-Pro在RL-E基础上引入轻量级多头注意力机制(2头,键/查询/值维度16),对六方向特征向量计算加权和,使智能体根据故障密度和队列占用率对方向进行加权。训练采用课程学习策略,故障密度从3逐步增至27个节点(91节点网络上最高30%),网络规模混合多种EJ拓扑。评估在分组交换模拟器中进行,使用存储转发交换、单flit分组、容量B=8的FIFO缓冲区,通过年龄上限保证无死锁。实验使用均匀流量和热点流量两种负载模式,所有指标在相同故障放置和源-目的对上计算95%置信区间。

**三、主要研究结果**

**A. 热点拥塞(Hotspot Congestion)**

在10%聚集故障和热点流量下,RL-Pro将饱和吞吐量从RL-E的0.147提升至0.172分组/节点/周期(约17%提升),平均延迟降低36%。与拥塞不可知路由相比,RL-Pro的饱和吞吐量0.172显著高于拥塞盲Dijkstra的0.101和Greedy-X的0.100。在λ=0.15时,RL-Pro投递0.153分组/节点/周期,为最佳拥塞不可知基线的1.8倍(Dijkstra的1.82倍,Greedy-X的1.78倍)。分组投递率方面,RL-Pro达0.963,RL-E为0.812,Greedy-X为0.571,Dijkstra为0.554。这些优势在所有评估网络规模(包括零样本N=127)中保持一致。

**B. 服务质量、公平性与链路穿越工作(Service Quality, Fairness, and Link-Traversal Work)**

在热点流量下的服务质量指标综合评估中,RL-Pro在饱和吞吐量(0.172)、两种负载下的p99延迟(12.1和28.4周期)、抖动(6.5)、公平性(Jain指数0.991)和每分组链路穿越工作(3.98)方面均取得最优值。相对于最强基线RL-E的差距较小(如饱和吞吐量0.172对0.147,λ=0.15时p99延迟28.4对34.2周期),但差异超过95%置信区间半宽。RL-Pro每决策MAC数为18,432,约为RL-E(7,424)的2.5倍。

**C. 故障容忍投递指数(Fault-Tolerant Delivery Index, FTDI)**

在所有评估的故障密度下,RL-Pro获得最高FTDI,峰值达0.98,RL-E为0.95,Greedy-X为0.92,Dijkstra参考为0.88(其拥塞弹性分量受限于缺乏负载均衡)。FTDI为相对指标,其拥塞弹性分量按规模归一化,底层DSR、PE和CR值单独报告。

**D. 负载下的分组投递(均匀流量)(Packet Delivery Under Load, Uniform Traffic)**

在λ=0.1的均匀流量下,RL-Pro在所有故障密度下取得最高PDR,30%故障时达0.994,RL-E为0.988,Dijkstra为0.974,Greedy-X为0.934。研究人员告诫,在此轻负载下各智能策略接近饱和,差异相对95%置信区间较小,顺序稳定但最强策略间差距处于重叠区间内。均匀轻负载并非区分性场景,策略间的分离在热点流量下清晰得多。

**E. 多拓扑评估与零样本迁移(Multi-Topology Evaluation and Zero-Shot Transfer)**

RL-Pro仅在N≤127上训练,但在所有规模(包括从未见过的N=169)上取得最高FTDI,表明尺寸不变表示可零样本迁移至更大实例。这一尺寸不变迁移而非热点吞吐量优势,被认为是本文最具新颖性的结果,且仅依赖于ρ-taxicab局部编码。向不同纵横比实例(相同N下不同的a,b)的迁移留待未来工作。

**四、讨论与结论**

多准则比较表明,RL-Pro在可达性、平均伸长、均匀和热点流量下的PDR、热点吞吐量及公平性方面取得最优值。两项限定需明确:第一,在尾部路径长度上,拥塞盲最短路径基准按构造最优(p99伸长1.54对RL-Pro的1.84);第二,信息需求列仅反映在线信息,不反映蠕虫路由部署所需的死锁避免底层。RL-Pro的贡献不在于主导每一列,而在于仅使用局部信息,将近最优可达性和平均伸长与最强拥塞行为相结合。

硬件实现方面,RL-Pro的注意力机制增加了计算量(每决策18,432 MAC对RL-E的7,424,约2.5倍)。8比特量化下每路由器约18 KB权重存储。注意力模块可流水线和并行化,在64宽MAC阵列中单次决策约288周期,与典型分组转发速率兼容。链路穿越工作减少18%与推理工作增加2.5倍之间的净能量效应取决于目标工艺中每跳链路/线能量与每MAC计算能量的比值。

研究结论为:仅使用局部信息的RL-Pro匹配全局最短路径路由的可达性,实现近最优平均路径伸长,并在均匀和热点流量下展现所评估策略中最强的拥塞行为,同时零样本迁移至更大未见拓扑。其未改善最短路径基准的尾部路径长度,链路穿越节省部分被较高单次决策计算抵消。在这些界限内,结果表明学习型局部策略能够匹配全局最短路径可达性和近最优路径长度,同时增加拥塞盲全局路由器所缺乏的拥塞适应性。建立无死锁蠕虫路由部署、拥塞感知全局比较以及与其他学习路由器的跨拓扑比较是未来工作的主要方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号