DRL-Adapt：用于大规模网络中自适应路由收敛优化的深度强化学习方法

《IEEE Open Journal of the Computer Society》：DRL-Adapt: Deep Reinforcement Learning for Adaptive Routing Convergence Optimization in Large-Scale Networks

　　

摘要：

大规模的全网格网络在发生故障后，由于路由协议参数是静态配置的，无法适应网络环境的变化，因此路由收敛时间通常会延长。为了解决这一限制，本文提出了DRL-Adapt框架，该框架基于深度强化学习，利用网络事件流的数据动态调整路由协议参数。该框架采用了一个对抗性的优先级深度Q网络代理，根据实时网络状态共同调整Hello/Dead间隔计时器和路由权重。我们使用基于CAIDA拓扑构建的高保真模拟器，在多种故障场景和网络规模下评估了所提出的方法。实验结果表明，与传统静态配置相比，DRL-Adapt显著加快了网络恢复速度，并降低了控制开销。平均而言，该方法将故障收敛时间缩短了32.7%，控制平面开销降低了24.3%，同时保持了路由稳定性。此外，学习到的策略能够在50到500个节点范围内的网络中通用，并且推理延迟极低（<，表明其在实际部署中的可行性。