RLSR：一种基于强化学习的段路由技术，用于支持服务质量（QoS）要求的软件定义网络

《IEEE Transactions on Machine Learning in Communications and Networking》：RLSR: A Reinforcement Learning-Based Segment Routing for QoS-Aware Software Defined Network

　　

摘要：

流量路由对于互联网的高效运行至关重要。随着网络流量的增长，需要自适应和智能的路由算法来满足各种服务质量（QoS）要求。基于强化学习（RL）的路由方法在性能上优于传统方法。在这项研究中，我们提出了一种基于RL的段路由算法（Segment Routing，简称RLSR），这是一种适用于软件定义网络（SDN）的QoS感知路由算法。我们的方法确保了无环路径的探索，并利用学习到的网络QoS状态来加速在优化多流量需求路径时的收敛速度。通过集成SR，RLSR实现了基于流的源包路由，同时减少了SDN控制器与网络交换机之间的通信开销。实验评估表明，与不使用RL的基线相比，RLSR通过将最大链路利用率从71.67%降低到50%来改善了负载均衡。此外，所提出的知识重用机制加速了学习过程，与不使用知识重用的基线RL配置相比，总训练次数减少了多达27%。进一步分析显示，在测试的设置中，较高的折扣因子（γ = 0.9）能够实现最快的收敛速度。这些发现突显了RLSR在动态环境中优化流量工程和网络性能方面的有效性。