多波段光网络中RMSA的深度强化学习：双DQN方法

《Optical Fiber Technology》：Deep reinforcement learning for RMSA in multi-band optical networks: A double DQN approach

　　

Xuhong Li|Zhen Li|Junling Yuan|Shisheng Li|Renxia Chen

中国河南郑州中原工业大学数学与信息科学学院

摘要

随着全球数据流量的迅猛增长，传统C波段光网络的频谱资源已接近耗尽。多波段光网络通过利用光纤的全频段传输窗口（C+L+S+E），能够提供巨大的带宽，被视为解决容量危机的关键方案。然而，由于各波段之间存在较大的状态空间差异及物理特性差异，传统的启发式算法容易得出次优解，而标准的深度强化学习方法在如此高维的离散动作空间中则常常出现策略退化与高估偏差问题。本文提出了一种基于改进的双深度Q网络框架的可扩展资源分配算法，命名为MB-DDQN-RMSA。该算法将动作选择与策略评估分开，从而消除高估偏差，并引入了考虑频谱碎片化的复合奖励机制，以主动保持频谱的连续性。在NSFNet和UBN两种拓扑结构上的大量仿真结果表明，MB-DDQN-RMSA的性能始终优于传统的启发式算法及深度强化学习基准方法。特别是在大规模UBN拓扑结构下面临高流量负载时，与PPO相比，该算法可将带宽阻塞概率降低约40.1%，同时还能保持较高的频谱利用率及波段间公平性。复杂的性能分析及消融实验进一步验证了该算法的在线推理能力以及各个架构组件的作用。

引言

随着数字经济时代的快速发展，全球通信网络正在经历深刻变革。5G/6G移动通信、工业互联网、云计算以及生成式人工智能等新兴技术的飞速发展，导致全球数据流量呈指数级上升[1]。作为支撑全球信息交流的数字骨干，光骨干网络面临着巨大的容量扩展压力[2]。长期以来，光网络主要依赖传统的C波段进行数据传输[3]。但随着波分复用技术的广泛应用，标准单模光纤在C波段的频谱资源已接近枯竭，其传输容量也即将达到香农非线性极限。由于物理层缺陷及信噪比限制，诸如减少信道间隔或提高调制阶数之类的传统容量扩展方法已越来越难以持续使用[4]、[5]、[6]。这一容量危机已成为制约下一代光网络发展的核心瓶颈[1]、[2]。

在此背景下，多波段光网络被视为突破带宽瓶颈、延续光摩尔定律的关键技术路径[7]。通过启用L波段、S波段和E波段等低损耗频段，多波段技术有望将可用频谱资源扩大数倍甚至一个数量级[8]、[9]。然而，实现多波段光网络并非简单的频谱聚合，不同波段在传输损耗、色散系数和非线性效应等方面存在显著差异，这使得网络资源的管理与分配变得极为复杂[10]、[11]。在物理层特性差异显著的背景下，如何实现高效的联合路由、调制、波段及频谱分配成为光通信领域面临的重大挑战[12]。虽然传统的数学优化方法能够得到理论上的最优解，但在多波段的大规模状态空间中，它们会面临“维度灾难”，导致计算延迟过高，无法满足动态流量场景下的实时需求。而基于贪心策略的启发式算法虽然响应速度快，但由于缺乏对网络状态的长期感知，往往只能得到次优结果，进而加剧频谱碎片化问题[13]、[14]。

为解决这些难题，本文提出了一种基于改进双深度Q网络的多波段资源分配优化算法，命名为MB-DDQN-RMSA。本文的主要贡献如下：

(1) 我们提出了一种可扩展的深度强化学习框架MB-DDQN-RMSA，该框架采用双DQN架构来解决多波段光网络中的频谱分配问题，有效降低了高维离散动作空间中常见的高估偏差问题。(2) 我们设计了一种考虑频谱碎片化的复合奖励机制，其中包含了全局频谱碎片化惩罚项，以此引导算法在满足即时流量需求与保障长期频谱连续性之间实现动态平衡。(3) 在多种不同拓扑结构上的全面多维度评估表明，所提出的框架性能始终优于传统的启发式算法以及现有的深度强化学习基准方法（DQN、PPO、TRPO）。尤其是在高流量负载下，与PPO相比，该算法可将带宽阻塞概率降低约40.1%，同时还能保持较高的频谱利用率及波段间公平性。(4) 我们从数学上分析了该算法的多项式级在线推理复杂度，证实其适用于实时调度任务，并通过系统的消融实验定量分析了各个核心架构组件的作用。

本文的其余部分结构如下：第2节回顾相关研究工作；第3节阐述多波段光网络的系统模型；第4节通过在NSFNet和UBN拓扑结构上的对比实验，评估所提算法在降低带宽阻塞概率及实现波段间负载均衡方面的性能；最后，第5节总结研究成果并探讨未来发展方向，包括迁移学习的潜在应用。

章节节选

相关工作

多波段系统通过利用从O波段到L波段的大量频谱资源，显著提升了网络容量；然而，像波段间受激拉曼散射这样的非线性效应却成为了主要的 technical瓶颈。2020年，Sambo等人提出了一种针对多波段系统的资源分配方案，他们采用高斯噪声模型来评估整个频谱范围内的广义信噪比（

系统架构

本节详细介绍了多波段光网络的系统架构及数学建模方法。首先明确了网络拓扑结构，接着分析了多波段光传输系统中物理层存在的差异性以及自适应调制策略，最后给出了动态业务流量模型，并对多波段光网络中的路由、调制、波段及频谱分配问题进行了正式描述。

为了对多波段光网络的弹性特性进行数学建模

仿真设置

为评估所提出的MB-DDQN-RMSA算法的性能，我们使用Python和PyTorch在高性能计算平台上进行了大量仿真测试。在本研究中，该算法与四种基准方法进行了对比：传统的K-最短路径优先匹配算法，以及三种现代深度强化学习方法，即标准DQN、近端策略优化算法PPO和信任区域策略优化算法TRPO。在

结论

本文提出了MB-DDQN-RMSA框架，用于解决多波段光网络中复杂的异构资源分配问题。通过将该问题构建为具有联合动作空间的马尔可夫决策过程，并在双DQN架构中融入考虑频谱碎片化的奖励机制，该算法有效避免了Q值的高估偏差，实现了更精准的频谱资源调度。

在各种测试环境下的数值仿真结果都表明

CRediT作者贡献说明

Xuhong Li：方法论设计。Zhen Li：论文撰写——初稿编写，软件开发。Junling Yuan：方法论研究。Shisheng Li：方法论研究。Renxia Chen：论文撰写——审阅与编辑。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。