《Optical Fiber Technology》：Next-Generation DWDM network rerouting powered by reinforcement learning for IP-over-WDM services
编辑推荐：
摘要密集波分复用（DWDM）传输网络构成了现代IP-over-WDM基础设施的物理骨干，一旦光纤发生断裂，就会中断数十种高速服务，还会将故障传播到IP层，从而导致服务中断、延迟增加以及传输质量下降。因此，在容量、波长连续性和物理层可行性约束下选择替代的端到端光路径，是一个亟需解决
摘要
密集波分复用（DWDM）传输网络构成了现代IP-over-WDM基础设施的物理骨干，一旦光纤发生断裂，就会中断数十种高速服务，还会将故障传播到IP层，从而导致服务中断、延迟增加以及传输质量下降。因此，在容量、波长连续性和物理层可行性约束下选择替代的端到端光路径，是一个亟需解决的组合优化问题，这也促使人们研究基于学习的控制器。本文提出了一个仿真框架，用于在真实的光传输故障情况下进行韧性分析和决策制定。该框架能够模拟受容量、路径长度、波长连续性以及传输质量约束的网络节点和链路。通过模拟单光纤断裂和双光纤断裂场景，可以量化这些故障对现有光路径及传输质量的影响。中断的服务可以通过动态选择替代路径来恢复。此外，一种强化学习算法能够根据观察到的网络状态和当前状况，学习自适应的光层重路由策略
[1]。通过展示每次故障前后网络路径的变化，有助于识别关键链路和脆弱环节，为基础设施的规划与升级提供依据。
仿真结果表明，所提出的基于强化学习的方法能够减少最终用户的服务中断，从而提高网络的韧性，并能在动态故障条件下实现自适应恢复。在包含33个节点、43条链路、每条链路80个频率槽的DWDM拓扑结构上进行的测试中，经过10次随机种子实验的平均结果显示，该强化学习算法的重路由成功率为98.5%±0.8%，相比传统的最短路径重路由方法，故障导致的服务中断概率从7.5%降至1.5%，同时平均延迟保持在3.2毫秒，且OSNR值仍高于传输质量要求的标准。与传统的最短路径算法以及基于首次匹配的k条最短路径算法相比，该方法的性能分别提升了6.0个百分点和4.5个百分点，而在双光纤断裂场景下，提升效果最为显著。本文的主要贡献在于提出了一种综合性的故障管理框架，该框架结合了光网络仿真、考虑传输质量的路由约束以及强化学习技术。虽然该框架最初是为光传输网络设计的，但也可应用于其他需要在动态故障情况下实现恢复的通信和资源管理系统。
引言
通信网络的可靠运行面临诸多挑战，因为意外故障可能会中断正在运行的服务，进而降低用户体验。现代光网络必须能够实时检测故障并调整路由决策，以保持服务的连续性并维持良好的性能[2]、[3]。随着网络规模和流量需求的不断增加，静态或预先配置的恢复机制已无法满足需求，这就需要借助人工智能技术的自适应、基于学习的解决方案[4]。光传输网络就是一个典型的应用实例。在物理层面上，光纤的断裂可能会同时影响不同波长上传输的多种服务。如果恢复策略不当，不仅会增加服务中断的概率，还会降低传输质量，延长故障持续时间[5]。因此，需要解决的一个核心问题就是在保证源点和目的地不变的前提下，根据资源可用性和物理可行性约束选择替代路径。
本文提出了一种仿真框架，用于分析故障场景并研究自适应重路由策略，以全光传输网络作为研究案例。其目的是探讨故障发生后路由决策对网络性能的影响，同时判断基于学习的方法是否能够提升恢复后光路径的效率。该框架能够模拟网络拓扑、链路容量以及传输质量约束，从而实现真实的光纤断裂场景模拟，并对相应结果进行系统分析。尽管现有的研究已经广泛探讨了传统的保护与恢复方案，以及近年来在路由、波长分配和频谱分配方面应用的强化学习方法，但大多数研究都侧重于静态流量工程的优化，将链路故障视为一种边界条件，而非触发控制措施的主要因素。此外，学习目标也极少直接与物理层的传输质量可行性要求相结合。这就存在一个明显的不足：缺乏一种能够在光纤断裂后自动激活、能够明确排除物理上不可行的路由选项，并且其性能可通过实际DWDM系统的参数进行验证的基于学习的控制器。本文正是为弥补这一缺陷而开展的研究[6]、[7]。文中采用了基于算法的常规方法以及基于强化学习的方法来实现动态重路由。强化学习智能体能够观察当前网络状态，学习出能够减少拥堵和服务中断、保持传输质量并提高资源利用效率的重路由策略。本文的主要贡献包括：(i)一种针对IP-over-WDM网络的仿真框架，该框架能够同时模拟拓扑结构、容量、衰减、OSNR值以及传输质量可行性约束，还可用于系统地模拟单光纤断裂和双光纤断裂场景；(ii)一种基于马尔可夫决策过程的故障后路由与波长分配模型，以及一种深度Q网络，该网络的奖励函数综合考虑了传输质量、延迟和故障中断概率等因素；(iii)与传统的最短路径算法以及基于首次匹配的k条最短路径算法的对比分析，其中还包含了取消传输质量奖励项的实验；(iv)在33个节点的拓扑结构上进行的10次随机种子实验结果，表明基于传输质量意识的智能体能使重路由的成功率比传统的最短路径算法高出6.0个百分点，比基于首次匹配的k条最短路径算法高出4.5个百分点，而在双光纤断裂场景下，提升效果最为显著。在基于实际部署的拓扑结构上，所提出的智能体的重路由成功率为98.5%，而传统最短路径算法的 success率为92.5%，不考虑故障情况的DQN基准算法的 success率为88.0%（见表4）。
本文的结构如下。首先介绍系统模型，包括网络表示方式及相关约束条件。接着定义光纤断裂场景，并阐述用于路由决策的策略。随后介绍基于强化学习的重路由方法，之后再从延迟、故障中断概率、传输质量下降程度以及频谱利用率等方面对算法性能进行评估。最后分析实验结果，识别出关键的网络环节，并就基于学习的决策方法在构建具有韧性的电信网络中的应用前景得出结论。虽然实验是在光传输网络上进行的，但所提出的基于强化学习的框架具有通用性，也可应用于其他需要在光纤断裂后实现自适应资源管理和决策控制的网络系统。
章节节选
背景与相关研究
波分复用技术及其密集型变体DWDM技术，是通过为不同的服务分配不同的波长（频率槽），实现在同一根光纤上传输多个光载波的技术。在现代IP-over-WDM传输网络中，一条光链路通常承载40–96个通道，每个通道的传输速率为10 Gbps、100 Gbps或200 Gbps，因此一旦光纤发生断裂，就会同时中断数十种服务，而且故障还可能向上蔓延至IP层。因此，恢复工作需要在光层和路由层同时进行。
网络设计与仿真框架
该仿真模型由通过双向光纤对互连的DWDM设备构成，每条传输方向各使用一根光纤。每条物理链路最多可支持80个波长通道，每个通道的传输速率为10 Gbps、100 Gbps或200 Gbps。仿真过程中使用的参数都是基于为期五个月持续收集的测量数据，这些数据包括光纤的特性以及每条链路所承载的服务信息。
DWDM系统通过高效传输方式，最大化了光纤的利用率。
模拟光纤断裂并实现重路由算法
重路由算法是提升网络韧性的关键要素，因为它们能够在光层发生故障后恢复服务的连续性。所提出的模型涵盖了多个逻辑层次，能够对单光纤断裂和双光纤断裂情况做出动态响应，其目标是优化资源分配，尽量减少服务中断时间。
核心设计任务是在一个或两个光段发生故障时，找到一条可行的替代路径连接原有的起点和终点。所谓光段，指的是
强化学习在光纤断裂重路由中的应用
在所模拟的DWDM拓扑结构中，强化学习被用来优化故障后的路由决策[13]。一旦有一个或多个光段无法正常工作，该智能体就会选择一条替代路径和波长。它的目标是尽可能减少服务中断，同时确保带宽的可用性以及传输质量不受影响。DWDM网络则构成了该智能体的“环境”：在每个决策之后，网络的拓扑结构、频谱占用情况以及服务状态都会随之更新，以反映当前处于正常工作状态的链路和发生故障的链路。
仿真设置
所提出的框架是在一个由33个节点通过43条双向光纤链路相连的DWDM网络拓扑结构上进行的测试，这些链路的长度在10公里到120公里之间（见图8）。每条链路支持80个频率槽，而且在该拓扑结构之上还生成了随时间变化的服务流量。在性能评估中，研究人员对比了传统的重路由算法，比如基于迪杰斯特拉算法的最短路径算法以及预先计算好的备用路径算法，这类算法能够通过立即启用备用路径，实现快速且可预测的故障恢复。
结论
本文提出了一种基于强化学习的故障后重路由方法，用于降低DWDM传输网络中的服务中断现象。在现代高容量网络中，哪怕只有一根光纤发生断裂，也可能会中断大量服务，增加延迟，带来严重的运营和经济损失。该框架结合了基于实际部署的拓扑结构、实测的链路特性、模拟的单光纤断裂和双光纤断裂场景、传统的确定性基准算法，以及一种考虑传输质量要求的深度Q网络控制器。实验结果表明，自适应重路由策略确实能够
CRediT作者贡献说明
Zlate Bogoevski：撰写——审稿与编辑、资源协调、资金获取、正式分析、数据整理。Danijela Efnusheva：撰写——初稿撰写、验证、方法设计、资金获取。Christos Korkas：撰写——审稿与编辑、验证、项目监督、项目管理、方法设计、概念构思。
利益冲突声明
作者声明，他们不存在任何可能影响本文研究成果的已知财务利益关系或个人关系。
Zlate Bogoevski|Danijela Efnusheva|Christos Korkas
北马其顿斯科普里市圣西里尔和圣梅多迪乌斯大学电气与信息技术学院，邮编1000
