基于强化学习的波分复用系统波长相关功率控制方法研究

《Optical Fiber Technology》：Reinforcement learning-based wavelength-dependent power control for WDM systems

本文提出了一种创新的强化学习（RL）功率均衡技术，通过监测光复用段（OMS）端点功率，单步优化可重构光分插复用器（ROADM）的衰减单元，有效补偿掺铒光纤放大器（EDFA）的波长相关增益。实验表明该方法在24通道随机分配场景下可将平均功率差降低87%，为动态光网络智能化管理提供了新范式。

　　

章节精选

EDFA中的波长相关增益

为应对EDFA的波长相关增益问题，波分复用（WDM）系统最初引入了增益平坦滤波器（GFF）。因此EDFA在静态业务条件下表现良好。然而，当放大器偏离其工作点时，多种因素会影响其性能：（i）物理特性，例如铒浓度或制造相关的插入损耗容差；（ii）组件老化，例如光缆损耗随时间增加。

强化学习通道均衡

强化学习（RL）算法通过智能体与环境实体的交互学习来有效解决问题。图2展示了两者间的通信过程。在每个时间步，智能体接收环境观测值s_t，获知当前环境状态。基于当前状态，智能体采取动作a_t。结果，在下一个时间步，智能体将接收到新状态s_t+1以及对应奖励r_t+1。

实验设置

实验WDM设置包含三个光纤跨度，如图4所示。每个跨度由ITU-T G.652单模光纤盘组成。WDM设置中插入了助推放大器（EDFA #0）和三个线内双级放大器（EDFA #1至#3），以补偿波长阻断器的插入损耗，以及光纤跨度的衰减和插入损耗。光纤跨度上方的数字表示光纤盘长度，而下方的数字表示跨度衰减。

结果与实验验证

RL程序在配备Intel i7-11800H处理器和16 GB RAM的笔记本电脑上运行，直到训练收敛到近乎平坦的输出频谱。如图5所示，所需的训练步数以及 consequently 训练时间因场景而异。

结果表明，实现收敛所需的训练步数受通道数量和在更宽频谱上学习波长相关增益的难度影响。对于24通道随机分配用例，获得了最佳性能，平均功率差降低高达87%。

结论

动态光网络使得光放大线路系统中的波长相关功率增益控制变得极具挑战性。多年来已经提出了几种解决方案，包括依赖于监督学习的基于机器学习（ML）的技术，其中许多依赖于迭代多步方法。在本研究中，我们探索了一种基于RL的方法，作为开发自主光网络的一种有前景的技术。我们已经证明了RL模型如何学习有效补偿波长相关的功率差。