基于深度强化学习的TWDM-PON前传中动态且高成本效益的波长带宽分配

《Optical Switching and Networking》：Deep reinforcement learning based dynamic and cost-efficient wavelength bandwidth allocation in TWDM-PON fronthaul

　　

摘要
5G及 beyond 的无线接入网采用先进的功能切分方案，可根据实际空口负载经济高效地承载前传流量，从而取代了传统固定速率的承载方案（如通用公共无线电接口CPRI）。这一转变要求前传网络具备灵活的网络重构和带宽分配能力，以在时分复用和波分复用无源光网络（TWDM-PON）中高效地承载流量。然而，频繁的网络重构对网络服务能力提出了巨大挑战，例如有光收发器的快速调谐和服务连续性。因此，如何在尽可能少触发网络重构的前提下实现高效资源利用，是一个至关重要的问题。本文提出了基于深度强化学习的TWDM-PON移动前传资源配置策略，以实现动态波长带宽配置的智能化和经济高效化。仿真结果表明，与现有的First-Fit基准策略和基于流量预测的动态资源配置策略相比，所提出的动态波长带宽配置策略在波长调谐次数、已用波长数和降级资源块数方面具有明显优势。

引言
在Beyond 5G时代，新兴服务（如云虚拟现实、4K/8K高清视频、实时流媒体音视频连接等）的爆发式增长对无线接入网（RAN）的承载能力提出了巨大挑战。为缓解上述挑战，基于通用公共无线电接口（CPRI）的集中式RAN（C-RAN）已演进为基于增强型通用公共无线电接口（eCPRI）的下一代无线接入网（NG-RAN），其中部分物理（PHY）层功能被下沉至有源天线单元（AAU）。此后，分布式单元（DU）与有源天线单元（AAU）之间的前传数据速率随实际蜂窝流量负载变化，而非与天线数量关联的固定码率[1]，[2]。因此，NG-RAN前传网络需要具备适应潮汐蜂窝流量的能力，并支持多种流量流的复用。前传数据速率随蜂窝流量负载变化，可被形式化建模为蜂窝负载、已配置天线数量和无线载波带宽的函数[3]，[4]。详细公式见第2节。

近年来，一些网络技术被提出，例如时分复用和波分复用无源光网络（TWDM-PON），它是最有前景的候选技术之一，通过波分复用提供大容量通道能力，通过时分复用实现通道共享，从而提升带宽利用率并降低资本支出（CAPEX）和运营支出（OPEX）[5]，[6]，[7]。如图1所示，基于TWDM-PON的NG-RAN前传通过eCPRI接口实现AAU与DU池之间的数据传输。在下行传输场景中，DU池连接至中心局有源线路终端（OLT）的网络接口。前传数据通过时分复用在不同波长上转发至相应的光网络单元（ONU）。

尽管多种PON技术已被标准化，本文选择TWDM-PON作为移动前传的一种合适候选，原因如下。SIEPON（标准型EPON）主要针对基于以太网的接入，缺乏对多波长操作的原生支持，而多波长操作对于前传容量扩展至关重要。SuperPON扩展了传输距离和分光比，但引入了放大器放置和功率预算管理的额外复杂性，这在典型的前传场景中可能并非必需。25G-PON和50G-PON提供了更高的单波长速率，但波长复用能力有限，限制了前传的总聚合容量。相比之下，TWDM-PON提供了波长复用以实现容量扩展与时间复用以实现通道共享的均衡组合，使其非常适合需要高聚合吞吐量和灵活资源分配的动态前传承载[8]，[9]，[10]。

具体来说，多个波长通过波分复用器合路，经1:N分光器广播至多个ONU。每个ONU配备可调谐波长的有光收发器，对下行前传数据进行PON帧解封装，并将其转发至对应的AAU。如第2节所述，前传数据速率随蜂窝流量负载变化，因此TWDM-PON资源分配至前传流量流需要RAN与PON调度器之间的协作方案，通过协作管理接口实现，例如采用YANG模型的NETCONF[11]。RAN调度器提供流量请求，PON调度器负责波长带宽分配并报告波长可用性。

此外，在基于TWDM-PON的前传中，波长带宽分配应可动态调整以适应蜂窝流量负载的实时变化。同时，必须考虑ONU波长调谐能力的影响，从而防止因分配过程中波长重构导致的服务降级或中断[12]，[13]。图2展示了TWDM-PON前传中面向动态蜂窝流量负载AAU的动态波长带宽分配过程，整合了流量模式表示和时域分配序列。在t0（初始化）时刻，λ1分配给AAU1和AAU2（共享），λ2分配给AAU3，λ3处于非活动状态，共激活2个波长。进入t1时刻，AAU2触发从λ1至λ2的波长重构；λ1随后仅服务AAU1，λ2由AAU2和AAU3共享，仍维持2个激活波长。在t2时刻，AAU2重构至λ1（从λ2切换至λ1）；λ1恢复为AAU1和AAU2的共享使用，λ2仅服务AAU3，仍维持2个激活波长。到t3时刻，AAU3从λ2重构至λ1；所有AAU共享λ1，激活波长数降至1个。该示例概括了基于TWDM-PON的前传资源分配中的核心权衡：通过动态共享最大化波长利用效率以应对负载波动，同时最小化波长调谐频率以降低系统开销。

近年来，针对TWDM-PON和移动前传，一些动态资源分配策略被提出，可归纳为三类：节能与启发式调度、基于预测的带宽分配、以及基于强化学习的优化。

节能与启发式调度。在节能波长带宽分配方面，文献[14]的作者利用软件定义网络（SDN）技术提出了一种动态资源分配方法，可根据全局流量感知情况动态调整波长使用、时隙分配和链路速率。类似地，文献[15]研究了不同流量负载和波长调谐范围下TWDM-PON中的ONU聚合方法，以实现网络节能和服务保护。Garg等人提出了一种灵活的节能TWDM-PON架构，采用集中式OLT在多个光网络间共享，实现动态OLT资源复用以提升能效[16]。在TWDM-PON调度公平性方面，Dalamagkas等人提出了一种博弈论动态调度方案，利用全信道范围在多个波长间公平地满足用户请求[17]。针对NG-EPON，Rafiq等人提出了一种动态带宽分配算法，在波长切换期间避免帧重排[18]。Arnaout等人将贪心图着色和匈牙利算法应用于TWDM-PON资源调度，为波长和时隙分配提供了多项式时间复杂度的启发式解[19]。上述研究主要关注单个时隙层面的能效、公平性和网络时延，但未涉及跨多个分配周期的长期序列决策问题。

基于预测的带宽分配。为进一步提升资源利用效率并降低传输时延，利用基于人工神经网络（ANN）的流量预测方法优化带宽分配策略已成为一种重要途径[20]，[21]。具体而言，文献[22]将基于深度循环神经网络（DRNN）的预测多步流量数据输入至整数线性规划模型（ILP），用于虚拟PON的组建和分配，从而为ILP求解器争取更多计算时间。文献[23]的作者提出了一种自适应波长和带宽分配方案，通过结合基于ANN的流量预测与轻负载条件下的用户满意度模型，提升资源利用率并降低传输时延。Song等人提出了一种基于GRU（门控循环单元）流量预测的无源光网络切片带宽分配方案，证明其相比传统基于ANN的预测器具有更高的资源管理精度[24]。预测驱动的方法有效降低了带宽报告引起的时延，但其性能本质上受限于预测精度，且后续分配决策仍依赖启发式规则。

基于强化学习的优化。为同时实现最小化波长数量和降低波长调谐频率的双重目标，我们此前提出了一种基于蜂窝流量负载多步预测的First-Fit算法[25]。然而，受限于多步预测固有的误差，该算法在考虑未来多步流量负载波动时，可能导致部分AAU的资源块（PRB）等待延迟。此外，它仍涉及波长调谐操作，从而降低服务质量。因此，亟需一种能够有效处理网络资源优化中长期序列决策问题的实用方法。近年来，强化学习已被证明是解决网络优化领域此类问题的有效方案[26]。文献[27]的作者提出并评估了基于光学网络中静态路由和波长分配问题的深度强化学习（DRL）方法，引入了多起点策略和整形奖励函数以增强性能和训练效率，并系统性地与最先进元启发式算法进行基准测试，评估其对未见流量矩阵的泛化能力和随网络规模及链路容量增长的扩展性。Liang等人提出了一种基于Q学习的动态带宽分配算法，以最小化活跃波长数来提升TWDM-PON前传的分光率[28]。文献[29]中，作者提出了一种面向TWDM-PON mMIMO前传网络的基于深度强化学习的联合分配方案，通过整合双向启发式与基于指针网络的Actor-Critic模型，优化带宽、无线资源块和波长资源，从而实现高带宽效率、资源利用率和降低的波长消耗，可视为文献[3]工作的延伸。近期一项综合研究+评估了强化学习在光网络动态资源分配中的应用，指出了基准测试实践和可复现性方面的显著差距，并呼吁建立标准化的评估框架[30]。尽管上述研究在波长带宽分配研究中取得了显著成果和重要进展，其主要关注点仍是静态分配策略，即为给定的一组服务请求单独分配波长和带宽。在实际网络场景中，特别是接入网内，并发处理多个服务请求和随时间动态调整是必要需求。这种动态运行环境可能导致当前基于深度强化学习的静态波长和带宽分配方法面临动作空间的维数爆炸问题，从而对深度强化学习智能体构成显著探索挑战。

本工作是我们此前工作[25]的延伸，旨在克服预测误差带来的不足。我们提出了一种动态智能的TWDM-PON波长和带宽分配策略，基于Soft Actor-Critic（SAC）算法，考虑长期蜂窝流量负载波动，在最小化ONU波长调谐频率的同时最大化减少的已用波长数量。本工作的主要贡献总结如下：

- 基于整数线性规划（ILP）模型，本文进一步分析了TWDM-PON前传网络中波长带宽分配策略对应的马尔可夫决策过程。从已建立的马尔可夫决策过程出发，本研究采用适当的深度强化学习算法——Soft Actor-Critic（SAC）算法，探索接近最优的波长和带宽分配策略。由于深度强化学习智能体在为大量ONU选择波长时面临庞大的动作空间，动作空间维度随ONU和波长数量的增加而爆炸性增长。因此，在SAC算法之上引入了一种分支结构，将指数增长的动作状态空间降至线性水平。

- 仿真实验使用了基站的实际历史数据，采用一个月的数据进行离线训练，一周的数据进行在线推理和决策。仿真结果表明，与现有的实时First-Fit（RT-FF）和基于流量预测的First-Fit（TP-FF）方法相比，所提出的波长动态调整策略能够在消耗更少额外波长的情况下有效避免波长调整。此外，与基于历史峰值估计的First-Fit（HP-FF）方法相比，可平均降低波长利用率25%。

本文其余部分的组织结构如下。

第二节详细阐述了网络模型和数学模型。第三节介绍了基于深度强化学习算法的动态波长带宽分配策略。结果及相应的分析见第四节。4.3节提供了讨论内容。第五节对整个论文进行总结。

**片段：整数线性规划模型**

如第一节所述，前传数据速率随蜂窝网络流量负载的变化而变化。每个ONU-AAU对的前传数据速率B可使用公式(1)进行估算，其中L表示蜂窝网络负载（定义为已使用的物理资源块（PRB）与最大可用PRB的比值），A表示基站配置的发射天线数量，R表示无线载波的带宽[3]、[4]。

$$B = 24L \times A \times R + 5.504A$$

公式(1)揭示了移动前传规模的大小……

**前期工作与基准对比**

本研究的初步工作提出了一种基于多步流量预测的最先适配算法（TP-FF），以实现动态且成本高效的波长分配。相关成果已在2022年亚洲通信与光子学大会（2022 ACP）上发表[25]。此外，常用的基准策略包括传统的实时最先适配算法（RT-FF）（无流量预测辅助）以及基于历史峰值的静态最先适配……

**仿真设置**

本研究中，TWDM-PON前传的波长数量J设为4，每个通道的容量C为25 Gbps，AAU-ONU接入对的数量K为10。仿真环境基于自定义的Python 3.7框架搭建，利用PyTorch 1.8.1实现深度学习模型，并使用CUDA 11.1进行加速。仿真运行在一台配备Intel Xeon Silver 4216 CPU和2块NVIDIA RTX A4000 GPU（16 GB显存）的服务器上。强化学习所需的历史数据……

**结论**

由于NG-RAN前传流量在不同时间和地点存在变化，TWDM-PON作为移动前传的候选传输方案，需要准确适应流量波动。其目标是在最大化波长带宽利用率的同时，最小化动态波长切换次数。本文提出了一种基于深度强化学习的智能算法，使TWDM-PON前传的波长能够自适应地学习高效的动态波长……

**CRediT作者贡献声明**

Pengfei Zhu：撰写——初稿，验证，方法论，形式化分析。Yuming Xiao：撰写——审阅与编辑，验证，形式化分析。Shaohui Li：资源，调查，概念构思。Qiang Cheng：项目管理，资金获取。Zishan Liu：验证，概念构思。Jiawei Zhang：撰写——审阅与编辑，验证。

**利益冲突声明**

作者声明不存在任何已知的竞争性经济利益或个人关系可能影响本文所报道的工作。

Pengfei Zhu|Yuming Xiao|Shaohui Li|Qiang Cheng|Zishan Liu|Jiawei Zhang