面向部署的基于深度强化学习的认知RAN意图驱动编排基准测试与评估

《IEEE Open Journal of the Communications Society》：Deployment-Oriented Benchmarking and Evaluation of DRL-Based Intent-Driven Orchestration for Cognitive RAN

　　

摘要：

多样化的5G切片（eMBB、URLLC和mMTC）具有不同的SLA/QoS要求，使得在频谱受限环境下进行带宽编排极具挑战性。静态规则方法和基于模型的方法难以应对流量、移动性、竞争和配置变化，而深度强化学习（DRL）则通过与环境的直接交互来学习并适应变化。我们在符合3GPP标准的、多切片、多基站的无线接入网（RAN）中设计并评估了一种无模型的、基于DRL的多目标效用驱动编排（MoU–IDO）框架。该框架通过强制执行SLA（延迟和吞吐量）及QoS（服务可用性）要求来优先保障切片意图的实现，随后在带宽受限条件下优化频谱效率（SE）。利用所提出的框架，五种代表性的DRL算法（A2C、PPO、DQN、ACER和SAC）在分布内和分布外的训练-测试评估中，针对MACRO（农村宏覆盖）和DENSE（城市密集覆盖）两种RAN场景与启发式基线进行了基准比较。结果表明，MoU–IDO能够保持延迟可行性，其中eMBB和mMTC的延迟接近≤1ms的最低运行区域，URLLC则在随后的亚毫秒范围内。eMBB和mMTC的QoS满意度保持在较高水平，约为95%，而URLLC则是泛化能力的主要瓶颈。在MACRO交叉测试中，DQN的URLLC QoS满意度降至近46%，而A2C保持在约91%，导致35–45个百分点的可靠性差距。在测试过程中，eMBB吞吐量在MACRO场景下提升约30–50%，在DENSE场景下提升约40–60%，而URLLC吞吐量则下降约20%。强化学习智能体在效用方面较启发式方法实现了约八倍的提升，验证了其更强的跨切片适应能力。