利用深度强化学习实现5G O-RAN中接近实时的资源切片以优化服务质量

《IEEE Transactions on Networking》：Near-Real-Time Resource Slicing for QoS Optimization in 5G O-RAN Using Deep Reinforcement Learning

O-RAN近实时RAN智能控制器xSlice算法采用在线学习优化动态MAC层资源分配，处理信道变化、用户移动等网络动态，通过DRL框架结合actor-critic模型和GCN实现动态流量建模，实验显示性能提升67%。

　　

摘要：

开放无线接入网络（O-RAN）已成为5G及后续无线接入网络的重要范式。本文介绍了一种名为xSlice的xApp，用于5G O-RAN的近实时（Near-RT）RAN智能控制器（RIC）。xSlice是一种在线学习算法，能够根据动态网络状态（包括时变无线信道条件、用户移动性、流量波动和用户需求变化）自适应地调整MAC层资源分配。为应对这些网络动态变化，我们首先通过量化所有流量会话的吞吐量、延迟和可靠性来将服务质量（QoS）优化问题表述为遗憾最小化问题。接着，我们开发了一个深度强化学习（DRL）框架，该框架利用演员-评论家模型结合了基于价值和基于策略的更新方法的优点。图中嵌入了图卷积网络（GCN），以实现对RAN数据的处理，使xSlice能够应对动态变化的流量会话数量。我们在一个包含10部智能手机的O-RAN测试床上实现了xSlice，并进行了大量实验来评估其在实际场景中的性能。实验结果表明，与现有最先进解决方案相比，xSlice可以将性能遗憾降低67%。源代码可访问地址：https://github.com/xslice-5G/code