在大型基础设施中使用高效且高度可扩展的深度强化学习代理进行网络切片部署

《IEEE Transactions on Machine Learning in Communications and Networking》：Network Slice Placement in Large Scale Infrastructures using Efficient and Highly Scalable Deep Reinforcement Learning Agent

　　

摘要：

物联网（IoT）系统通常托管具有多样且有时相互冲突的服务质量（QoS）要求的服务，这在提供定制的QoS方面带来了重大挑战。随着自主性的引入，这一挑战变得更加复杂，因为自主性旨在最小化或消除人为干预，同时仍保持QoS。网络切片作为一种有前景的解决方案应运而生，它允许创建、管理和终止称为网络切片的逻辑网络，每个切片都旨在满足特定IoT服务的特定QoS需求。核心问题是：我们如何在动态环境中自主创建、管理和终止尽可能多的切片？深度强化学习（DRL）代理通过使用基于奖励的反馈机制来自动和适应性地放置切片，部分解决了这一挑战。然而，为了使DRL代理在网络切片中真正有效，它必须满足四个关键标准：快速收敛、高切片放置性能、策略稳定性以及强大的可扩展性，以保持前三个特性，无论底层物理基础设施的规模如何。据我们所知，没有现有的解决方案同时满足所有四个标准。在这项工作中，我们提出了DAAFA，这是一种专门为解决核心网络切片中的这一挑战而设计的DRL代理。DAAFA通过将收敛速度与基础设施规模解耦来实现高可扩展性，并通过先进的特征提取技术确保快速、稳定的收敛。为了验证其有效性，我们基于深度Q网络（DQN）和双深度Q网络（DDQN）开发了两个版本的DAAFA，并将它们与十个针对最佳性能进行了调优的现有技术进行了比较。在扩展到360个节点的三种基础设施上的仿真结果证实，DAAFA成功满足了所有四个基本标准。