面向低轨卫星网络实时星上资源调度的去中心化多智能体强化学习方法

《Digital Communications and Networks》：Toward real-time onboard resource scheduling in LEO satellite networks: a decentralized multi-agent reinforcement learning approach

　　

专业术语翻译 摘要 低地球轨道（Low Earth Orbit, LEO）卫星系统是实现全球6G连接的关键，然而由于其动态拓扑结构和有限的星上资源，在用户接入和切换方面面临着巨大挑战。核心问题在于波束跳变选择、用户调度和功率分配的联合优化，这是一个NP-hard的混合整数非线性规划问题，且在时间、频率、空间和功率域之间存在复杂的耦合关系。为解决此问题，本文将问题建模为一个合作式去中心化部分可观测马尔可夫决策过程（Decentralized Partially Observable Markov Decision Process, Dec-POMDP），并提出了一种新颖的去中心化多智能体框架，称为波束级智能体资源调度（Beam-level Agentic Resource Scheduling, BARS）。在该框架中，每个波束作为一个自主智能体，基于局部观测做出自身决策，而智能体之间的隐式协调通过共享团队奖励、干扰惩罚和功率反馈实现，无需显式的智能体间通信。该训练框架基于循环多智能体近端策略优化（Recurrent Multi-Agent Proximal Policy Optimization, RMAPPO）算法，直接以群延迟和丢包率作为优化目标。仿真结果表明，BARS框架实现了优于集中式和传统基线的延迟性能和更低的丢包率。值得注意的是，其推理开销不随波束数量增加而扩展，使其非常适用于大规模LEO卫星网络中的实时星上部署。

论文解读文章

1. 研究背景与问题

第六代（6G）移动通信系统将全球无缝覆盖作为核心设计目标。低地球轨道（LEO）卫星网络因其低传播时延和广域覆盖能力，被认为是实现这一愿景的关键基础设施。随着LEO巨型星座的部署和第三代合作伙伴计划（3GPP）内非地面网络（Non-Terrestrial Networks, NTN）标准的推进，多波束LEO卫星系统中的资源调度已成为学术界和工业界的研究热点。

在多波束LEO卫星下行链路系统中，资源调度核心任务是联合优化波束跳变选择、用户到子频带的调度以及功率分配。其根本难点在于四个维度的紧密耦合：空间维度上，可控波束数量远少于地面服务小区数，需采用波束跳变策略动态选择服务目标；时间维度上，LEO卫星的高轨道速度导致覆盖足迹持续变化，每个小区的可服务时长有严格的时间限制，超出覆盖范围后缓冲队列中未传输的数据将被丢弃；功率维度上，总发射功率受限于星载平台容量，所有波束共享有限的功率资源池，任一波束的过度消耗会直接影响其他波束的可用预算，形成类似“公地悲剧”的博弈结构；频率维度上，全频率复用策略下多个波束同时服务同一小区会产生同信道干扰，严重降低接收信干噪比（SINR）。上述四维耦合使得该问题成为一个NP-hard的混合整数非线性规划问题，在典型配置下单个波束的动作空间基数就超过10^5，对整个联合动作空间进行暴力搜索在计算上是不可行的。

现有研究方法可分为三类：数学优化方法依赖全局信道状态信息和迭代求解，难以满足毫秒级的实时性要求；启发式算法收敛慢且无法利用问题的时间结构；深度强化学习（DRL）方法中，集中式DRL面临严重的维度灾难，观测维度随波束数量线性增长，且集中式架构在带宽受限的星上场景中需要实时聚合全局信息，带来巨大的通信开销和单点故障风险。因此，亟需一种能够解决上述瓶颈的、适用于大规模LEO卫星网络的实时星上资源调度方案。

2. 研究内容与结论

为解决上述问题，研究人员提出了一种名为波束级智能体资源调度（BARS）的去中心化多智能体框架。该框架将每个波束视为一个独立的智能体，基于局部信息独立决策，从而将推理开销与系统规模解耦。通过共享团队奖励、同信道干扰惩罚和功率利用率反馈这三种环境耦合机制，实现了无显式通信的隐式智能体协调。研究人员将联合优化问题建模为合作式去中心化部分可观测马尔可夫决策过程（Dec-POMDP），并基于循环多智能体近端策略优化（RMAPPO）算法进行训练，直接优化群延迟和丢包率。

仿真结果表明，在典型的64个小区和8个波束配置下，BARS框架取得了与集中式方法相当的累积奖励，在平均时延和尾部时延方面均优于所有对比方法，并且相比传统基线显著降低了丢包率。更重要的是，BARS的推理开销不随波束数量增加而扩展；在64波束场景下，相比集中式方法实现了约20倍的推理加速，能以更低的计算成本提供更高的决策质量。

3. 关键技术方法

为开展此项研究，研究人员主要运用了以下关键技术方法：

• •
  问题建模：将联合波束跳变、用户调度和功率分配问题形式化为一个合作式去中心化部分可观测马尔可夫决策过程（Dec-POMDP）。
• •
  算法框架：提出了波束级智能体资源调度（BARS）框架，采用独立的Actor-Critic网络架构，使每个波束成为自主决策的智能体。
• •
  训练算法：采用循环多智能体近端策略优化（RMAPPO）算法进行训练，其中的门控循环单元（GRU）结构赋予了智能体时序推理能力。
• •
  协调机制：通过共享团队奖励、功率利用率反馈和同信道干扰惩罚三种环境耦合机制，实现无显式通信的隐式智能体协调。
• •
  约束处理：采用动态动作掩码确保决策可行性，并通过比例功率缩放机制将星上硬功率约束内化到环境动力学中。

4. 研究结果

A. 累积奖励性能

通过与多种基线方法的对比，BARS框架在训练过程中达到了与集中式方法（Centralized MAPPO）相当的累积奖励水平，并显著优于启发式算法（如MaxSNR、RR）和单智能体方法（SAC）。这表明去中心化的BARS框架能够有效学习协同策略。

B. 延迟性能分析

在平均分组延迟和第99百分位尾延迟两个指标上，BARS均优于所有对比方法。特别是在高业务负载场景下，BARS展现出更强的抗延迟退化能力，证明了其对于时延敏感型业务的良好支持。

C. 丢包率性能

BARS在所有测试的业务到达率下均实现了最低的丢包率，尤其是在高负载情况下，其丢包率远低于其他基线。这得益于其对覆盖窗口截止时间的显式建模和基于信息年龄（Age of Information, AoI）的奖励函数设计，促使智能体优先服务即将离开覆盖区的小区。

D. 推理效率与可扩展性

这是BARS最突出的优势之一。实验表明，BARS的单步推理时间几乎不随波束数量增加而变化，而集中式方法的推理时间则随波束数量线性增长。在64波束场景下，BARS实现了约20倍的推理加速。这证明了BARS框架在大规模LEO卫星网络中具备卓越的实时部署潜力。

5. 总结与结论

讨论部分总结：

研究人员在讨论中指出，所提出的BARS框架成功解决了多波束LEO卫星资源调度中的核心难题，即如何在去中心化架构下实现有效的智能体间协调。通过精心设计的奖励函数和环境反馈机制，BARS在不依赖波束间直接通信的情况下，依然能够学习到全局协同的资源分配策略。这种设计不仅避免了集中式架构的通信瓶颈和单点故障风险，还赋予了系统极佳的可扩展性。尽管BARS在性能上表现出色，但其训练过程依赖于模拟器，未来工作可以探索如何将训练好的模型迁移到真实或更复杂的信道环境中。此外，引入更复杂的长期信用分配机制可能进一步提升策略性能。

研究结论部分翻译：

本文提出了一种用于多波束低地球轨道（LEO）卫星网络中联合波束跳变、用户调度和功率分配的去中心化多智能体强化学习框架，即波束级智能体资源调度（BARS）。通过将问题建模为一个合作式去中心化部分可观测马尔可夫决策过程（Dec-POMDP）并采用独立的波束级策略，BARS实现了与系统规模解耦的推理开销。仿真结果验证了BARS在延迟和丢包性能上的优越性，并展示了其在大规模场景下相较于集中式方法高达20倍的推理加速。这些发现表明，BARS为在动态和资源受限的LEO卫星网络中实现实时、可扩展的星上资源调度提供了一条有前景的路径。