双时间尺度容量感知分层多智能体深度Q网络用于天地一体化网络中的联合关联与资源-移动性控制

《Computer Networks》：Two-timescale capacity-aware hierarchical multi-agent deep Q-network for joint association and resource–mobility control in space–air–ground integrated networks

　　

- 面向SAGIN的H-MADQN集成了基于SDM的云关联与快速边缘控制。
- EIAP在用户列表变化的情况下，提供固定维度、索引对齐的DQN输入输出。
- JODS将网络输出映射为可行的混合OFDMA调度动作。
- 消融实验揭示了服务质量、吞吐量、负载/容量和稳定性如何塑造关键绩效指标。
- 系统级仿真展示了稳定的学习过程和可解释的关键绩效指标权衡。

## 引言

第六代移动通信（6G）正向一个具有空天地一体化特征的全球智能网络范式演进，旨在提供全球无缝覆盖并支撑无处不在的智能应用[1]、[2]、[3]。空天地一体化网络（SAGIN）实现了低地球轨道（LEO）卫星、无人机（UAV）和地面蜂窝网络之间的深度协同，从而克服了传统纯地面基础设施固有的地理限制[4]。这种三维架构不仅是全息通信、数字孪生（DT）[5]和感知与通信一体化（ISAC）[6]等新兴技术的关键使能基座，还凭借无人机的高移动性和灵活部署能力，在热点容量增强和灾害应急响应中展现出不可替代的价值[7]、[8]。

然而，实现SAGIN面临着源自跨域异质性和显著动态性的严峻挑战。首先，网络拓扑高度时变。LEO卫星以约7.8 km/s的高速移动，通常导致单颗卫星对地面区域的服务窗口仅为数分钟，并可能触发每小时数十次的星地链路切换[9]、[10]。与此同时，无人机的运行受机载电池容量限制，导致飞行轨迹、通信覆盖和能耗之间存在复杂的耦合关系[11]、[12]。其次，电磁环境日益复杂。毫米波和太赫兹频段的引入虽然扩展了可用带宽，但也带来了高路径损耗和强遮挡敏感性，使得获取精确的信道状态信息（CSI）变得极其困难[13]、[14]。第三，服务需求高度异质。IMT-2030（6G）预计将在增强移动宽带（eMBB）、大规模机器类型通信（mMTC）和超可靠低延迟通信（uRLLC）等IMT-2020使用场景的基础上进行扩展，同时启用扩展和新的使用场景及能力[15]。这种异质的QoS需求和共享资源竞争容易导致系统级性能失衡[16]。

这些特性使得传统资源管理日益脆弱。基于凸优化的数学规划方法通常依赖静态网络快照和完美CSI等理想化假设，因此难以跟踪SAGIN中的快速拓扑变化和多层耦合[17]。启发式算法虽然计算效率高，但由于与环境交互有限且适应性受限，对场景变化敏感，在显著移动性和异质性条件下可能无法维持长时域性能[18]。深度强化学习（DRL）为序贯决策提供了无模型替代方案，但所考虑的SAGIN问题引入了若干相互关联的障碍：异质接入层级具有不同的容量和可控变量；全局关联与局部资源-移动性控制在不同时间尺度上演化；被服务用户列表随关联和移动性变化；容量受限的关联与混合离散-连续资源决策耦合。第二节对代表性方法进行了全面综述。

针对上述空白，本文提出了一种面向SAGIN资源管理结构特征的二维多智能体深度Q网络（H-MADQN）框架。该框架采用双时间尺度分层集中训练分散执行（CTDE）架构。云智能体每隔K个时隙在卫星、空中和地面层级执行慢时间尺度的容量感知序贯关联，而异质边缘智能体则逐时隙运行：地面基站智能体执行OFDMA子载波和功率分配，无人机基站智能体执行三维（3D）移动性控制。为适应时变的被服务用户集合，条目索引对齐与填充（EIAP）保持了固定维度和索引对齐的局部表示。为处理地面基站的混合决策而无需穷举整数-连续动作组合，联合输出解耦策略（JODS）将结构化网络输出映射为可行的子载波-功率分配。因此，方法论贡献在于问题结构驱动的双时间尺度分层、序贯关联、用户列表对齐和可行性保持的混合动作构建的整合，而非单独使用DQN或任何个别组成机制。

主要贡献总结如下：
- **面向SAGIN的双时间尺度分层分解**。我们开发了一种角色分化的云-边缘CTDE架构，将全局关联和负载协调映射到慢时间尺度的云智能体，同时将逐时隙OFDMA调度和无人机移动性控制分配给异质边缘智能体。在云层，顺序决策机制（SDM）通过具有通行内预测负载反馈的容量感知服务节点选择来构建联合关联配置文件，避免了直接枚举联合关联空间。这种组织明确应对了全局协调、快速本地响应性、关联稳定性和云信令负载之间的张力。
- **用户列表对齐与可行性保持的混合控制**。我们引入EIAP在被服务用户设备的数量和身份随时间变化时构建固定维度、索引对齐的观测和输出。在此表示基础上，JODS分离结构化的地面基站输出，并将其确定性地映射为可行的整数子载波分配和连续值功率系数。所得机制在避免穷举混合动作空间的同时，保持了状态-动作语义的一致性和资源可行性。
- **多目标协调与机制导向的系统级评估**。我们构建了综合吞吐量、服务速率满足度、公平性、关联稳定性、可行性和容量感知负载整形的复合奖励。除了报告收敛性能外，评估通过与单时间尺度MADQN基线的对比、关联周期K扫描、用户规模与密度压力测试、SDM顺序敏感性、奖励与正则化消融以及专门的卫星层级可用性消融，考察了所提设计背后的机制。这些分析考察了分层结构、控制周期、网络规模与空间集中度、目标组件、序贯关联和卫星服务选项如何与最终效率-服务-公平性-稳定性工作点相关联。

本文其余部分组织如下：第二节综述相关工作；第三节介绍系统模型和问题建模；第四节详细说明所提H-MADQN框架；第五节呈现仿真结果和性能分析；第六节提供讨论和工程含义；第七节总结全文。

## 相关研究

本节综述了代表性的SAGIN资源管理研究，并将其组织为五个主题：基于模型的优化、AI使能的NTN/SAGIN管理、动态与混合动作耦合下的DRL、具有云-边缘协作的分布式MARL以及具有扩展目标的表示学习。

**基于模型的优化与博弈论控制**：早期关于SAGIN资源管理的研究主要聚焦于建立数学优化模型。在

## 系统架构

所考虑的空天地一体化网络（SAGIN）如图1所示，由空间层、空中层和地面层中的异质节点组成。通过集成这三个层级，该架构旨在在异质服务质量（QoS）需求下实现广域覆盖、高容量和弹性连接。设计原则如下：地面层提供基线覆盖和容量，空中层提供敏捷的按需

## H-MADQN架构概述

为解决6G空天地一体化网络（SAGIN）中联合关联-资源-移动性控制的高维性、强耦合性和快速动态性，我们开发了一种分层多智能体强化学习（H-MARL）架构。该设计遵循集中训练分散执行（CTDE）原则，并采用明确的双时间尺度决策层级[50]。具体来说，宏基站（MBSs）、小基站（SBSs）和无人机基站

## 仿真设置与参数配置

为在SAGIN耦合关联-资源-移动性动态下评估H-MADQN，我们开发了一个基于Python的系统级仿真器，显式实例化了所提双时间尺度CTDE流水线。模拟网络形成一个三维异质拓扑，由一颗LEO卫星、地面宏/小基站和无人机基站组成。除非另有说明，云智能体每隔K个时隙更新一次关联策略，而边缘智能体（MBS/SBS）和无人机

## 主要发现

本工作开发并评估了H-MADQN，一种用于SAGIN联合用户关联和多层资源管理的二维分层CTDE框架。第5.2–5.4节的结果共同表明，所提框架在耦合关联-资源-移动性动态下可以稳定训练，在报告的训练周期内达到稳态运行。图5中的三种子基线对比进一步表明，H-MADQN在QoS满足度方面

## 结论

本文研究了6G空天地一体化网络（SAGIN）中的双时间尺度编排问题，考虑了显著的层级异质性、移动性驱动的拓扑变化和差异化的多服务速率需求。我们提出了H-MADQN，一个分层多智能体深度强化学习框架，联合优化云层慢时间尺度的用户关联和异质边缘智能体上的快速时间尺度本地控制，包括地面基站的

## CRediT作者贡献声明

Yuwei Kong：撰写——初稿、可视化、验证、软件、方法论、调查研究、概念化。Heng Yang：撰写——审阅与编辑、验证、监督、软件、项目管理、方法论、经费获取、概念化。Shanshan Li：方法论、经费获取、概念化。Ruihong Lv：经费获取。Muhammad Rizwan：方法论。Zicheng Yue：可视化、验证。Hongzhang Guo：可视化、验证。Lei Zhang：

## 利益冲突声明

作者声明他们不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

## 致谢

本工作部分得到辽宁省自然科学基金（批准号2024MSLH359和2025MSLH547）；部分得到辽宁省教育厅科学研究基金（批准号LJ212410142021和LJ212510142045）；部分得到教育部产学合作协同育人项目（批准号231106665030834和231106665072727）；以及部分得到沈阳市自然科学基金（批准号24102605）的支持。

Yuwei Kong|Heng Yang|Shanshan Li|Ruihong Lv|Muhammad Rizwan|Zicheng Yue|Hongzhang Guo|Lei Zhang|Jingru Li