一种用于多卫星观测调度的多智能体动态角色建模方法

《Advances in Space Research》：A Multi-Agent Dynamic Role Modeling Method for Multi-Satellite Observation Scheduling

　　秦萌萌|孙文斌|赵学胜|谢文兰

摘要：在轨卫星数量的迅速增加，使得人们对具有全球覆盖范围、高时效性及高观测频率的地球观测服务需求不断增长。在此背景下，卫星与地面任务之间的交互呈现出强烈的时变特性，这给高效的多卫星观测调度带来了挑战。为解决这一问题，本文提出了一种用于多卫星观测调度的多智能体动态角色建模方法，称为MADR。该方法采用基于多层退化四叉树网格的层次化调度框架。在上层网格层面，通过对比学习提取描述卫星轨道状态、任务空间分布及任务紧急程度的动态特征，再利用多头注意力机制整合这些特征，从而在共享的角色表示空间中实现卫星的角色自适应分配。在下层网格层面，该框架可支持单个卫星的观测序列生成与执行优化。所学到的动态角色表示进一步被纳入多智能体近端策略优化算法中，以支撑协同决策和全局资源分配。实验结果表明，与传统多智能体强化学习方法相比，所提方法在整体调度性能以及对动态观测场景的适应性方面更具优势。该框架为动态资源条件下的多卫星协同观测调度提供了有效解决方案。

引言：近年来，在轨卫星数量快速增长，多卫星系统已成为地球观测任务的主要配置形式（HE等人，2025）。卫星星座与网络化架构的发展推动地球观测系统向大规模、高度动态且日益智能化的运行模式发展（L. Wang等人，2025）。与此同时，用户对卫星成像的需求持续扩大，他们要求实现全球覆盖、高时效性以及高观测频率（Mercado-Martínez等人，2025）。在自然灾害监测和公共安全响应等紧急应用场景中，地球观测系统需要具备快速、准确且协调的观测能力（Mercado-Martínez等人，2025）。然而，随着观测任务的数量和多样性不断增加，有限的卫星观测资源与日益增长的用户需求之间的失衡问题愈发突出（M. Wang等人，2025）。在资源可用性随时间变化、任务优先级动态调整以及多颗卫星之间需要协同优化的运行环境中，传统调度方法往往存在实时性能不足、适应性较差以及资源利用效率低等问题（Krigman等人，2024；M. Wang等人，2025）。这些问题凸显出在下一代地球观测系统中，需要新的多卫星观测调度方法来支持动态的、大规模的以及协同的决策制定（Krigman等人，2024）。

多卫星观测调度问题旨在在给定的规划时间内，为多颗卫星分配观测任务及其对应的时间窗口，从而使观测任务能够对应到地面目标上，满足用户需求，并最大化整体观测效益（Lema?tre等人，2000；X. Wang等人，2020）。该问题通常涉及多维约束、多目标优化以及复杂的时空耦合关系（Wu等人，2022）。在组合优化领域，它已被证明是NP难问题（Barbulescu等人，2004；Du等人，2019；Wolfe和Sorensen，2000a，2000b），这意味着在多项式时间内找到全局最优解在计算上是不可行的。因此，多卫星观测调度问题属于典型的且具有挑战性的组合优化问题。

目前针对该问题的研究主要遵循两种技术路径，即数学规划方法以及启发式或元启发式算法（Bensana等人，1999）。精确求解方法主要以数学规划为基础，尤其是混合整数线性规划模型。尽管这类方法能够保证最优性，但由于其计算复杂度呈指数级增长，限制了其在实时且高度动态的调度环境中的应用（X. Chen等人，2019；Lee等人，2024）。为提高计算效率，人们提出了多种启发式和元启发式算法（Bianchessi等人，2007；Liu和Yang，2019；Wang等人，2014）。此外，基于群体智能的方法，如混合粒子群优化（Zhang等人，2013）以及改进的GI-RPSO算法（Gu等人，2022），在特定场景下也展现出了良好的适应性。最近，元启发式算法还融入了避免冲突、分布式协调、自适应邻域搜索以及知识整合等策略（Chen等人，2018；Fei等人，2023；Huang等人，2015；Wei等人，2024）。特别是对于敏捷型地球观测卫星，Wang等人（2026）进一步发展了启发式框架，以解决复杂的调度约束问题。不过，这些方法仍然严重依赖手工设计的启发式规则和先验的问题知识，其较高的计算成本也限制了其在高度动态和实时调度环境中的有效性。

近年来，深度强化学习因其泛化能力以及支持在线决策的优势，在解决敏捷型地球观测卫星调度问题方面展现出巨大潜力。已有研究表明，它在单卫星调度场景下取得了令人鼓舞的成果（M. Chen等人，2019；Chun等人，2023；He等人，2022；Herrmann和Schaub，2023；Huang等人，2021；Wang等人，2019；Wei等人，2021；Zhao等人，2020）。然而，大多数现有模型都是为单卫星系统设计的，缺乏有效机制来应对多卫星协同观测、角色区分以及动态任务分配等更为复杂的特性（Lam等人，2019）。相比之下，多智能体强化学习在处理复杂、动态且分布式的决策问题方面表现优异，已成为多卫星观测调度优化领域的一种有前景的方法。近期研究探索了将动态特征与静态特征相结合的基于深度强化学习的框架，这表明多智能体强化学习有潜力提升多卫星观测系统的协调性与适应性（X. Chen等人，2025；Dalin等人，2020；Hady等人，2025a；Hady等人，2025b；He等人，2025；M. Wang等人，2025；Zhou等人，2025）。除了多智能体强化学习之外，其他新兴的人工智能技术也被应用于提升调度的适应性，例如用于动态数据传输的记忆引导进化算法（Ren等人，2026）以及基于大型语言模型的自主算法设计框架（J. Chen等人，2025）。

尽管取得了这些进展，但目前大多数基于多智能体强化学习的方法仍依赖于手工设计的用于处理动态和静态信息的特征提取模块。这类设计往往难以在不同观测场景之间迁移，且当环境条件发生变化时可能会导致性能下降。在多智能体系统中，基于角色的协作已被广泛认为是提升协调效率与系统适应性的有效途径，因为它能够让策略根据学习过程中发现的隐含角色进行分解与协调（Goel等人，2025；Zeng等人，2023）。基于角色的方法能够根据环境状态调整智能体的行为，从而实现更高效的资源分配与协同决策。

现有研究提出了多种与角色相关的参数共享机制，包括独立网络类方法，如MADDPG和独立PPO（IPPO）（Lowe等人，2020）；全局参数共享方案，如多智能体近端策略优化算法（MAPPO）（Yu等人，2022）；以及静态角色分组机制，如RODE（T. Wang等人，2020）。最近，人们还开发了基于参数共享的动态自适应方法，可根据轨迹相似度等潜在特征来调整智能体分组及共享参数（Wang等人，2024）。此外，还有隐式角色建模方法，能够通过聚类或角色发现机制自动发现并分配角色（Hu等人，2024）。这些发展促使本文尝试运用多智能体动态角色建模来捕捉卫星与地面观测任务之间随时间变化的关联关系。

基于上述分析，本文提出了一种用于多卫星观测调度的多智能体动态角色建模方法。与传统的启发式重新调度方法不同，MADR的核心设计思路在于将极其不稳定的、随时间变化的星地资源供需动态抽象为一个隐式的、共享的角色表示空间。通过将不断变化的网络拓扑结构及资源消耗状况视为隐含角色，各卫星智能体能够在整个调度周期内自主且灵活地调整自身的执行行为，从而将复杂的时变优化问题转化为基于角色的局部策略转换问题。本文的主要贡献如下：
(1) 提出了一种基于多智能体动态角色的星地资源动态特征建模方法。该方法能够捕捉卫星轨道状态及任务环境的动态特性，构建差异化的角色表示空间，并借助多头注意力机制引导智能体之间的协同合作，进而提升多卫星系统的协同效率。
(2) 开发了一种基于全局离散网格的层次化调度框架。该框架将复杂的全球调度问题分解为两个阶段，即多智能体协同规划与单智能体细粒度调度。在上层，动态角色建模可用于描述星地资源之间不断变化的关系，从而实现全局资源优化与动态任务匹配；在下层，该框架则为各个智能体提供观测序列生成与执行层面的优化支持。

本文的其余结构安排如下：第2节阐述多卫星观测调度问题；第3节介绍所提出的多智能体动态角色调度方法；第4节展示实验设置与结果；第5节分析所提方法的性能与局限性；第6节对全文进行总结。

问题定义与建模框架：多卫星观测调度问题的复杂性源于需要在多颗敏捷型卫星之间合理分配时间窗口及机载资源，以实现整体观测效益的最大化。与传统的多任务并行调度问题不同，该问题中的观测窗口在时间上是分散的，也就是说不同的卫星能够在不同的时间观测特定的任务。资源的时变可用性进一步加剧了问题的复杂性。

总体架构：为了解决动态场景下的多卫星观测调度问题，前一节介绍了多层次调度框架及其对应的数学模型。本节则提出一种基于具有动态角色的多智能体的多卫星观测调度方案。如图2所示，所提方法的总体架构由三个核心部分组成：环境构建模块、动态角色特征提取模块以及多头注意力引导模块。首先，多智能体……

结果与分析：为评估MADR在多卫星观测调度问题中的性能，本节设计了实验验证方案。首先构建实验环境并确定一系列评估指标，然后选择具有代表性的基准算法作为对比对象，最后在动态资源变化场景下，通过多维度定量分析对MADR方法的性能进行系统评估。

讨论：为进一步分析MADR的优势及其潜在局限性，本节将从角色协调机制与适应性两个方面展开讨论。

结论：本文提出了一种基于多智能体动态角色建模的多卫星观测调度方法，即MADR。通过引入多层退化四叉树网格，该文建立了一个层次化的解决方案框架，用以应对全球多卫星调度的复杂性。该框架将整体调度问题分解为两个相互补充的阶段，即多智能体协同规划与单智能体细粒度调度。在上层，通过动态角色建模……

CRediT作者贡献说明：秦萌萌：概念构建、方法设计、初稿撰写、审稿与编辑；孙文斌：资金获取、方法设计、项目管理、审稿与编辑；赵学胜：指导监督、审稿与编辑；谢文兰：结果验证、可视化处理。

资金支持：本研究得到了国家自然科学基金一般项目的资助[项目编号：42371412；42271435]。

未引用参考文献：Chen等人，2025a、Chen等人，2019a、Chen等人，2019b、Chen等人，2025b、He等人，2020a、He等人，2020b、van den Oord等人，2018、Wang等人，2025a、Wang等人，2025b、Wang等人，2020a、Wang等人，2020b、Wolfe和Sorensen，2000、Wolfe和Sorensen，2000。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：作者感谢编辑们以及匿名审稿人提出的建设性意见与建议，这些反馈极大地提升了手稿的质量。

披露声明：作者未报告任何潜在的利益冲突。

注释：全球参考系统-2的网格定义遵循美国宇航局陆地卫星项目网站上的相关标准，网址为：https://landsat.gsfc.nasa.gov/about/the-worldwide-reference-system/。本研究中所使用的WorldCities数据集来源于……