用于地球观测卫星动态任务调度的元强化学习方法

《Aerospace Science and Technology》：Meta Reinforcement Learning Method for Dynamic Mission Scheduling of Earth Observation Satellites

　　魏瑶|辛森|郭张|路泽忠|王佳颖|高贵|冯达
武汉大学，中国武汉

摘要
地球观测卫星（EOS）在灾害监测、资源管理、军事侦察和环境保护中发挥着重要作用。然而，EOS任务日益增加的复杂性和动态性对传统任务调度方法提出了重大挑战，这些方法经常面临高计算开销、对实时变化适应能力差以及在不同任务场景下通用性有限的问题。因此，本文提出了一种元强化学习（MRL）框架，用于EOS的混合动态任务调度（DMS）。所提出的MRL-DMS方法将任务自适应奖励机制和动态动作空间整合到马尔可夫决策过程公式中，以实现对于随机任务到达的实时响应。基于长短期记忆网络（LSTM）的元学习层被用来增强政策在不同任务分布下的泛化能力。通过使用近端策略优化（PPO）作为内循环强化学习算法，MRL-DMS方法能够以最小的重新训练程度适应新的任务环境。该方法在真实的卫星轨道数据和来自全球冲突场景的大规模混合任务数据集上进行了评估。实验结果表明，MRL-DMS方法优于现有的PPO、A2C和DQN算法，在动态任务完成率、累积奖励获取和计算效率方面取得了显著改进。此外，MRL-DMS在处理不同任务密度、规模和空间分布时表现出强大的适应性，能够有效优先处理高紧急性任务，同时在调度压力下保持稳定的性能。MRL-DMS方法为动态和不确定的操作环境中的自主卫星任务规划提供了可扩展的智能解决方案。本研究的发现表明，MRL-DMS方法为应对全球紧急事件和快速变化的地缘政治事件提供了宝贵的实时遥感策略洞察。

1. 引言
随着航空航天技术的飞速发展，地球观测卫星（EOS）在环境监测、公共安全和灾害预防等多个领域发挥着越来越重要的作用[1]。EOS任务调度涉及根据任务要求和卫星资源约束建立数学模型，以在指定时间内最优地安排对地面目标的观测任务，从而最大化观测效率和任务完成的价值[2]。随着EOS规模的扩大和观测需求的多样化，遥感卫星观测请求的来源变得越来越广泛，时间上的动态性也越来越强[3,4]。然而，在实践中，卫星调度面临着双重挑战：常规预先计划的任务（例如大规模区域监测）与动态出现的任务（例如灾害或临时用户请求）同时存在。这些混合任务场景要求调度器在保持观测连续性和资源可行性的同时不断适应。为特定任务设计的传统常规任务规划方法无法满足动态任务的实际需求[5]。此外，随着地球观测任务需求的动态性、数量的增加和并发性的提高，传统的离线规划方法将不足以处理未来的动态任务场景[6,7]。实际上，混合任务环境表现出由不确定事件发生和时间变化的操作条件驱动的明显随机性。例如，高斯-马尔可夫随机序列用于任务分析，为描述关键任务变量中的时间相关不确定性提供了严格的框架[8]。任务环境很少是纯粹确定性的，随机过程可以提供一种原理性的方法来捕捉时间相关性和不确定性传播[6,9]。
当前的动态卫星任务规划方法包括完全重新规划和增量重新规划。完全重新规划会丢弃现有的观测计划，在引入动态任务后重新制定一个新的观测计划[10]。然而，当突然出现任务时，它通常缺乏灵活和高效的响应能力[11]。相比之下，增量重新规划涉及对现有观测计划进行调整，例如采用允许动态任务增加的建模技术或设置滑动窗口来在移动窗口内重新规划任务。随着动态任务数量的增加，冲突检查和重新规划的激增导致解决时间延长，受到复杂决策过程和缓慢反应的负担，从而损害了整体调度的稳定性和可靠性。
现有研究主要提出了确定性算法和（元）启发式算法。这些方法在描述应用场景方面是有效的，其解决算法也相对成熟。然而，这些方法需要为不同的调度场景定制规则，这降低了它们的通用性，使其不适合大规模动态任务调度[12]。强化学习（RL）是一种适用于序列决策问题的机器学习方法，由于其强大的通用性和可扩展性，提供了一个有前景的替代方案[13,14]。在卫星任务规划中，当前的RL应用主要集中在两个领域：（1）将RL算法与优化算法相结合，共同解决卫星任务规划模型；（2）使用RL基于马尔可夫过程解决调度模型，以得出最优任务调度方案[15]。然而，大多数现有的RL算法是为固定卫星任务场景和任务类型设计的。当环境发生变化时，例如出现新的任务类型、目标分布改变或资源边界更新时，这些方法的泛化能力较弱，通常需要重新训练或大量微调，从而影响实时响应能力。然而，现实世界的卫星观测任务经常受到不可预见事件（如武装冲突或自然灾害）的干扰，这些事件会产生新兴的动态任务。在处理大规模任务和复杂约束时，这些算法的计算复杂性呈指数级增加，无法满足卫星任务规划的实时要求。
总的来说，当前的RL方法忽视了将实时任务发生纳入任务规划框架的挑战。此外，现有的RL框架很少考虑常规任务与动态出现的高优先级任务共存的混合任务环境。当操作过程中出现新的观测请求时，传统的RL模型无法在不重新训练的情况下进行适应，因为它们学到的策略是针对特定状态-动作分布的。此外，当前RL的奖励机制未能根据任务（如优先级、时间窗口和资源竞争）的动态变化为智能体提供高效有效的反馈，这导致智能体在学习过程中陷入局部最优解，从而阻碍了全局最优任务调度的实现[16,17]。在真实的卫星操作中，预先计划的常规任务经常与由灾害、紧急情况或用户需求触发的动态观测请求同时存在。这些动态任务必须在线插入，同时不违反几何和时间可行性约束，例如姿态机动限制和短视野窗口。尽管这些发展凸显了现有方法的局限性，但混合卫星操作也引入了几种方法论挑战，这些挑战直接推动了本工作的开展[18]。在真实的任务周期中，常规任务和紧急动态任务形成了一个时间变化的混合体，其分布可能在意外事件发生时突然发生变化。这种分布变化影响视野窗口、姿态机动要求和整体任务可行性，使得固定策略的RL调度器难以保持稳定的性能。第二个挑战来自常规覆盖和紧急任务之间的内在竞争：随着动态任务的增加，对有限观测窗口的冲突压力加剧，调度器必须在紧急响应性和长期常规连续性之间取得平衡。应对这些挑战需要一种能够表示混合任务并在变化的操作条件下支持自适应策略学习的统一公式。现有的基于强化学习的方法在静态环境中表现良好，但在任务分布变化时难以适应，通常需要重新训练，从而影响实时响应能力。
这些局限性促使我们在本研究中解决两个核心挑战：（1）如何正式建模混合常规-动态任务环境，以捕捉其内在的时空耦合？（2）如何在由动态任务到达驱动的非静态任务分布下，强化学习保持稳定性和泛化能力，其中状态-动作空间随时间演变？
为了解决这些限制，我们提出了一种元强化学习方法MRL-DMS，用于混合动态任务调度，该方法能够适应实时动态任务和常规任务，以优化每个任务的观测时间分配并最大化观测结果的好处。本研究的主要贡献总结如下：
- 适应动态卫星任务环境的马尔可夫过程设计：所提出的MRL-DMS结合了一个马尔可夫决策过程（MDP），用于处理动态任务的实时插入。该方法能够在新任务到达时适应变化的任务环境，使卫星能够以动态方式重新安排其观测任务。这种方法确保了即使出现意外任务，任务调度过程也能保持高效和响应迅速，从而避免了由于过度任务规划造成的资源浪费。
- 动态任务调度的自适应奖励机制：所提出的MRL-DMS方法中实现的奖励函数是自适应的，并根据任务的优先级、时间约束和资源可用性实时调整。与传统常规奖励机制不同，这种自适应奖励设计确保高优先级任务始终得到优先处理，并在其定义的截止日期内完成，从而为智能体提供及时和准确的反馈。
- 混合卫星任务的元强化学习：所提出的MRL-DMS方法的核心在于元-RL框架，它利用基于LSTM的元学习来增强智能体在不同动态任务环境中的泛化能力。通过捕捉长期任务依赖关系并从过去的任务中转移知识，该设计使算法能够快速适应新任务场景，同时需要最少的重新训练。
本文的其余部分组织如下。第2节回顾了背景信息和相关工作，涵盖了动态任务调度框架和相关的RL方法。第3节描述了所提出的MRL-DMS方法。第4节展示了实验结果并进行了讨论，第6节提供了整体讨论。最后，第7节总结了本文。

2. 相关工作
2.1. 带有动态任务的任务调度
为了解决地球观测中任务需求的复杂性和可变性不断增加的问题，卫星调度传统上采用了两种主要方法：完全重新规划和增量重新规划。在完全重新规划范式中，整个调度在新的任务到达时被丢弃并重新计算[19]。2000年，NASA验证了EO-1卫星上的连续任务规划重新规划技术[20]，认为任务规划是一个增量过程。在完全了解当前资源和任务的情况下，这种方法确保了全局一致性和理论最优性。然而，这种方法在大规模或频繁变化的场景中面临显著的计算开销[21]。因此，提出了增量重新规划方法来提高响应能力[22]。这些方法通过插入新任务来局部调整现有调度，而不丢弃先前的决策[23]。一种常见的策略是应用滑动时间窗口来仅优化受影响的调度部分。然而，随着动态事件的累积，新插入的任务与现有任务之间可能会发生冲突，调度质量往往会下降。此外，重复更新会增加规划模型的维度，因为约束和时间范围扩大，从而导致解决方案复杂性的增加。
在算法实现方面，先前的研究调查了一系列确定性和元启发式方法。确定性方法，如混合整数线性规划，为小到中等规模的静态问题提供了最优性保证，但在高频动态场景中计算上不可行[24],[25],[26]。元启发式方法通过随机搜索提供可扩展的接近最优解，例如遗传算法[27,28]、模拟退火[29,30]、禁忌搜索[31]和蚁群优化[32]。然而，它们通常需要大量的参数调整和特定于场景的启发式方法，这限制了它们在不同任务场景下的通用性。
尽管在受控环境中具有优势，但完全重新规划和增量重新规划策略都难以适应需要立即关注的动态任务。例如，灾害监测或紧急监视的突发请求通常有紧迫的截止日期和高优先级。完全重新规划可能能够最优地包含这样的任务，但只有在经过显著延迟后才能实现。相比之下，如果任务超出更新范围，增量规划可能无法有效适应。随着地球观测需求的日益频繁和动态，传统的调度方法在平衡及时响应性和规划稳定性方面遇到重大困难。这些挑战表明，现有方法在面对频繁和不可预测的任务变化时达到了极限，需要更灵活的调度方法来保持响应能力，而不会产生过多的计算成本。除了传统的确定性公式之外，最近的工作也开始研究任务环境的随机描述，这越来越相关，因为真实的地球观测场景表现出明显的时间波动。Giordano[33]提供了对高斯-马尔可夫随机序列的有用处理，用于表示任务状态中的时间相关变化。尽管该研究的重点并不在于卫星调度的本身，但其公式化描述了运营变量如何以统计上一致的方式随时间漂移或波动。这与动态调度问题密切相关，在动态调度问题中，任务的到达时间、地理分布和优先级往往会发生不可预测的变化，而不是遵循固定的模式。2.2. 卫星调度的强化学习 强化学习（RL）作为一种有前景的方法，已被用于卫星任务调度[13,34]，以克服手动或预编程调度算法的局限性。在基于RL的调度中，问题被构建为一个序贯决策过程，其中代理与环境互动并学习策略以最大化累积奖励[35]。一旦训练完成，RL代理就可以高效地进行调度决策。目前RL在卫星任务调度中的应用主要集中在两个方向：（1）将RL与确定性或（元）启发式优化算法集成起来，共同解决调度模型[36]；（2）将调度问题表述为MDP，并使用RL方法独立衍生出最优调度策略[37]。然而，尽管这些发展很有前景，但现有的基于RL的卫星调度方法在动态环境中仍存在一些局限性[38]。在实时环境中，任务的连续到达使得RL模型的在线重新训练变得不可行，因为这需要大量的计算资源和数据[39]。此外，随着调度规模因纳入更多卫星、任务和约束条件而扩大，状态空间和动作空间急剧扩展，这大大减慢了学习和决策过程的速度。这就引发了关于在任务操作的严格时间限制内是否能够应用所学策略的担忧。在将RL应用于卫星任务调度时，一个重要的挑战在于环境的设计。大多数现有的RL框架假设任务集是固定的，并据此构建环境，从而导致静态或半静态的调度空间[35]。然而，在现实世界中，新的观测任务在执行过程中会动态出现；因此，环境必须能够适应实时任务的插入[40]。如果没有一个能够动态更新状态和动作空间的灵活设计，代理就无法感知或响应新到来的高优先级任务，从而限制了其在真正动态环境中的适用性。除了环境僵硬性之外，奖励函数也构成了另一个关键限制。在这样的动态背景下，设计一个能够准确反映任务优先级和运营约束的奖励函数特别困难[41]。许多先前的研究采用了简单的奖励公式，例如完成的任务数量或任务优先级的加权和[42,43]。这些可能在静态场景中有效；然而，它们经常无法捕捉到任务在实时竞争有限资源时所需的权衡[44]。例如，代理可能会学会通过选择容易调度的低优先级任务来最大化奖励，而忽略了在过程后期出现的高优先级任务[45]。理想情况下，奖励应该能够根据不断变化的情境进行调整，即在任务到达时赋予关键任务更高的价值，并鼓励及时响应。总之，RL对于自主调度是有效的；然而，在动态和实时约束下，其性能会下降。3. 方法论 3.1. 问题构建 我们提出了一种适用于地球观测卫星的任务调度方法，该方法可以适应实时动态任务和常规任务，以优化每个任务的观测时间分配并最大化观测效益。我们通过以下假设和约束对任务场景进行了抽象和简化。观测卫星拥有足够的机载电源和存储容量，可以不间断地执行所有所需操作。此外，成像过程不考虑多种阻碍过程的因素，包括大气信号衰减、气象条件（如云层和降水）以及地形特征（如山脉或建筑物）。此外，所有观测任务都被视为点目标，并且忽略了卫星与地面站的数据传输过程。在任何给定时间，只能满足一个成像请求，一旦观测任务开始，就不能被另一个请求中断或抢占。通过建立这些假设，我们可以专注于与建模和解决地球观测卫星的多点任务调度问题相关的核心问题和挑战。3.2. 元素定义 在任务场景中，我们考虑了两种类型的任务请求，即常规任务和动态任务。这里，常规任务是指预先安排的观测任务，通常基于长期监控目标进行规划；而动态任务是在执行过程中不可预测地出现的任务，需要立即进行调度响应，例如与自然灾害、环境事故或新兴冲突相关的任务，这些任务需要快速的卫星观测和数据采集。任务集表示为：(1)M=Mr∪Md，其中Mr={M1,M2,…,MNr}代表常规任务集，Md={MNr+1,MNr+2,…,MNr+Nd}代表动态任务集。Nr和Nd分别表示常规任务和动态任务的数量。因此，任务的总数为N=Nr+Nd。每个任务Mi(i∈[1,N])由以下属性定义：i：任务Mi的唯一标识符；pi：完成任务Mi时获得的奖励；di：完成任务Mi所需的持续时间；xi：任务Mi可以执行的次数；tia：执行任务Mi的最早可用时间；tid：完成任务Mi的截止时间；lia：任务Mi的空间位置。对于常规任务，请求在调度过程开始前就已经预定义，因此Mr={Mi∣tia,tid}在调度过程开始时就已固定。对于动态任务，请求在调度过程中随机出现，这意味着它们的可用时间tia是动态确定的，即Md={Mi∣tia}是在调度过程中动态生成的。每个任务Mi都有以下一组可见时间窗口（VTWs）：(2)VTWi={VTWi,1,VTWi,2,…,VTWi,w}，其中ti,ws和ti,we分别表示可见时间窗口的开始和结束时刻。目标Mi的观测状态由二进制变量表示：(3)Di∈{0,1}，其中Di=1表示任务已被观测到，Di=0表示任务未被观测到。如果任务被观测到，观测时间窗口表示为：(4)OWi={(tis,tie)，如果Di=1；?，如果Di=0，其中tis和tie分别表示观测窗口的开始和结束时间。当由于姿态约束需要从一个任务切换到另一个任务时，需要一个过渡时间。在此，任务转移时间定义为transijp,q，表示在满足姿态约束的情况下，从任务Mi′的窗口VTWi,p转移到任务Mj′的窗口VTWi,q所需的转移时间[46]。此外，调度周期表示为wschedule=[TS,TE]，其中TS和TE分别表示规划过程的开始和结束时间。3.3. 数学表述 确定环境可行序列的约束定义如下：(5)ti,wbisti,we∈Vi,?i∈{1,2,...,N} (6)ti,wbis≤tis≤tie≤ti,we,?i∈{0,1,…,N} (7)tiS+di=tie,?i∈{0,1,…,N} (8)tie+Tr^ijpq≤tjs,?xij=1 (9)xi≤1,?i∈{1,2,…,N} (10)?i,j∈{1,2,…,N},i≠j:[tis,tje]∩[tjs,tie]=? 约束(4)表示任务必须在卫星的可见时间窗口VTW内进行观测。可行的观测窗口Vi是基于轨道可见性几何形状预先计算的，受±25°滚转机动限制、45°的固定视场角和太阳光照可用性的约束。任务必须严格在这些窗口内调度以确保可行性。约束(5)表示卫星观测任务的结束时间是开始时间加上任务持续时间。约束(6)意味着任务最多只能观测一次。约束(7)规定任何两个任务的观测时间窗口不能重叠，并且卫星在任何给定时间内只能观测一个目标。3.4. 混合任务的马尔可夫过程 为了对包括动态和常规任务的混合任务环境中的调度问题进行建模，我们将地球观测卫星调度过程表述为MDP 〈S,A,R,P,γ〉，它包括状态空间、动作空间、奖励函数、转移概率和折扣因子。在这里，动态任务在执行过程中随机出现，代理必须做出连续决策，分配有限的观测时间来在任务不确定性和时间约束下最大化整体任务奖励。 (1) 状态 状态空间S包括任务目标和卫星操作的联合状态：(11)S=sI×sSat，其中sI表示任务目标的观测状态，sSat表示卫星的操作状态，例如观测中、任务转移或空闲中。在本研究中，sI定义如下：(12)sI={oi,wstarti,wendi,tobsstarti,tobsendi}，其中oi表示任务的观测状态，例如已观测、未观测或正在观测中，wstarti和wendiri表示任务的下一个可见窗口的开始和结束时间，tobsstarti和tobsendi分别表示目标的观测开始和结束时间。(2) 自适应动作空间 为了适应常规和动态到来的任务，我们提出了一种带有遮罩策略学习的自适应动作空间设计。A={a1,a2,…,aNroutine,…,aAmax}表示最大动作空间维度，其中前Nroutine个动作对应于预定义的常规任务，剩余的Amax?Nroutine个动作被预留为动态任务槽，包括用于未来任务分配的“空动作”。在每个时间步骤t，动作ai∈A的有效性由当前卫星状态st和任务约束确定。(13)Valid(ai∣st)={(1)目标可见性1如果aisatisfies： (2)时间内的可行姿态机动 (3)无先前执行冲突0否则} 生成一个二进制掩码向量Mt=[m1,m2,…,mAmax]，其中mi=Valid(ai∣st)。这个掩码通过逐元素乘法应用于策略网络的输出：(14)πθ(at∣ht,st)=Softmax(fθ(ht,st))⊙Mt，其中fθ(ht,st)表示来自策略网络的原始logits，htt表示历史轨迹。所提出的方法动态调整动作空间，以适应变化的任务到达情况，同时保持维度一致性。这里，Tdyn表示动态到来的任务集，其中每个任务τk∈Tdyn被分配到A中的预留槽aNroutine+j(j≤Amax?N)。适应机制通过三个阶段进行操作。当新的任务τk在时间步骤t到达时，τk被添加到动作空间aNroutine+j,j∈{1,2,…,Amax?Nroutine}中。注意，空动作（表示为?）占据未分配的预留槽，以保持固定的维度。 (3) 动态自适应奖励 奖励R由当前状态S和动作A决定，描述了在当前状态下采取动作的好处。对于每个卫星的动作奖励，我们根据不同的动作类型设计了奖励计算方法。自适应动态奖励空间由三个主要组成部分构建，即任务优先级奖励Rp、任务完成时间奖励Rt和动态任务奖励Rd。任务优先级奖励反映了分配给每个任务的优先级水平：(15)R=Rp+Rt+Rd，其中Rp、Rt和Rd分别代表任务优先级奖励、非线性时间奖励和动态奖励。每个组件的数学表达如下。a. 优先级奖励(Rp) 优先级奖励使用归一化的优先级系数来量化任务的内在重要性：(16)Rp=wp·Pt，其中Pt∈[0,1]表示任务t的归一化优先级，该优先级来自特定领域的标准（例如用户定义的关键性或算法级别的约束）。这里，权重系数wp调节任务优先级对调度决策的全球影响。为了鼓励任务及时完成，完成任务的奖励被建模为完成时间的非线性函数。奖励结构使得较早完成的任务获得更高的奖励，而接近截止时间完成的任务获得的奖励逐渐减少。此外，超过截止时间完成的任务不获得奖励或获得显著降低的奖励，从而有效地惩罚了延迟。 b. 时间奖励(Rt) 为了明确激励更快的任务完成，并具有比例时间敏感性，我们将时间奖励表述为以下归一化线性函数：(17)Rt={dc?τdc?t0,τ≤dc0,τ>dc，其中τ表示完成时间，dc表示任务截止时间，t0表示任务创建时间。奖励从Rt=1（当τ=t0时）线性减少到Rt=0（当τ=dc时），直接反映了时间敏感性。当动态任务在其发生后立即完成时，τ接近0，奖励值达到最大。 c. 动态奖励(Rd) 动态奖励组件通过二进制激活机制明确区分常规任务和动态任务，其中紧急动态任务的奖励得到放大，而常规任务的贡献被抑制。公式定义如下：(18)Rd=δt·wd·f(τ,dc)，其中δt∈{0,1}是动态任务指示器。(19)δt={1,如果任务ti是动态的0,如果任务ti是常规的具体来说，对于在截止时间之前完成的任务，会给予正奖励，完成任务的时间越早，奖励越大。动态任务奖励基于时间衰减计算，使用指数衰减机制。这种方法在任务截止时间临近时分配更高的奖励，从而增加选择紧急任务的可能性。(20)π*=argmaxπE[∑t=0TγtRcumulative(t)]，其中γ∈[0,1)是折扣因子，T表示规划范围。奖励成分的相互作用确保了：累积奖励Rcumulative驱动一个MDP（马尔可夫决策过程），在这个过程中，代理人选择能够最大化预期累积奖励的任务。(4) 策略和目标函数我们还定义了随机策略πθ(a|s)，它代表了在状态s下选择动作a的概率。这里的目标是找到能够最大化跨任务场景预期回报的最优策略πθ。具体形式化如下：(图1)(21)J(πθ)=Es0～p(s0)[Vπθ(s0)]其中p(s0)是初始状态分布，Vπθ(s0)是从s0开始并按照策略πθ行动时的预期累积回报。下载：下载高分辨率图像（273KB）下载：下载全尺寸图像图1. 混合任务的马尔可夫过程。3.5. 元强化学习3.5.1. 框架MRL-DMS被设计为一个两级元强化学习架构，以应对动态任务环境中的适应性和响应性挑战。该框架整合了一个元学习循环，用于长期跨任务优化，以及一个内部强化学习循环，用于短期任务级别的适应。所提出的方法结合了元学习与近端策略优化（PPO）算法，采用了两级学习架构。(图2)。下载：下载高分辨率图像（389KB）下载：下载全尺寸图像图2. MRL-DMS框架的整体工作流程。外部循环作为元学习者，负责跨多个任务场景的元级别优化。它捕捉了来自常规和动态任务经验的长期规律性和可转移的调度模式。通过循环更新，元学习者改进了内部策略网络的初始化参数，使代理人在面对新的轨道配置或时变环境时能够快速适应。内部循环基于PPO算法，在单个任务场景内执行强化学习。它生成符合轨道、可见性和时间限制的观测计划和姿态控制动作，同时最大化观测效率。在这个循环中，演员网络探索可行的调度策略并促进熵的增加以鼓励探索，而评论家网络评估状态值。这种内部适应过程在较短的时间尺度上运作，为实时任务执行提供即时决策能力。通过将外部循环的元级别学习与内部循环的任务级别优化紧密耦合，MRL-DMS框架使得多颗卫星或代理人能够共享元知识，转移调度经验，并在复杂的动态任务条件下保持高响应性。(图3, 图4, 图5, 图6)下载：下载高分辨率图像（153KB）下载：下载全尺寸图像图3. 自适应动作空间。下载：下载高分辨率图像（441KB）下载：下载全尺寸图像图4. 内部循环和外部循环结构。下载：下载高分辨率图像（464KB）下载：下载全尺寸图像图5. MRL-DMS的元训练过程。下载：下载高分辨率图像（249KB）下载：下载全尺寸图像图6. 常规任务和动态任务的空间分布。3.5.2. 基于PPO的内部循环内部RL层利用PPO算法来优化卫星的任务执行策略。在这个演员-评论家框架中，演员输出一个动作的概率分布，然后相应地选择动作。来自卫星-环境交互的经验存储在一个所有代理人都可以访问的共享内存池中。演员被训练来最大化其策略的熵，从而促进探索，而评论家则最小化预测回报和实际回报之间的均方误差（MSE），从而改进价值估计。PPO被用作核心的在线策略优化算法，使用一个裁剪的替代目标来确保策略更新的一致性：(22)L(θ)=E^t[min(rt(θ)A^t,clip(rt(θ),1??,1+?)A^t)]其中rt(θ)=πθ(at∣st)πθold(at∣st)是在状态st下采取动作的概率，A^t是估计的优势，?是控制裁剪范围的超参数。为了应对任务的动态性质，我们应用元学习来优化初始策略参数θ0，以便代理人能够以最少的额外训练高效地适应新的、动态变化的任务。这里，元学习的目标是学习一个策略初始化θ0，使代理人能够快速适应常规需求和随机动态变化。我们考虑常规任务集合Ts={Ms1,Ms2,…,MsN}和动态任务集合Td={Md1,Md2,…,MdN}，其中每个任务Mi都是由状态空间Si、动作空间A^和奖励函数Ri定义的环境。目标是学习一个由θ参数化的策略πθ(at∣st)，该策略能够在任务分布T中的多个任务中表现良好。在提出的MRL-DMS中，代理人寻求优化初始策略参数θ0，以便在新任务上进行最小量的微调后，策略在该任务中能够实现高性能。这允许代理人仅通过少量更新就快速适应新任务，而无需为每个新任务从头开始重新训练策略。因此，任务集Ts包括N个任务，在元学习过程的每次迭代中随机采样一个任务。目标是开发一种统一的方法，能够高效地适应常规和动态任务，从而在保持最佳性能的同时最小化每个新任务所需的训练时间。对于每个任务Mi，代理人从一组共享的初始策略参数θ0开始。然后，代理人执行PPO更新来微调该任务的策略和价值函数。特定于任务的适应更新规则如下：(23)[Vπθ(s0)]θi′=θ0?α?θLTi(θ)其中θi′代表任务Ti的更新参数，α表示学习率，LTi(θ)是特定于任务Ti的PPO目标。3.5.3. 基于元学习者的外部循环在MRL-DMS中，外部循环和内部循环形成了一个分层的元强化学习架构。内部循环通过PPO优化在单个任务规划场景内快速进行策略适应，而外部循环则更慢地发展，捕捉不同场景下调度策略变化的长期规律性。无论是常规覆盖窗口还是动态触发的紧急观测，每个场景都被视为从更广泛的任务分布p(T)中采样的一种不同任务。通过在这些任务中保持循环表示，外部循环学会了提取可转移的调度先验，以便在出现新的动态任务时能够快速重新优化。(1) 元学习者的构建外部循环实现为一个长短期记忆（LSTM）网络，它编码了迄今为止遇到的所有任务的历史。在每次元迭代t时，LSTM接收一个反馈向量xt，该向量总结了当前任务Tt的性能和上下文信息：(24)xt=[R(Tt),?(st,at?1,rt?1,dt?1)],其中R(Tt)是内部循环PPO更新后获得的累积奖励，?(·)捕获了诸如平均优势、策略熵、KL散度和动态任务参数等上下文描述符。嵌入网络gη(·)将这个高维反馈投影到一个紧凑的潜在空间中，LSTM更新其循环记忆为(25)(ht,ct)=LSTM(gη(xt),(ht?1,ct?1)),其中(ht,ct)是在元剧集中跨任务保持的隐藏状态和单元状态。隐藏表示ht调制了两个头部Hθ(·)和H?(·)，它们调整参数以调制基础演员-评论家网络：(26)θt(0)=θbase⊕Hθ(ht),?t(0)=?base⊕H?(ht),其中⊕表示逐层组合。所得参数初始化了内部循环的PPO学习器，该学习器对任务Tt执行K次梯度更新以获得θt(K)。(2) 元目标和优化适应后，使用更新后的策略fθt(K)收集新的轨迹，并将常规和动态任务的累积奖励汇总到元目标中：(27)Lmeta(θ0)=∑Ti～p(T)Eτi～fθi′[?R(Ti)],其中R(Tiroutine,πθ0)和R(Tidynamic,πθ0)表示常规和动态任务场景下的累积奖励。然后通过两个循环的反向传播最小化元损失来更新元参数：(28)θ0*=argminθ0Lmeta(θ0),元学习过程是通过更新θ0来最小化累积元损失来实现的，这鼓励代理人学习一组能够快速适应的初始参数。优化是使用元梯度来执行的。(29)θ0*=argminθ0Lmeta(θ0),本质上，外部循环作为一个元级别优化器，塑造了内部PPO学习器的初始化。通过LSTM驱动的循环更新，它捕捉了卫星调度中的跨场景规律性，并将它们嵌入到一个可转移的策略先验中。这种机制使MRL-DMS在面对新的或动态变化的任务规划环境时能够快速适应策略。4. 实验和结果4.1. 数据描述为了评估所提出的MRL-DMS在现实调度条件下的有效性和鲁棒性，构建了一个结合了常规和动态观测任务的混合卫星任务数据集。第4.1节介绍了这个混合数据集的构建过程。第4.2节描述了实验参数，包括卫星配置、时间范围和超参数设置。4.1.1. 混合观测任务数据集为了模拟真实的混合观测场景，我们结合了常规和动态任务。常规任务代表基于长期监控要求的定期地球观测活动（Yao等人，2025年）。相比之下，动态任务代表不可预测的紧急、时间敏感的需求——例如灾难监测或冲突观测请求。动态任务来自2023年至2025年的ACLED（武装冲突位置与事件数据）全球数据库，该数据库记录了详细的地理定位和带有时间戳的冲突事件。我们使用事件发生时的地理位置作为观测目标。更高的发生频率表明该地点进行紧急观测的潜力更大。因此，发生频率代表目标的回报。在测试过程中，使用了两种空间采样策略：跨大陆的地理均匀采样，以及来自高冲突区域的热点采样。这种双重采样确保了在分散和事件驱动的任务条件下的性能评估。本研究中使用的动态任务数据集已公开发布，以支持可重复性和进一步的研究（https://github.com/YYYauW/DynamicMission）。数据集可用性：DynamicMission数据集（Yao等人，2025年）。4.1.2. 卫星数据集评估阶段有六颗在太阳同步（SSO）轨道上运行的异构卫星。每颗卫星都使用真实的双线元素（TLE）数据进行初始化，以确保轨道的真实性。TLE数据集来自CelesTrak数据库（https://celestrak.org/）。模拟覆盖了24小时的规划时间范围（00:00–24:00 UTC），以确保完整的轨道可见周期。为了检验敏捷性对调度性能的影响，分别在不同姿态机动速度下进行了实验，范围从1°/s到5°/s。本研究中使用的所有轨道和事件数据集都来自公开可访问的来源（CelesTrak和ACLED），并且无需额外许可即可用于学术用途。4.1.3. 模型和训练的参数设置MRL-DMS框架在混合任务场景上训练了100,000步，并在多种调度条件下进行了评估。常规任务是预先生成的，每个任务的池大小为100–500，每个任务都分配了一个优先级Pt∈[0,10]、观测持续时间τ和来自轨道几何的可见时间窗口（VTWs）。动态任务每天模拟三次，池大小分别为5、10、50和100，每天大约有15–300个动态任务。所有实验都是在Python 3.10中使用PyTorch实现的，并在NVIDIA GeForce RTX 4070 GPU上执行。为了进行比较评估，MRL-DMS在相同的混合任务环境下与最先进的RL算法（例如PPO、A2C和DQN）进行了基准测试。所有算法都共享相同的状态、动作和奖励定义：状态向量包括轨道、姿态和任务可行性特征，而动作空间保持固定的维度，常规和动态任务都有固定的槽位。RL的网络都采用了MLP。共同的超参数在方法之间进行了对齐，以确保公平性。尽管它们的学习范式不同，所有模型都在相同的环境和剧集配置下进行训练，以进行一致和可重复的比较。4.1.4. 评估协议和参数定义所有与任务相关的参数在实验中遵循相同的操作定义。调度性能的评估依赖于一组反映操作有效性和计算效率的指标。这些指标包括所有执行任务中累积的总奖励、观测成功率、在线插入后动态任务的完成率，以及生成完整调度计划所需的整体墙钟时间。这些指标描述了任务完成、响应性和计算负担之间的权衡。所有模拟剧集都在一致的规则下终止。每个剧集在24小时规划时间范围结束后结束，或者没有可行的任务可用时结束，或者当PPO达到元训练阶段预定义的交互步数时结束。这些终止标准确保每个调度周期都有明确的边界，并且方法之间的比较基于结构和持续时间相等的剧集。4.2. 实验结果为了评估所提出的MRL-DMS调度框架的性能，我们分析了调度成功率、平均完成时间和动态和常规混合任务的累积奖励。这些指标全面评估了在不同实验设置下的调度有效性、适应性和鲁棒性。通过与基线强化学习算法进行比较实验来验证性能。我们还通过改变常规和动态任务的规模来检验该框架的鲁棒性，分析其对增加的调度复杂性的适应能力。此外，还通过测试其在地理集中和分散的动态任务分布上的性能来评估该方法的空间泛化能力。4.2.1.在混合任务调度场景下验证所提出方法的有效性时，我们将它与最先进的DQN、PPO和A2C强化学习（RL）算法进行了比较，所有算法都在相同的实验条件下进行评估。评估指标包括完成时间、累积奖励、动态和常规任务完成率以及观测成功率。实验结果表明，所提出的MRL-DMS方法在性能上优于PPO、A2C和DQN算法。其中一个最显著的改进是任务完成时间的显著减少。如图4所示，MRL-DMS方法的平均完成时间为61.20秒，比PPO算法短75.70%，比A2C算法短82.40%，比DQN算法短74.97%（见图7a）。这一大幅度的减少突显了MRL-DMS方法在优化实时任务分配和决策过程中的效率，使得算法能够更快地响应动态调度需求。

除了执行效率外，MRL-DMS方法还保持了具有竞争力的累积奖励水平。图7b中的结果显示，MRL-DMS方法在不同目标限制下的平均累积奖励为20,935，与PPO（20,888）、A2C（20,915）和DQN（20,874）算法相当。尽管各算法之间的累积奖励没有表现出显著差异，但MRL-DMS方法能够在执行时间缩短的情况下实现相当的性能，这体现了其计算效率和适应变化的任务需求的能力。进一步分析任务完成率发现，MRL-DMS方法在不同目标限制下始终能够实现更高的动态任务完成率。这里的动态任务平均完成率达到了80.83%，超过了PPO（80.66%）、A2C（80.67%）和DQN（80.77%）算法（见图8a）。MRL-DMS方法在动态任务奖励方面也表现更好（见图8b）。这些结果表明，MRL-DMS方法特别适合处理实时任务变化，显示出其在需要对新生成的任务立即做出响应的动态环境中的鲁棒性。

此外，对观测成功率的分析进一步证实了MRL-DMS方法的鲁棒性。如图8c所示，在目标限制为100的情况下，MRL-DMS方法取得了最高的观测成功率58.80%，优于PPO（54.13%）、A2C（54.10%）和DQN（53.99%）算法。通常，任务复杂性的增加会导致所有算法的观测成功率下降；然而，MRL-DMS方法表现出了更稳定的性能，验证了其在复杂任务场景下优化调度决策的有效性。总之，实验结果表明，与现有的RL方法相比，MRL-DMS方法在大幅减少任务完成时间的同时，保持了具有竞争力的累积奖励。从定量上看，MRL-DMS方法在观测成功率上提高了8.73%，在计算时间上减少了77.69%，同时保持了整体的和动态任务完成性能的竞争力。此外，MRL-DMS方法在不同目标限制和增加的动态任务负载下的稳定性能反映了其在任务类型上的泛化能力。由于元学习器是在多样的任务分布上训练的，它有效地捕获了促进在时变需求下做出可靠决策的共享先验。总体而言，MRL-DMS中采用的元强化学习范式不仅加快了决策时间，还在实时操作约束下提高了跨任务的鲁棒性。这些结果突出了该方法在效率和鲁棒性方面的优势，能够在不牺牲任务质量的前提下实现更快、更可靠的调度决策。

4.2.2 在不同动态任务规模下的调度性能
所提出的MRL-DMS方法也针对不同的动态任务规模进行了评估，其中动态任务的数量从15个增加到50个、100个，然后是常规任务数量的3倍（即100至500个任务）。不同动态和常规任务规模下的性能在附录A中提供。随着动态任务负荷的增加，观测成功率持续下降，尤其是在常规任务规模较小时。例如，在有100个常规任务的情况下，动态任务的插入量从5个增加到100个时，成功率从78.4%下降到63.5%（下降了14.9%）（见图10c）；而在有200个常规任务的情况下，成功率从68.2%下降到59.2%（下降了9.0%）（见图10b）。这反映了调度竞争的加剧，因为算法优先处理动态任务而非整体覆盖范围。然而，随着常规工作荷载的增加（例如当常规任务数量达到300个时），由于可用观测窗口的饱和，观测能力已经减弱。在这种情况下，额外动态任务的边际影响不那么严重。例如，观测成功率仅从57.4%下降到53.5%，下降了3.9%。总体而言，所提出的MRL-DMS方法在不同任务规模下保持了相对较高的观测成功率。然而，当常规任务和动态任务的需求同时增加时，整体观测性能出现了下降。尽管如此，在大规模任务情况下，该方法仍然实现了更高的动态任务完成率。

随着动态任务插入率的增加，常规任务和动态任务的完成率表现出相反的趋势。例如，在有100个常规任务的情况下，完成率从76.3%下降到66.4%，下降了13.0%；当常规任务数量增加到200个时，完成率进一步从66.2%下降到54.5%，下降了17.6%（见图10d）。这些下降表明了在有限的观测资源下竞争的加剧。相比之下，动态任务的完成率保持稳健，即使在最高的插入率下也始终超过了60%。这些发现表明，MRL-DMS调度策略在优先处理动态任务的同时，即使在重负载情况下也能保持响应能力。累积奖励随着动态任务的增加而增加，尽管增长趋势是亚线性的。在有100个常规任务的情况下，将动态任务的数量从5个增加到100个使总奖励从8,044增加到26,228，总体增加了225.6%。然而，边际增加率从129.7%（5到50个任务）下降到41.8%（50到100个任务），表明在更重的动态负载下效率降低。与此同时，常规任务的奖励稳步下降，在相同设置下下降了13.9%，当常规任务数量增加到200个时下降了18.6%。相比之下，动态任务的奖励急剧上升，在100个任务条件下从1,387增加到18,555，增加了1,210.9%，其他常规任务水平也观察到了类似的趋势。这些趋势反映了算法利用能带来更高奖励潜力的动态任务的能力，尽管在常规任务上的表现有所下降。

尽管任务数量增加了，但计算时间在不同条件下保持稳定。例如，当常规任务规模达到100个时，计算时间从55.5秒增加到58.1秒，增加了大约4.7%。有趣的是，当任务数量增加到200个时，计算时间从60.2秒减少到58.1秒，减少了大约3.4%，表明所提出的方法可以重新优先处理任务，而不仅仅是延长任务持续时间。计算时间的变化始终在5%的狭窄范围内，这突出了MRL-DMS方法的时间受限设计，并展示了其在不产生显著开销的情况下动态重新分配资源的能力。动态任务与常规任务的比例在不同场景中有所不同，以测试不同的操作负载。当常规任务占主导时，MRL-DMS框架能够满足两种类型的任务，保持常规观测的高完成率。重要的是，在重动态负载下观察到的常规任务成功率的下降是优先级方案的一个预期结果。在实验设置中，动态任务被明确赋予了比常规任务更高的优先级值，而常规任务受到严格截止日期和有限可见时间窗口的限制，以模拟真实操作条件。因此，当动态任务的流入量超过常规任务量时，算法自然会优先处理更关键的动态任务。这反映了紧急观测请求优先于常规任务的现实卫星任务场景。这种优先级驱动的权衡旨在确保对关键事件的响应能力。此外，如果规划时间范围得到延长或允许额外的调度周期，那么在动态负载高峰期间推迟的许多常规任务最终可以在紧急需求得到解决后执行。

5. 讨论与局限性
实验结果揭示了MRL-DMS方法中的一个明显权衡，即该方法优先处理动态任务，从而牺牲了常规任务的性能。随着动态任务规模的增加，该方法相应地重新分配了计算和观测资源。在高动态负载下，常规任务的完成率下降了20%至30%，而动态任务的成功率相对稳定，从95%下降到62%（见图12）。这种不对称性体现了旨在实现实时响应的故意优先级机制。此外，奖励构成分析表明，在极端动态插入率下，动态任务对累积奖励贡献越来越大，超过了60%。这些趋势表明，MRL-DMS方法隐式地调整了其策略，以优先处理高紧急性任务，从而在不确定和时间敏感的条件下维持适应性。本质上，所提出的MRL-DMS方法策略性地优先考虑动态任务，以最大化即时任务完成度和奖励；然而，这牺牲了常规任务的处理量和覆盖范围。

另外，对扩大动态任务规模（在不同常规任务规模上）的边际效应分析显示出了明显的收益递减现象。随着更多动态任务的引入，每个任务的累积奖励减少，这意味着每个额外的动态任务对累积奖励的贡献变小。总体观察成功率（即完成的所有任务的比例）在某个点之前保持较高；然而，一旦动态任务需求超过某个阈值，成功率就开始下降（见图12）。

在较低的动态任务水平下（例如5到10个），每个任务的奖励增加最多——例如，在100个常规任务的情况下，每个动态任务大约增加了265个奖励单位，并使成功率提高了0.165%。但是，当动态任务数量从10个增加到50个时，奖励增加量减少到225个单位，成功率变为负值（-0.064%）。从50个增加到100个时，每个任务的奖励减少到156个单位，成功率的下降更加显著（-0.175%）。这一趋势在所有常规任务规模上都是一致的，转折点通常在10到50个动态任务之间。

相比之下，每个动态任务的计算时间增加幅度较小（大约每个任务0.1-0.2秒），这表明所提出的MRL-DMS方法即使在任务复杂性增加时也能保持计算效率（见图12a）。一方面，这表明算法能够在动态任务规模增加时保持相对较快的响应时间。另一方面，尽管该提案方法能够在初期有效应对动态任务激增，但超过一定限度后，额外的任务会减少总体收益。这些发现强调了在实时调度中纳入自适应阈值或优先级加权机制的必要性。

尽管当前研究主要关注单卫星调度，但实验结果展示了元强化学习向大规模星座级协调扩展的潜力。该策略在动态和非静态条件下的适应能力表明，类似的原则可以扩展到多个卫星的分散式或层级架构。然而，卫星间的通信引入了额外的协调开销。未来的研究应探索将本地决策与全局优化解耦的层级或分布式元强化学习结构，以提高可扩展性和通信效率。

此外，尽管算法在模拟中实现了实时响应能力，但在卫星上的部署带来了额外的工程挑战，包括模型大小、推理延迟和能源消耗的限制。轻量级网络压缩、量化和异构硬件部署对于确保可行的卫星上推理至关重要。解决这些方面将使MRL-DMS从模拟过渡到完全自主的太空调度系统成为可能。

本文提出了MRL-DMS方法，用于地球观测卫星的混合动态任务调度。该方法通过结合动态MDP、实时自适应奖励机制和基于LSTM内存模块的元学习策略，解决了传统和现有深度强化学习方法的局限性。MRL-DMS方法能够快速适应不可预测的任务插入，同时保持高计算效率和通用性。

表1. 卫星参数
| ID | 纬度 | 经度 | 类型 | 利润 | 位置 |
|------|--------------|--------------|---------|------------|
| 1 | 43.50780 | 124.10000 | 常规 | 亚洲，中国 |
| 2 | 43.50780 | 124.10000 | 动态 | 欧洲，西班牙 |
| 3 | 43.50780 | 124.10000 | 常规 | 亚洲，中国 |
| 4 | 43.324198 | 28.68734 | 动态 | 亚洲，中国 |
| 5 | 43.50780 | 124.10000 | 常规 | 亚洲，中国 |
| 6 | 49.60.000 | 297.2318 | 动态 | 亚洲，中国 |
| 7 | 6940.000 | 98.2266 | 常规 | 亚洲，中国 |
| 8 | 822098.725 | 28870 | 动态 | 亚洲，中国 |
| 9 | 82252 | 98.7255 | 常规 | 亚洲，中国 |
| 10 | 6940.000 | 98.2266 | 动态 | 亚洲，中国 |

表2. 算法参数
| 名称 | 半长轴/公里 | 偏心率 | 倾角/° | 近地点角/° | 平近点角/° | 平?异常/° |
|--------|-----------|---------|---------|-----------|-----------|
| Sat1 | 164 | 0.00199 | 8.727 | 153 | 55 |
| Sat2 | 705 | 987 | 829 | 66 | 4 |
| Sat3 | 705 | 98.226 | 108 | 25 |
| Sat4 | 822098.725 | 28870 | 5 | 4 |
| Sat5 | 6940.000 | 98.2266 | 102 | 25 |
| Sat6 | 4960.000 | 297.2318 | 185 | 175 |

表3. MRL-DMS算法参数
| 参数 | 值 | | | |
| PPOA | 2 | CDQN | | |
| LEARNING_rate | 0.005 | DISCOUNT_FACTOR | | 0.99 |
| BATCH_SIZE | 128 | | |
| HIDDEN$LAYERS | 3×256 | | 3×256 | LSTM 128 |
| ACTIVATIONFunction | RELU | | |
| OPTIMIZER | Adam | | |
| TRAINING_STEPS | 10000 | | |
| CLIP_RATIO | ε | 0.2 | | |
| GAE | λ | 0.95 | 0.95 |
| ENTROPY_coeffICIENT | 0.01 | 0.01 | |
| VALUE_loss | 0.5 | 0.5 | |
| BUFFER_SIZE | —————— | 1×10^5 | | ε-GREEDY | 0.005 |

表4. 评估指标解释
| 指标 | 定义 | |
| TotalReward | 调度时域内完成任务的价值总和 | |
| ObservationSuccessRate | 成功调度的所有可行任务的比例 | |
| DynamicMissionCompletionRate | 完成的动态插入任务的比例 | |
| RoutineMissionCompletionRate | 完成的常规任务的比例 | |
| ComputationTime | 生成完整24小时调度所需的总墙钟时间 | |
| CumulativeDynamicReward | 来自动态任务的总奖励比例 | |
| CumulativeRoutineReward | 来自常规任务的总奖励比例 | |

表5. 不同空间分布下的调度性能
| 类型 | 算法 | 时间 | ObservationSuccessRate | DynamicMissionCompletionRate | RoutineMissionCompletionRate | TotalReward |
|--------|--------------|----------------|-----------------|-------------------|-------------------|
| Dense | A2C | 47.87 | 60.52 | 80.77 | 0.45 | 82.01 |
| DQN | 44.69 | 90.52 | 60.77 | 0.45 | 185.52 |
| MRL-DMS | 89.90 | 90.57 | 0.77 | 0.57 | 20.52 |
| PPO | 25.34 | 20.52 | 80.76 | 0.45 | 20.12 |
| Dispersed | A2C | 47.57 | 0.55 | 40.84 | 30.45 | 121.64 |
| DQN | 44.39 | 20.55 | 40.84 | 50.44 | 161.77 |
| MRL-DMS | 25.02 | 10.60 | 20.84 | 40.51 | 167.77 |

在真实的卫星轨道配置和混合任务数据（包括全球冲突场景）下进行的实验评估显示，所提出的MRL-DMS方法优于现有的强化学习基线算法（PPO、A2C和DQN）。实验结果表明，MRL-DMS方法显著减少了任务完成时间，提高了动态任务的成功率，并保持了有竞争力的累积奖励，突显了其在时间敏感和高需求调度环境中的实际效用。此外，实验结果还表明，该算法在不同动态任务规模和空间分布下表现出稳健的性能，有效平衡了常规任务和紧急任务之间的资源分配。

本研究的结果强调了使用基于元学习的强化学习作为自主卫星任务规划的可扩展、智能解决方案的潜力，特别是在日益动态的观测环境中。所提出的MRL-DMS方法为开发适用于现实世界紧急情况的智能卫星任务规划算法提供了技术基础。其自主适应任务激增和动态分配观测能力的能力，为未来的遥感算法监测自然灾害、武装冲突和其他突发高影响力事件提供了实际支持。未来，我们计划通过实施多智能体强化学习来扩展MRL-DMS方法，以实现卫星调度的协作决策过程。

本研究使用的混合任务数据集（包括常规任务和基于ACLED的动态任务）已公开发布。该数据集可在Zenodo（DOI: https://doi.org/10.5281/zenodo.17724850）获取，并在GitHub上有镜像。

本工作部分得到了国家自然科学基金（项目编号U24A20589、No.42171341）的支持。

作者贡献声明：
- Yao Wei：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、方法论、调研、资金获取、正式分析、数据 curation、概念化。
- Shen Xin：可视化、验证、资源管理、项目管理、方法论、调研、资金获取、概念化。
- Zhang Guo：监督。
- Lu Zezhong：调研。
- Wang Jiaying：调研。
- Gao Gui：调研、资金获取。
- Da Feng：监督。