基于非线性效用（Nonlinear Utility）和深度强化学习（Deep Reinforcement Learning）的敏捷卫星（Agile Satellites）多目标调度方法

《International Journal of Digital Earth》：A multi-objective scheduling method for agile satellites based on nonlinear utility and deep reinforcement learning

　　

敏捷对地观测卫星调度问题（Agile Earth Observation Satellite Scheduling Problem, AEOSSP）是一项涉及冲突目标的多目标优化任务。这些目标包括任务优先级、成像质量和能量消耗，它们高度相关且常常相互冲突。帕累托优化（Pareto Optimisation）是评估复杂多目标解决方案质量的关键指标。然而，传统的线性加权方法忽略了子目标之间的相互作用，生成具有不均匀权衡分布的次优帕累托前沿（Pareto Fronts）。本研究提出了一种基于非线性效用和深度强化学习（Deep Reinforcement Learning, DRL）的敏捷卫星多目标调度方法。在该框架内，研究人员开发了统一调度模型（Unified Scheduling Model, USM），为受约束的多目标观测任务提供统一表示。基于USM，研究人员设计了基于对比学习（Contrastive Learning）的非线性效用网络，通过余弦相似度（Cosine Similarity）捕获目标间关系，从而为多目标权衡提供自适应和多样化的指导。随后，研究人员采用分布式训练策略结合近端策略优化（Proximal Policy Optimization, PPO）算法，以提高在复杂操作约束下的学习效率和策略稳定性。结果表明，与多目标深度强化学习和多目标启发式基线算法相比，所提方法在帕累托体积（Pareto Volume）方面取得了显著改进，并在多个性能指标上优于现有基线方法。

**研究背景与现存问题**

敏捷对地观测卫星（Agile Earth Observation Satellites, AEOSs）配备先进的三轴姿态机动能力，显著扩展了地球观测范围，可执行多角度立体成像、区域镶嵌和非沿轨目标跟踪等多样化成像任务。然而，这种灵活性增加了敏捷对地观测卫星调度问题（AEOSSP）的复杂性，相较于常规对地观测卫星调度问题（Conventional Earth Observation Satellite Scheduling Problem, CEOSSP），AEOSSP需要在成像质量、能量使用、星上存储、任务优先级和应急响应时效等冲突目标之间实现平衡权衡。帕累托优化为描述此类权衡并获得分布良好的非支配解（Non-dominated Solutions）提供了稳健框架。然而，成像质量、能量效率和任务优先级等核心目标之间存在的强非线性交互关系，常导致帕累托前沿分布不均匀并出现不可行区域，给非线性建模、约束处理和多目标平衡带来挑战。

AEOSSP已被证明是NP-hard问题。早期研究主要关注单目标优化，将调度视为资源分配任务。随着研究发展，多目标AEOSSP（Multi-objective AEOSSP, MO-AEOSSP）成为核心议题。现有方法分为线性和非线性两类：线性方法采用整数规划或多目标规划将多目标问题转化为单目标模型；非线性方法则通过进化多目标优化（Evolutionary Multi-objective Optimisation, EMO）捕捉目标间的复杂依赖关系。尽管这些方法有所改进，但大多数依赖手工模型构建或启发式搜索机制，计算成本高且在动态任务环境中适应性有限。近年来，研究逐渐转向数据驱动优化范式，特别是深度强化学习。然而，现有基于DRL的研究多集中于单目标形式化，且依赖线性加权，限制了生成分布良好的帕累托最优解的能力。

**研究概述与核心贡献**

为克服上述问题，研究人员提出基于非线性效用和DRL的敏捷卫星多目标调度方法（Nonlinear Utility Deep Reinforcement Learning, NUDRL）。该方法通过非线性效用框架对成像优先级、成像质量和能量消耗等多目标进行建模，指导DRL策略学习。主要贡献包括：第一，提出非线性效用生成网络，基于对比学习和余弦相似度将非线性效用理论与深度强化学习显式结合，以建模成像质量、能量消耗和任务优先级之间的复杂交互关系，为DRL策略提供细粒度且可区分的多目标优化信号；第二，开发面向帕累托的敏捷卫星调度框架，将学习到的非线性效用与分布式深度强化学习相结合，提高训练效率和泛化性能，同时实现多目标间的多样化帕累托权衡。

**关键技术方法**

研究人员建立了由四个组成部分构成的结构化建模框架：问题描述与基本假设、决策变量定义、多目标函数系统构建以及关键约束条件确立。采用统一调度模型（USM）提供异构地理目标到离散网格单元的映射，为多样化任务类型提供统一表示和一致的几何建模框架。

在方法实现上，研究人员构建了三层技术框架：环境层基于gymnasium框架构建强化学习仿真平台，将轨道运动、姿态机动约束和时间相关任务关系转换为统一的状态和动作空间；效用层通过对比学习构建非线性效用建模模块，参数化神经网络生成确定性效用函数，通过对比损失函数捕捉这些函数间的特征差异，形成非线性单调递增的效用系统；决策层在Actor-Critic结构内执行自主策略优化，Actor网络输出可行成像动作的概率分布，Critic网络估计每个状态的期望效用以指导策略更新。

具体而言，研究人员将MO-AEOSSP建模为多目标马尔可夫决策过程（Multi-objective Markov Decision Process, MOMDP），表示为五元组G=。状态空间S包含任务开始时间、任务收益、能量消耗、成像质量、累积成像计数和剩余模拟时间；动作空间A为二进制决策机制，表示执行或跳过任务；多目标奖励函数R为向量值函数，包含优先级、质量和能量三个分量。

为生成多样化效用函数，研究人员采用对比学习机制，结合确定性先验知识与数据驱动建模。确定性效用函数作为正样本，随机初始化的参数化函数作为负样本，通过softmax形式的对比学习损失函数优化，包括效用值对比损失、角度对比损失和梯度对比损失，权重分别设置为0.4、0.5和0.1。同时施加单调性约束?U(F)/?f_i≥0，确保效用函数沿各目标维度单调递增。

在分布式策略方面，每个多样化效用函数在PPO Actor-Critic框架内作为独立价值信号。Actor网络接收卫星状态空间输入，输出动作概率分布π(a|s;u_i)；Critic网络估计状态价值函数并最小化与期望回报的差异。采用裁剪目标函数和重要性采样比率进行策略更新，每个Actor-Critic对独立优化，通过非支配排序和拥挤距离算法评估策略性能，聚合非支配策略形成帕累托前沿。

**研究结果**

实验采用WRS-2网格组织任务数据，包含2000个点目标、500个线目标和500个面目标，设置四种场景（S1-S4），成像机会分别为15、20、25和30次。与六种多目标强化学习算法（MORLD、GPI-LS、Envelope Q-Learning、PCN、MO Q-Learning、MPMOQ-Learning）和四种经典多目标启发式算法（NSGA-II、MOEA/D-DE、RVEA、CTAEA）进行比较。

实验结果表明，NUDRL生成的参数化效用函数在目标偏好空间中展现出与确定性效用函数不同的分布特征，能够有效覆盖广泛的目标偏好范围。在帕累托前沿比较中，NUDRL在能量奖励维度表现出更优的覆盖率和解决方案分布，产生的非支配解在质量上优于所有基线算法。在超体积（Hypervolume, HV）和期望效用（Expected Utility, EU）指标上，NUDRL在所有场景中均持续优于所有基线方法，随着任务复杂度增加，性能差距进一步扩大。在S4场景中，NUDRL的HV值超过PCN、Envelope和MORLD两倍以上。在约束满足度（Constraint Satisfaction, CS）和方差目标（Variance Objective, VO）方面，NUDRL在所有场景中CS值均高于0.5，方差波动仅为2.12，远低于其他方法，显示出强约束满足能力和输出一致性。

策略规模分析显示，当分布式策略数量从20增加到60时，目标空间中的解覆盖率迅速扩展；超过60个策略后，覆盖率增长趋于饱和，但期望效用仍稳步提升，未出现策略冲突或稳定性下降。

**讨论与结论**

与传统启发式方法相比，NUDRL通过对比学习结合余弦相似度的非线性效用设计，能够建模目标间的非线性关联，指导DRL策略学习。分布式PPO框架提高了在复杂约束下的训练速度和稳定性，帕累托超体积较基线方法提升200–300%。尽管离线训练成本较高（生成100个效用函数需0.71分钟，训练100个策略需115.01小时），但推理时平均每个回合仅需2.73秒，优于启发式算法。

适用性分析表明，NUDRL在非均匀空间分布的WorldCities数据集上仍保持最高HV和EU值，但在任务空间聚集的城市场景中性能略有下降，提示未来需增强对异构空间分布的训练适应性。该方法可扩展至深空探测、无人机集群操作和多卫星协同调度等场景。

研究结论表明，NUDRL通过对比学习生成多样化效用函数，有效捕获成像优先级、成像质量和能量消耗之间的复杂非线性交互，结合基于PPO的分布式训练框架，解决了线性加权方法因独立子目标假设导致的帕累托前沿构建失真问题。该方法显著提升了多目标敏捷卫星调度的决策效率和帕累托解质量，为复杂环境下的卫星任务规划提供了高效解决方案。未来研究将着力开发轻量级神经网络架构，探索边云协同计算以降低部署开销。