基于PPO的海上搜救空天协同监测方法

《Journal of Marine Science and Engineering》：A PPO-Based Air-Space Collaborative Monitoring Method for Maritime Search and Rescue

　　

大规模海上活动、持续航运事故和复杂海洋环境对海上搜救（MSAR）持续提出高要求。当前的MSAR系统未能充分利用无人机（UAV）和卫星在协同跟踪与救援支持方面的互补优势。现有空天协同技术存在两个关键限制：（1）流程僵化，包括固定任务分配、缺乏实时环境适应的预定义路径规划，以及孤立的卫星-UAV决策；（2）任务完成周期长，主要因为许多方法适应于广域、长时段的军事跟踪场景。因此，它们对MSAR所需的动态灵活性支持有限。本研究提出一种基于近端策略优化（PPO）的海上移动目标空天协同跟踪方法，以解决这些不足并增强MSAR作业中的空天协作。该方法的核心实现包括：（1）将目标漂移预测、卫星轨道预测、UAV任务分配和路径规划整合到一个统一的强化学习框架中，以减少孤立的单平台决策；（2）采用PPO生成动态灵活的空天协同跟踪策略，根据实时目标、环境和平台状态调整卫星观测角度和扫描范围，以及UAV的高度、速度和航向；（3）设计一个多维奖励函数，平衡目标接近度、能效、覆盖重叠和平台间协作，以指导策略优化。仿真实验包括系统可行性验证、基线控制器对比、PPO超参数筛选和跨场景评估。在理想化通信和载荷匹配假设下，该方法能够在模拟MSAR场景中实现对海上移动目标的协调跟踪。在标准化评估中，PPO相比DDPG实现了平均评估回合回报提高11.9%，UAV总能耗降低11.2%，续航余量提高9.92个百分点。超参数筛选比较了候选学习率、折扣因子和训练预算，为后续六个场景评估提供了PPO配置。在六个受控场景中，奖励在大约1400步后趋于稳定，而动作幅度在不同区域间存在差异。这些结果表明，所提方法具有增强MSAR决策支持中空天协同跟踪的潜力。

**论文解读：基于PPO的海上搜救空天协同监测方法**

**研究背景与问题**

海上运输承担了全球超过80%的货物贸易量，2023年全球海运贸易量达123亿吨，同年报告航运事故2951起。大规模海上活动、持续航运事故和复杂海洋环境对海上搜救（MSAR）持续提出高要求，亟需进一步发展海上应急响应技术。当前MSAR系统未能充分利用无人机（UAV）和卫星在协同跟踪与救援支持方面的互补优势。现有空天协同技术存在两个关键限制：（1）流程僵化，包括固定任务分配、缺乏实时环境适应的预定义路径规划，以及孤立的卫星-UAV决策；（2）任务完成周期长，主要因为许多方法适应于广域、长时段的军事跟踪场景，因此对MSAR所需的动态灵活性支持有限。卫星监测受限于重访间隔、采集任务、传感器模式和幅宽约束、离天底几何、光学传感器云层效应、SAR模式可用性、下行链路和产品延迟以及星上处理限制；UAV监测则面临任务分配和路径规划算法在收敛速度与精度之间不可避免的权衡，以及小规模MSAR场景中算法复杂度带来的效率增益有限。空天协同监测作为克服单平台监测系统局限性的关键途径，目前缺乏适应性，多数策略假设稳定环境条件，难以应对实际MSAR中恶劣海况对UAV飞行安全的影响，且统一协作模型忽略了不同区域的地理气候特征。因此，研究人员提出一种基于近端策略优化（PPO）的空天协同监测方法，以增强MSAR作业中的动态灵活性和时效性。该论文发表在《Journal of Marine Science and Engineering》。

**研究内容与结论**

研究人员开发了一种基于PPO的海上移动目标空天协同跟踪方法，将目标漂移预测、卫星轨道预测、UAV任务分配和路径规划整合到一个统一的强化学习框架中，采用PPO生成动态灵活的空天协同跟踪策略，并设计多维奖励函数平衡目标接近度、能效、覆盖重叠和平台间协作。仿真实验包括系统可行性验证、基线控制器对比、PPO超参数筛选和跨场景评估。在理想化通信和载荷匹配假设下，该方法在模拟MSAR场景中实现了对海上移动目标的协调跟踪。在标准化评估中，PPO相比DDPG实现了平均评估回合回报提高11.9%，UAV总能耗降低11.2%，续航余量提高9.92个百分点。超参数筛选确定了候选学习率0.0001、折扣因子0.995和7200训练时间步，用于后续六个场景评估。在六个受控场景中（深圳、青岛、宁波的有利和恶劣条件），奖励在大约1400步后趋于稳定，动作幅度在不同区域间存在差异。这些结果表明，所提方法具有增强MSAR决策支持中空天协同跟踪的潜力。

**主要关键技术方法**

研究人员采用了以下关键技术方法：（1）拉格朗日漂移模型（基于OpenDrift OceanDrift和ShipDrift）预测船舶和落水人员位置，考虑海面风、海流和斯托克斯漂流，使用粒子集合模拟不确定性；（2）简化常规摄动4（SGP4）轨道模型和两行元素（TLE）数据预测卫星过境，结合60公里名义筛选半径进行可见性判断；（3）基于密度的空间聚类应用与噪声算法（DBSCAN）进行目标聚类和UAV任务分配，参数邻域半径300米、最小邻域点数2；（4）近端策略优化（PPO）强化学习框架，整合卫星、UAV和目标状态空间，设计多维奖励函数，超参数筛选包括学习率、折扣因子和训练时间步，固定参数包括广义优势估计（GAE）λ、熵系数、批次大小、训练轮次和裁剪范围。卫星数据库包含高分、风云、遥感、试验、海洋、Sentinel等72颗卫星记录，UAV和载荷参数来自实际海上救援设备规格。

**研究结果**

**3.1.1 仿真场景和数据源**：基于报告的海上碰撞案例构建受控仿真，指定船舶几何参数、事故位置、航向、速度、落水人员数量和初始位置，环境参数（风速7.22 m/s，有效波高1.29 m，离岸距离120 km）来自案例信息及建模设定。

**3.1.2 目标漂移预测结果**：拉格朗日模型计算两小时漂移后，船舶中心最可能位置为(114.35883968353272, 20.974729566574098)，最可能位置范围半径127.79 m；落水人员最可能位置范围半径573.96 m，反映更宽的终端粒子散布。

**3.1.3 基于观测的漂移分量评估**：使用8条质量控制的插值漂流轨迹、Copernicus Marine表层流场和ERA5 10 m风场进行独立评估，7条轨迹的终点落在校准后的90%名义包络内，验证了环境数据处理、平流、插值、轨迹积分和滚动校正的工作流程，但非直接目标验证。

**3.1.4 卫星过境筛选性能**：在2025年1月14日14:00–16:00规划窗口内，SGP4算法识别出3颗候选卫星（NOAA 15、NOAA 19、GAOFEN 6），过境时间分别为36秒、10秒和24秒，累计40秒，表明筛选程序可在采用假设下识别候选轨道访问。

**3.1.5 实验UAV跟踪结果**：规则匹配模型选择CW-100 UAV和MG-150E光电/红外/激光测距吊舱。简化能量模型计算CW-100最优高度934.2 m，能耗2.47 MJ，相比500 m参考高度降低13.6%。圆形搜索中，船舶搜索最小可行倾斜角45°，交面比99.84%，圆形半径191.67 m，飞行高度191.67 m；落水人员搜索倾斜角50°，交面比95.49%，圆形半径530.76 m，飞行高度632.54 m。DBSCAN聚类将9个落水人员分为2个簇（无噪声点），分配3架UAV（1架船舶，2架落水人员）。圆形跟踪参数：船舶跟踪倾斜角45°，交面比99.84%，圆形半径取191.67 m；落水人员簇1倾斜角65°，交面比99.84%，圆形半径102.13 m，飞行高度354.78 m；簇2倾斜角60°，交面比92.30%，圆形半径176.44 m，飞行高度393.83 m。

**3.1.6 基于PPO的空天协同跟踪系统实验**：PPO算法在标准化协作跟踪评估设置下，5个独立训练种子的物理动作输出显示平均UAV高度约555–567 m，速度17.73–19.85 m/s，卫星观测角度接近天底，卫星扫描范围为名义覆盖代理。

**3.1.7 与替代控制器比较和组件消融**：在标准化设置下，PPO的平均评估回合回报956.06 ± 92.13，平均续航余量20.88%；相比DDPG，回报提高11.9%，UAV总能耗降低11.2%，续航余量提高9.92个百分点。组件消融显示，移除卫星支持、协作奖励和联合控制分别使平均评估回合回报降低55.10、107.27和161.45，表明各组件对复合目标均有贡献。

**3.2 PPO超参数优化实验**：全因子实验测试学习率（0.0001、0.0003）、折扣因子（0.99、0.995）和训练时间步（3600、7200、10800）。实验5（学习率0.0001、折扣因子0.995、7200时间步）获得最高平均回合回报23,561.21，标准差2.66，被选为候选配置。固定参数局部敏感性分析显示GAE λ、熵系数、批次大小、训练轮次和裁剪范围在测试范围内平均终端训练回合回报变化低于0.04%。

**3.3 跨场景实验验证**：在深圳、青岛、宁波的有利（白天晴朗）和恶劣（夜间多云）条件下，奖励轨迹在约1400–1420步后进入稳定阶段，有利和恶劣组平均总奖励分别为25,276.79和25,279.75，差异仅0.012%。动作幅度显示区域差异：从有利到恶劣条件，UAV高度归一化因子从0.3997降至0.3862，速度因子从0.3898升至0.4063，卫星扫描宽度因子从0.3181升至0.3227。任务级输出在相同区域内有利和恶劣条件下几乎一致，表明政策执行可重复，但简化环境对某些环境场敏感度有限。

**讨论**

讨论部分首先验证了关键机制的可行性：拉格朗日模型产生船舶和落水人员参考范围，SGP4模块识别三个候选卫星窗口，UAV模块保持载荷匹配、进近路径、聚类和圆形跟踪序列，所有输出支持模型级规划可行性，但未替代现场测量。模型边界包括漂移预测未考虑个体姿态、浮力辅助、暴露面积和完全时变强迫；SGP4用于筛选而非高精度采集调度；UAV阶段未明确模拟小型漂浮障碍物、降水、海雾、虚警和通信细节。参数选择为可行性导向设置，而非通用最优值。PPO优化机制表明，标准化比较中无单一控制器全面占优，PPO在复合目标下表现更好；组件消融明确卫星支持、协作奖励和联合控制对复合目标的贡献。超参数筛选和固定参数分析支持局部稳定性。地理环境适用性表明，六个场景中奖励轨迹稳定，动作幅度存在区域差异，但有利和恶劣条件间奖励几乎相等，反映简化环境对某些环境场敏感度有限，实验结果应解释为受控场景响应诊断而非恶劣天气鲁棒性证据。

**结论翻译**

本研究回应了大规模海上活动、持续航运事故和复杂海洋环境对海上搜救的持续需求。研究人员开发了一种基于PPO的海上移动目标空天协同跟踪方法。该框架保留了建模漂移区域生成、基于TLE的卫星筛选、规则化UAV-载荷匹配、大地线进近规划、DBSCAN任务构建、圆形搜索和跟踪计算，以及基于PPO的联合卫星和UAV动作建议的原始序列。仿真实验总结为三组：第一，可行性实验表明计算链能在所述假设下生成漂移参考区域、候选卫星窗口、UAV任务分配、进近路径以及搜索和跟踪参数；基于观测的漂流器评估进一步使用独立轨迹检查了漂移工作流程，附录A.1、A.2和A.4分别检验了卫星筛选范围、粒子数和强迫敏感性以及聚类参数。第二，标准化协作跟踪评估将PPO与DDPG、规则化和贪婪控制器进行了比较，并检验了三个组件消融。在五个独立训练种子上，PPO实现了平均评估回合回报956.06 ± 92.13和平均续航余量20.88%。相比DDPG，PPO将评估回合回报提高了11.9%，UAV总能耗降低了11.2%，续航余量提高了9.92个百分点。消融结果表明卫星支持、协作奖励和联合控制均对复合目标有贡献。初始参数筛选确定了候选配置，固定参数分析支持测试范围内的局部稳定性。第三，六个场景分析显示了稳定的奖励演变和评估区域间可测量的动作幅度差异。任务级输出在独立训练的PPO策略中可重复，尽管同一区域内有利和恶劣情况在多个指标上保持接近。总体而言，结果支持所提方法在评估设置下的模拟级可行性及其协调卫星和UAV行动的能力。未来研究将聚焦三个优先方向：首先，利用多源观测、校准飞行数据、现场知情标准和改进的探测几何，完善漂移、能量、感知和任务评估模型；其次，整合实时环境、卫星和通信数据，以增强条件响应耦合和动态策略更新；第三，研究目标识别模型和自适应资源协调，以改进空天协同监测输出的实际解析。