《Journal of Marine Science and Engineering》：A Deep Reinforcement Learning Framework for Dynamic Routing of Distant-Water Squid-Jigging Vessels: PPO-Based Retrospective Simulation in the Peruvian Jumbo Flying Squid Fishery
编辑推荐：
摘要：远洋鱿钓作业需要在空间异质的渔业资源和海洋学条件下，持续进行平衡预期渔获收益与燃料消耗的航线决策。本研究针对秘鲁茎柔鱼渔业，提出了一种基于近端策略优化（Proximal Policy Optimization, PPO）的动态航线规划框架。该框架构建了一
摘要：远洋鱿钓作业需要在空间异质的渔业资源和海洋学条件下，持续进行平衡预期渔获收益与燃料消耗的航线决策。本研究针对秘鲁茎柔鱼渔业，提出了一种基于近端策略优化（Proximal Policy Optimization, PPO）的动态航线规划框架。该框架构建了一个数据驱动的网格化模拟器，整合了海洋学变量、历史渔场信息、波浪诱导燃料调整机制以及基于边际值定理（Marginal Value Theorem, MVT）启发的局部资源耗竭机制。航线规划任务被建模为具有增强状态空间的马尔可夫决策过程（Markov Decision Process, MDP），并设计了包含经济收益、历史渔场引导、波浪相关作业影响及作业低效惩罚的多组分奖励函数。研究采用船级交叉拟合方法以减少奖励环境构建与历史先验构建之间的数据复用，并在留出的2021年模拟环境中对策略进行回顾性评估。在三个独立训练随机种子下，PPO实现了257.42 ± 13.92 t的累积模拟渔获量、256.59 ± 7.83 t的累积燃料消耗量，以及129,376.80 ± 24,244.68美元的简化模拟营运利润。相对于预设的代表性历史轨迹回放基线，上述结果分别实现了13.77%的模拟渔获量提升、8.58%的模拟燃料消耗量降低，以及85.88%的模拟营运利润提升。额外的敏感性分析表明，在留出渔获场的中等扰动以及±20%鱿鱼和燃料价格变动条件下，定性的渔获–燃料–利润优势得以保持。研究结果表明，在所构建的回顾性模拟框架内，PPO能够提供更为有利且相对稳定的渔获–燃料–利润权衡方案。
论文解读
一、研究背景与问题提出
远洋渔业是全球食品供给体系的重要组成部分，然而其作业过程往往涉及复杂的航线选择问题。优化渔船航线规划已被认为是提高捕捞效率、降低作业成本的重要手段。然而，许多远洋船队的航线规划仍主要依赖船长的经验判断或企业既定惯例。在复杂多变的海洋学与气象条件下，这种经验驱动的方法可能无法持续产生有利的决策。
秘鲁外海海域蕴藏着丰富的茎柔鱼资源。该鱼种的栖息地分布对海洋学变量高度敏感，尤其是海表温度（Sea Surface Temperature, SST）和叶绿素a浓度（Chlorophyll-a, Chl-a），呈现出显著的空时动态特征。经验生态学研究表明，受气候和季节异常（如厄尔尼诺事件）驱动，秘鲁鱿鱼的最优渔场会发生显著的纬度迁移。鱿钓作业在该区域通常持续约八个月，由于资源极为丰富，常规捕捞强度不太可能引发船间直接竞争。更重要的是，由于渔场受环境波动控制，鱼群处于持续运动中，远洋渔船很少长期锚泊于固定区域，而是每12至24小时执行一次空间转移，高度依赖实时SST图追踪鱼群迁移。这些作业现实从根本上重新定义了优化目标：渔船航线规划并非竞争性资源争夺，而是一个高频、序贯的决策问题，目标是在复杂海况下穿越气象阻力、以最经济的航线进入高产区域、高效完成捕捞配额并最大化安全性与盈利能力。
既有研究中，进化优化方法（如基于遗传算法的混合方法和多目标进化算法）已应用于多目标渔获航线优化和多阶段动态决策。然而，当整个航次被预先编码为固定动作序列时，后续决策通常无法根据部署期间观测到的作业状态进行调整。强化学习虽已被引入船舶航线规划，但早期研究往往将海洋空间抽象为仅含有限节点的静态网络，对海洋学条件、燃料消耗和渔业资源反馈的表征相对简化。此外，以往研究常在区域尺度上将高渔业丰度近似为各局部网格内稳定或近乎无限的资源容量，但即使在秘鲁外海区域整体资源丰度较高的情况下，在单一0.25° × 0.25°网格内长期作业也可能改变局部聚集模式并导致收益递减。忽略这种局部捕捞反馈可能导致策略在有限的高产网格内停留过久，产生过于静态或短视的航线决策。
二、研究内容与意义
针对上述问题，本研究提出了一种基于近端策略优化（PPO）的远洋鱿钓船动态航线规划框架。PPO通过裁剪目标约束策略更新的幅度，降低过大更新导致的训练不稳定性，同时保留策略探索能力，适用于需要根据演化作业状态反复调整捕捞与移动决策的高维闭环航线规划任务。研究将历史渔场信息、海洋学变量、局部耗竭反馈、波浪相关燃料效应和长时程作业状态纳入增强状态马尔可夫决策过程（MDP），使渔船能够在局部捕捞与空间转移之间进行重复决策。研究论文发表在《Journal of Marine Science and Engineering》。
研究的主要工作包括三个方面：第一，构建了网格化模拟环境，整合海表温度、叶绿素a浓度、有效波高（VHM0）、洋流和测深等海洋学变量及历史渔场信息，引入波浪诱导燃料调整机制和基于边际值定理（MVT）启发的局部资源耗竭机制；第二，将航线规划任务建模为增强状态MDP，采用PPO学习状态依赖的动态航线策略；第三，在共同的留出2021年模拟环境中，将PPO与传统贪心基线、开环遗传算法基线和历史轨迹回放基线进行多随机种子比较评估，并开展奖励权重、渔获场扰动和价格变动的敏感性分析。
三、关键技术方法
研究采用了以下主要技术方法：一是构建数据驱动的网格化模拟环境，将2020年8月至11月的渔业日志记录与多维度海洋学参数在0.25° × 0.25°空间网格上进行聚合匹配，采用船级五折交叉拟合方法，将船队分为五个互斥折，其中一折用于构建训练环境的渔获场，其余四折用于构建历史经验先验，以减少奖励环境构建与历史先验构建之间的数据复用；二是将航线任务建模为增强状态MDP，状态向量包含202个维度，分为五组：37维当前状态变量、80维邻域网格变量、12维导航热点变量、9维上一动作独热编码和64维有限耗竭记忆变量；三是采用基于PPO的解耦Actor–Critic神经网络架构，Actor网络采用分层Softmax头分别估计捕捞与移动的概率及八方向移动的概率分布，Critic网络估计状态值函数；四是设计多组分奖励函数，包括渔获–燃料经济奖励、历史渔场引导奖励、波浪相关作业惩罚和作业低效惩罚，并设置航次终点的终端调整；五是采用多基线比较评估协议，包括确定性启发式贪心基线、开环遗传算法基线和历史轨迹回放基线，使用累积模拟渔获量、累积燃料消耗量和简化模拟营运利润三项指标进行评估。
四、研究结果
4.1 模型训练收敛性分析
通过记录三个独立随机种子下500个训练回合的回合回报轨迹，研究发现回合回报在训练初期为负值并快速上升，跨种子均值在初始探索阶段后转为正值，并持续增加至约第100至150回合。进入第250回合开始的稳定阶段后，平均回合回报保持在相对较高的正值范围内，训练过程中出现若干回合区间的暂时性下降但随后恢复。三个随机种子均完成了500回合训练且未出现持续性回报崩溃，但独立训练策略之间仍存在差异。
4.2 比较性能分析
在共同的留出年模拟环境中，PPO策略实现了257.42 ± 13.92 t的累积模拟渔获量，相对于历史轨迹回放基线的226.26 t提升了13.77%；PPO的累积燃料消耗量为256.59 ± 7.83 t，相对于历史轨迹回放基线的280.67 t降低了8.58%；PPO的简化模拟营运利润为129,376.80 ± 24,244.68美元，相对于历史轨迹回放基线的69,601.62美元提升了85.88%。贪心基线和遗传算法基线分别获得?25,325.80美元和?172,904.71 ± 16,133.20美元的负利润。在四种策略中，PPO获得了最高的平均累积模拟渔获量、最低的累积燃料消耗量和最高的简化模拟营运利润。
4.3 基线验证
遗传算法在三个独立优化种子下均在优化早期和中期阶段实现了显著的适应度提升，后期改进频率和幅度逐渐减小，最佳解分别在第61、79和74代达到。每个GA优化种子涉及3210个独特染色体评估，对应513.6万次模拟器交互步骤，而PPO一次500回合训练仅需约16万次训练环境步骤，即使计入内部验证回放，GA使用的模拟器交互预算约为PPO的17.8倍。五船历史轨迹回放面板分析显示，代表性轨迹的模拟渔获量为226.26 t，仅比五船均值208.06 t高出18.21 t，约为0.70个样本标准差，燃料消耗和营运利润也均处于面板观测范围内，支持其作为代表性历史参照的合理性。
4.4 消融与统计分析
消融实验结果显示，无历史先验的PPO变体平均累积模拟渔获量为213.43 t，比完整PPO均值257.42 t低17.09%，平均简化模拟营运利润为69,447.01美元，低46.32%，而平均燃料消耗仅从256.59 t略微变化至260.01 t。无局部耗竭的PPO变体平均渔获量为223.70 t，平均营运利润为86,297.76美元，分别比完整PPO低13.10%和33.30%，平均燃料消耗为255.65 t，与完整PPO接近。两个消融变体在渔获量和营运利润上的跨种子变异性均显著大于完整PPO。由于独立训练种子数量较少且变体方差较高，Welch检验未识别出完整PPO与各消融变体之间的统计显著差异。PPO与GA的多种子主比较中，三项指标均存在显著差异。
4.5 奖励权重敏感性分析
在渔获–燃料奖励权重比的三组设置中，基线比值9.0获得了最高的平均累积模拟渔获量和简化模拟营运利润。将比值降低至7.2导致平均渔获量和营运利润下降且跨种子变异性显著增大，而将比值提高至10.8产生的渔获量和营运利润与基线设置接近。燃料消耗在三种设置下保持相对接近。
4.6 先验–渔获空间关系与渔获场扰动敏感性分析
空间诊断显示，历史经验先验与隐藏渔获场之间的对应关系在留出的2021年环境中显著低于2020年交叉拟合开发环境。2020年五折中完整先验与隐藏渔获场的秩基Pearson相关系数为0.549 ± 0.034，前10%网格Jaccard重叠为0.154 ± 0.025；在2021年环境中对应值分别降至0.332和0.067。在10%和20%的网格级扰动下，PPO的平均渔获量保持率分别为99.83%和99.91%，燃料消耗保持在257 t附近，营运利润分别为128,723.98 ± 4,977.02美元和128,690.13 ± 10,912.38美元，且在两种扰动水平下均保持最高渔获量和营运利润及最低燃料消耗。
4.7 价格敏感性分析
在鱿鱼和燃料价格±20%变动的九种价格组合中，PPO在所有组合下均获得最高的平均简化模拟营运利润。在最不利的测试组合（鱿鱼1040美元/吨、燃料960美元/吨）下，PPO平均利润仍保持正值21,393.46 ± 21,869.57美元，而历史轨迹回放、贪心和GA基线均产生负利润。在最有利组合下，PPO平均利润增至237,360.14 ± 26,627.14美元。四种策略的平均营运利润排名在所有价格组合下保持不变。
五、讨论与结论总结
讨论部分指出，PPO策略在共同留出2021年回顾性模拟环境中取得了比三种比较策略更有利的渔获–燃料–利润权衡，反映了状态依赖决策在长航次中的重要性。贪心基线依赖人工指定的局部规则且不估计长期状态值，其较高燃料消耗表明局部移动决策未能持续产生足够的模拟渔获增益。遗传算法基线在开发环境中优化完整320步动作序列，但部署期间保持开环，无法根据新遇到的状态修改后续动作。消融结果提示历史渔场信息主要支持高产作业区域的识别而非直接降低航次燃料使用，局部耗竭反馈可能影响捕捞努力在时间和空间上的分配方式，但统计检验未识别出显著差异，应视为指示性模式而非确定性成分效应。奖励权重敏感性表明基线比值9.0在测试范围内提供了最高的平均渔获量和营运利润。空间诊断揭示了时间分割引入的先验与渔获场空间关系变化，而渔获场扰动分析进一步提供了比较结果的稳健性证据。价格敏感性分析表明基线价格下的经济排名在测试价格范围内保持不变。
研究结论为：本研究开发了基于PPO的深度强化学习框架，用于秘鲁茎柔鱼渔业中远洋鱿钓船的动态航线规划。在三个独立训练种子下，PPO策略实现了257.42 ± 13.92 t的累积模拟渔获量、256.59 ± 7.83 t的累积燃料消耗量和129,376.80 ± 24,244.68美元的简化模拟营运利润，相对于代表性历史轨迹回放基线分别实现了13.77%的渔获提升、8.58%的燃料降低和85.88%的营运利润提升。消融结果显示两个变体的平均渔获量和营运利润均较低但差异未达统计显著。额外分析支持所选历史参照的代表性，并表明主要比较模式在渔获场扰动和±20%价格变动下得以保持。研究结果证明了PPO深度强化学习在将渔业资源信息、海洋学条件和作业反馈整合到长时程渔船航线决策中的潜力，而跨更多年份和作业条件的更广泛验证仍是未来研究的重要方向。
