OceanPathRL：基于深度强化学习的自主电动船舶节能航线优化系统

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：OceanPathRL: Deep reinforcement learning-based energy-efficient route optimization system for autonomous electric vessels

　　

摘要 在复杂海洋环境中运行的自主电动船舶必须同时优化能源消耗、遵守法规要求，并实时协调多艘船舶，然而现有框架无法在一个统一的学习架构内解决这三个目标。本文提出OceanPathRL，一种面向自主电动船舶节能航路优化的深度强化学习新框架。我们提出一种分层多智能体强化学习架构，将Twin Delayed Deep Deterministic Policy Gradient（TD3，双延迟深度确定性策略梯度）与基于注意力的神经网络及符合COLREGs（国际海上避碰规则）的奖励函数相结合，以实现在动态海洋条件下（包括波浪能预测和光伏发电不确定性管理）的实时路径规划。该框架通过统一的奖励函数整合了COLREGs合规性、波浪能预测和光伏发电不确定性管理。在新加坡海事数据集和MarineCadastre AIS数据集这两个公开基准上的广泛评估表明，OceanPathRL相较于最先进方法实现了34.7%的能耗降低，同时保持99.2%的避碰成功率和98.0%的COLREGs合规率，涵盖对遇、交叉、追越和多船相遇场景。所提出的元学习迁移机制将适应新海洋环境的步骤减少了约72.8%，相较于传统训练实现了3.68倍的平均加速。这些结果表明OceanPathRL是下一代自主海事系统的一个实用且可扩展的解决方案，直接贡献于国际海事组织的脱碳目标，并推动该领域走向可部署、符合法规的自主导航。

引言 在严格的环境法规和2050年前减少50%温室气体排放的迫切需求驱动下，海事行业在向可持续和自主运营转型方面面临前所未有的挑战，这是国际海事组织所要求的[1]、[2]。IMO的第四次温室气体研究和2023年修订的GHG战略施加了具有约束力的脱碳里程碑，要求在2030年前将国际航运总排放量相对于2008年水平至少绝对减少20%，到2040年提高至至少70%，目标在接近2050年实现净零排放。这些法规要求从结构上加速了船队的电气化和智能自主导航技术的采用[1]、[3]。自主电动船舶代表了海事运输的范式转变，在环境关切方面提供了潜在解决方案，同时提升了运营效率和安全性[4]、[5]。然而，以动态海洋条件、法规约束和多船交互为特征的复杂海事环境，对自主导航系统构成了重大挑战[6]、[7]。这些挑战因电池电动推进系统有限的能源容量、船载光伏发电的间歇性，以及在变化的交通和天气条件下遵守《国际海上避碰规则》（COLREGs）的法律义务而进一步加剧[8]、[9]。

深度强化学习（DRL）的近期进展在解决各种领域的复杂控制问题方面展现了显著的成功[3]、[10]、[11]。DRL特别适合海事导航有三个根本原因。首先，它直接从高维传感器观测中学习策略，无需显式的流体动力学系统模型。其次，它通过同时编码能量、安全和法规目标的奖励塑形自然处理随机环境。第三，它可扩展到真实船舶操纵所需的连续动作空间，实现亚秒级的决策延迟，这是传统优化方法无法实现的。DRL在海事导航中的应用展现了令人信服的结果，特别是在避碰和路径规划场景中[12]、[13]。然而，现有方法主要集中在单目标优化上，忽视了电动船舶导航中能效、安全合规和运营约束之间的关键相互作用。

图1展示了拥挤海事环境中自主船舶导航的复杂性，凸显了对能够同时优化多个目标并遵守国际法规的智能决策系统的需求。

鉴于电池容量有限和需要扩展运营航程，自主船舶的能效尤为关键[14]、[15]。传统路径规划算法未能考虑受洋流、波浪条件和天气变化影响的动态能耗模式[8]、[16]。此外，太阳能光伏系统等可再生能源的整合引入了必须有效管理的额外不确定性[17]、[18]。这一挑战因需要遵守管辖海上交通规则和避碰程序的《国际海上避碰规则》（COLREGs）而进一步加剧[9]、[19]。

多智能体系统在海事环境中的出现要求多艘自主船舶之间进行协调决策[20]。现有方法通常依赖于存在可扩展性限制和单点故障风险的集中式控制架构[21]。此外，船舶类型的异质性、运营目标的差异以及通信约束为分布式协调带来了额外挑战[22]。

在这一背景下，OceanPathRL与现有基于DRL的海事导航系统的关键区别在于三个方面。首先，与之前关于多无人艇协同、符合COLREGs导航和多船避碰的工作不同（这些工作孤立地处理能量、法规合规或协调），OceanPathRL将三者整合在单一的分层奖励结构中。其次，与需要在部署到新海洋区域时进行完整环境重训练的长续航和路径规划DRL方法不同，OceanPathRL采用Model-Agnostic Meta-Learning（MAML，模型无关元学习）进行快速策略迁移。第三，基于注意力的多智能体协调协议显式建模了船舶之间的空间交互，并考虑了通信鲁棒性，弥补了现有基于模型和预测性避碰框架中的空白[8]、[20]、[21]、[22]、[23]、[24]、[25]。本文的主要贡献如下：

- 分层多智能体架构：我们提出了一种新型的分层强化学习框架，将导航问题分解为战略规划层和战术控制层，能够在维持个体运营目标的同时实现多艘自主船舶之间的高效协调。
- 能源感知奖励函数：我们开发了一种创新的奖励塑形机制，显式地纳入了能耗模型、可再生能源可用性和电池荷电状态约束，在能效和导航性能之间实现最佳平衡。
- 符合COLREGs的决策框架：我们通过约束感知的策略优化方法将法规合规性整合到学习过程中，确保遵守海事交通规则，同时保持运营灵活性。
- 可迁移策略学习：我们引入了一种元学习框架，能够快速适应新的海洋环境和船舶配置，相较于传统方法实现了约72.8%的适应步骤减少（3.68倍平均加速）。
- 综合验证：我们使用真实海事数据集和硬件在环仿真提供了广泛的实验验证，证明了在能效、安全性和计算效率等多项指标上的卓越性能。

本文其余部分组织如下：第2节综述相关工作；第3节介绍提出的方法学和数学建模；第4节讨论结果和评估；第5节提供讨论；第6节总结全文。

片段章节 深度强化学习在海事导航中的应用 深度强化学习在海事导航中的应用在过去十年中有了显著发展。早期工作聚焦于简化的网格世界表示，逐步向能够更好地捕捉真实世界海事环境复杂性的连续状态-动作空间发展。Zhang等人[23]提出了一种使用分布式策略梯度的多无人艇协同框架，在目标围捕任务中取得了显著改进。他们的方法采用了一种

系统概述 OceanPathRL框架旨在解决以下核心问题：给定出发港、目的地航点和实时传感器观测流（包括船舶状态、海洋条件、邻近船舶位置、电池充电水平和太阳辐照），在每个时间步计算连续的推力和舵命令，以最小化航程的总能耗，同时实现无碰撞导航和高度的COLREGs合规性。

实验设置 我们使用两个公开的海事数据集评估OceanPathRL：新加坡海事数据集（SMD）和MarineCadastre的自动识别系统（AIS）数据集。这些数据集提供了全面的真实世界船舶轨迹、环境条件和运营特征，对验证自主导航系统至关重要。表1提供了这些数据集的详细特征，清晰地区分了观测值、插补值、标准化值和

讨论 实验结果表明，OceanPathRL在维持高安全标准的同时，在能效方面取得了显著改进。相较于基线方法34.7%的能耗降低代表了可观的运营成本节约和环境效益。这一改进归因于三种协作机制。首先，分层架构将长时程能量优化与短时程障碍物规避分离开来，防止了

结论 本文提出了OceanPathRL，一种用于节能自主船舶导航的综合深度强化学习框架。所解决的问题是在多船电动海事环境中联合优化能耗、避碰和COLREGs法规合规性，这是一个先前工作仅孤立处理的挑战。通过整合分层TD3规划、基于注意力的多智能体协调和太阳能感知能量奖励

CRediT作者贡献声明 Jing Yang：撰写—初稿，方法论，概念化。Wei Zhang：撰写—审阅与编辑，资源，方法论。Yingzhi Zhu：可视化，验证，软件。Rongjun Pan：调查，正式分析，数据管理。Lip Yee Por：监督，项目管理，资金获取。

数据可用性 新加坡海事数据集公开获取地址为 https://sites.google.com/site/dilipprasad/home/singapore-maritime-dataset。MarineCadastre AIS数据公开获取地址为 https://marinecadastre.gov/ais/。ERA5气象数据可通过哥白尼气候数据存储获取，地址为 https://cds.climate.copernicus.eu/。NSRDB太阳辐照数据可在 https://nsrdb.nrel.gov/ 获取。源代码、训练模型权重和实验配置文件将在GitHub上发布。

利益冲突声明 作者未报告任何潜在的利益冲突。

Jing Yang | Wei Zhang | Yingzhi Zhu | Rongjun Pan | Lip Yee Por