综述：船舶路径规划研究综述：融合深度强化学习与混合决策框架的约束序贯决策方法

《Coatings》：Correction: Tao et al. Simulated Performance of a Broadband Solar Absorber Composed of Sectioned Au Disk Structures and ZnS/Au Thin Layers. Coatings 2022, 12, 1863

　　

船舶路径规划是无人水面艇（USV）与海上自主水面船舶（MASS）自主导航领域的核心挑战，其本质并非单纯的最短路径问题，而是需协调碰撞风险、航路效率、国际海上避碰规则（COLREGs）合规性、船舶动力学特性与环境不确定性的约束序贯决策过程。研究人员通过基于规划范围、决策依据与部署需求的统一框架对该领域进行系统梳理，分析了基于搜索与采样的规划方法、几何与规则驱动方法、优化驱动方法、学习驱动方法及混合方法，重点探讨了深度强化学习（DRL）在离散决策、连续操纵、多船交互与安全导向控制中的应用。通过对代表性研究在目标与奖励设计、状态表征、探索与策略优化、规则嵌入、扰动建模、仿真平台及实船验证等维度的对比，研究人员指出当前研究存在规则形式化模糊、部分可观测性、船舶间策略耦合、基准不一致、跨场景泛化能力不足及全尺度验证缺乏等持续性障碍。进一步讨论了显式安全约束、数字孪生、迁移与元学习、世界模型、可扩展多智能体协同及大模型辅助任务推理等重点研究方向，认为未来进展将更依赖于融合数据驱动自适应与基于模型的结构化方法、标准化评估与分阶段实船保障的可验证集成架构，而非单纯算法层面的扩展。

1. 1.
   引言
   无人水面艇与海上自主水面船舶正从实验平台向海洋监测、巡逻、运输、测绘与应急响应等作业场景转化，其核心价值不仅在于替代船员，更在于在危险复杂环境下维持持续导航能力。船舶路径规划与地面机器人路径搜索存在本质差异：可航行水域受海岸线、浅滩、暗礁、航道与港口基础设施约束，船舶的大惯性、欠驱动与转向延迟特性使得几何无碰撞路径可能动态不可行；其他船舶并非被动障碍物，其行为受航行意图、操纵能力与COLREGs责任划分影响；风、浪、流、感知误差与通信延迟进一步加剧状态估计与运动预测复杂度。因此，船舶路径规划应被建模为耦合空间可行性、碰撞风险、规则合规性与船舶动力学的约束序贯决策问题。研究方法已从静态航路搜索演进为动态避碰、连续操纵、多船交互与系统级安全保障，基于搜索与采样的方法、几何与规则驱动方法、优化驱动方法、学习驱动方法及混合分层方法构成了五大类规划范式，其在全局航路规划-局部操纵与显式模型-交互学习维度上的分布特征反映了各自的功能倾向。研究演进历程显示，早期工作聚焦已知静态环境下的可达性与航路长度，后续研究逐步纳入船舶动力学、COLREGs、环境扰动与多船交互，近期则转向部分可观测性、模型失配、跨场景泛化、可解释性、安全验证与实船部署，评估指标也从路径长度与计算时间扩展至安全裕度、规则合规性、操纵可行性、能效、鲁棒性与部署就绪度。现有综述存在三方面不足：全局航路规划、局部避碰、轨迹生成与运动控制常被孤立分析，模块接口不清晰；基于模型与基于学习的方法采用不同船舶模型、交通场景与评估指标，可比性差；实船数据、仿真平台、数字孪生、仿真到实船（Sim-to-Real）迁移、全尺度试验与安全验证等部署相关问题分散于文献中。本综述将路径规划定位为连接感知、导航决策、轨迹生成与控制执行的中间决策层，重点分析海事环境表征、规划决策生成、船舶动力学与航行规则嵌入、从仿真验证到实船可靠运行的演进路径，通过统一框架整合方法范式、交叉设计选择、验证设置与工程部署需求。
2. 2.
   相关工作
   现有船舶路径规划综述已从算法分类向自主航运安全、可靠性与技术发展的综合评估扩展。文献计量研究揭示了核心研究群体与主题趋势，但对路径规划机制、约束处理与算法性能的比较分析不足。方法导向的综述在规划范围、方法侧重、航行规则与船舶动力学处理及实船验证关注方面存在差异，普遍未在同一分析框架内整合全局航路生成、局部操纵、基于模型的约束、深度强化学习（DRL）与多智能体强化学习（MARL）、标准化评估与部署保障。2010-2026年文献年度分布显示，2020年后相关研究呈显著增长趋势，反映了学界对学习型避碰、多船交互、泛化能力与部署导向导航的关注。特定作业场景的综述聚焦自主渡轮、雾天感知退化等方向，但场景特异性限制了跨开阔水域、港口、内河与密集交通场景的比较。验证评估已从路径长度、计算时间与碰撞次数向COLREGs合规性、航行可接受性、感知鲁棒性与不确定性韧性扩展，但船舶模型、交通生成、扰动建模、规则评估与指标的差异仍阻碍可复现比较。多船交互研究将双边避碰扩展为耦合决策，多采用多智能体决策过程、通信共享奖励或博弈论结构，但多数方法仍聚焦局部冲突消解，全局航路一致性、异构行为、可扩展协同与责任转移问题尚未得到充分解决。大语言模型（LLM）在语义推理与任务解释中的应用探索显示，其适合承担任务意图解析、COLREGs解释、任务分解、操作员交互与结构化建议生成等低频语义任务，不应直接输出舵令、推力或紧急避碰指令，需通过确定性规划、船舶动力学与独立安全过滤模块校验后执行，且需设置延迟与回退机制。行为可接受性与可解释性研究通过生成对抗模仿学习、规则引导视觉监督学习等方法提升决策与专家行为的一致性，但“类人”行为的定义、采集与验证仍存在困难，事后解释并不等同于决策安全性。部署泛化能力研究通过知识迁移、元强化学习、数字孪生等方法提升跨分布适应能力，但分布偏移、仿真偏差与基于实船数据的闭环自适应量化研究仍显不足。感知约束下的规划研究通过风险感知卷积感知、记忆增强DRL等方法处理传感器噪声、遮挡与部分可观测性，但多数研究依赖预定义噪声模型，忽略相关误差、突发操纵与长时域风险累积。规划与任务控制架构的融合研究显示，路径规划应作为耦合任务管理、协同控制与船舶动力学的决策层，而非孤立的航路优化器，但层间接口与从任务目标到可执行动作的可解释安全约束传播尚未标准化。
3. 3.
   现有方法的评估与综述框架
   本综述通过文献筛选、自主等级与问题建模三个互补视角评估船舶路径规划方法。文献筛选采用Web of Science核心合集、Scopus与Google Scholar数据库，检索2010-2026年相关文献，通过去重与标题、摘要、关键词及全文筛选，最终纳入121篇核心文献，分类依据为方法范式、研究问题与验证设置，确保证据基础的可复现性。自主等级基于国际海事组织（IMO）与挪威自主船舶论坛（NFAS）框架，将船舶自主等级划分为4级，明确路径规划从决策支持到闭环决策模块的角色转变：1-2级以人机协同为主，规划结果需具备可解释性与可干预性；3-4级为闭环决策，需实时融合电子海图、 onboard感知、自动识别系统（AIS）数据与目标船状态，更新全局航路、消解局部冲突、执行航行规则并评估轨迹可行性，评估指标需从航路长度、计算时间扩展至人工接管率、规则合规性、故障退化、验证流程与部署就绪度。船舶路径规划的基础建模涵盖环境表征、安全度量、规则合规、船舶动力学与不确定性处理：环境表征需整合静态可航行区域与动态交通参与者的状态与意图；安全度量以最近会遇距离（DCPA）、最近会遇时间（TCPA）、船舶领域与碰撞概率为核心；规则合规需嵌入COLREGs对对遇、交叉相遇与追越场景的责任划分；船舶动力学需考虑转向半径、舵角与航速限制、航向变化率约束与控制连续性；不确定性处理需融合模型预测、滚动时域优化、循环网络、记忆机制与风险敏感目标。评估维度包括安全性、效率、规则合规性、操纵可行性、实时性与鲁棒性，为方法比较提供统一基准。
4. 4.
   基于深度强化学习的船舶路径规划
   深度强化学习已成为船舶路径规划的核心技术，与基于模型的方法形成互补融合架构。基于模型的方法从独立规划器转变为学习系统的结构化组件：基于搜索与采样的方法生成全局参考航路，提供空间先验；几何方法编码相对运动风险；规则方法形式化COLREGs责任；优化方法通过滚动时域约束或安全过滤器强制执行动态可行性。混合架构中，模型组件通过状态增强、奖励塑形、动作空间约束或后策略安全校正与DRL集成，需通过词典式仲裁处理硬安全约束与COLREGs规则的潜在冲突：当动态可行且COLREGs合规的动作存在时，保留合规操纵；当可行集因 imminent碰撞或搁浅而互斥时，安全层可临时覆盖标称动作，最小化偏离以消解即时危险，并触发高层重规划与责任重评估。价值型DRL（如DQN、Double DQN、Dueling DQN）适合离散决策（如航向变化、舵角等级、航速指令），通过经验回放与目标网络稳定训练，结合速度障碍、COLREGs约束与循环记忆提升样本效率与规则合规性，但受限于动作离散化的分辨率-复杂度权衡，更适合作为分层架构中的高层决策模块。策略梯度与行动者-批评者DRL（如PPO、A3C、DDPG、TD3、SAC）直接优化连续操纵动作（如舵角、期望航向、推力），其中PPO因剪切更新机制训练稳定，易于集成规则奖励、风险特征与安全过滤器；TD3通过双批评家、延迟策略更新与目标策略平滑缓解DDPG的价值高估问题；SAC通过最大熵目标平衡探索与利用，适合不确定性环境。多智能体DRL（MADRL）解决多船交互的非平稳性、部分可观测性与协同一致性问题，集中训练分散执行（CTDE）成为主流范式，QMIX通过价值分解实现离散动作空间的协同决策，MADDPG与MATD3通过集中批评家与分散行动者处理连续控制问题，MAPPO将PPO的剪切更新扩展至多智能体场景。混合DRL架构将学习型策略的适应性与基于模型的模块的可解释性、安全性结合，通过规则模块、几何规划器、模型预测控制与安全过滤器施加显式边界，是当前工程化部署的主要方向。
5. 5.
   讨论与展望
   船舶路径规划正从孤立航路生成向耦合动态交通、航行规则、船舶动力学、不确定性与部署约束的系统级决策问题演进。交叉设计经验显示，规划目标已从单一航路长度与避碰扩展至包含安全裕度、COLREGs合规性、操纵平滑性、能效与任务效率的多目标优化；状态表征从紧凑相对运动变量向空间风险图、时序历史与多源感知（AIS、雷达、LiDAR、电子海图）融合演进；混合架构成为主流，基于模型的方法作为先验知识嵌入学习系统。实船部署的主要障碍包括：COLREGs中“及早”“大幅”“明显”等定性术语的形式化困难；多船交互中的策略耦合与意图不确定性；训练与运行间的分布偏移；评估基准不一致；端到端安全保证缺失。未来研究应聚焦三大方向：一是将安全保证从奖励设计中解耦，采用模型预测控制、控制屏障函数或预测安全过滤器对策略输出进行验证与修正，显式表达COLREGs责任、船舶领域、航行边界与动力学约束；二是建立标准化评估协议，统一实验配置（船舶动力学、感知与控制频率、观测与动作边界、奖励定义、训练预算）、场景覆盖（静态危险、COLREGs场景、密集交通、环境扰动、感知噪声、未见水域）、核心指标（成功率、碰撞率、搁浅率、COLREGs违规率、最小会遇距离、控制 effort、舵角方差、能耗、决策延迟）与统计报告（均值、离散度、置信区间、最坏情况）；三是推动多船规划从反应式避障向策略交互演进，结合多智能体强化学习、博弈论推理、意图预测与选择性通信实现协同决策，大语言模型仅承担语义层低频任务，需设置延迟阈值与过时输出丢弃机制，避免阻塞反应式避碰回路。未来进展将依赖于集成代表性数据、交互推理、显式约束、运行时保证与分阶段实船验证的规划系统，而非单纯算法变体的扩展。
6. 6.
   结论
   本文系统梳理了船舶路径规划从传统搜索、采样、几何与优化方法向深度强化学习与混合决策框架的演进历程。研究表明，DRL在 high维观测处理、连续控制与多船交互方面具有优势，而基于模型的方法在航路引导、规则集成、动态可行性与显式安全保证方面仍不可替代。实船部署受限于COLREGs语义模糊、泛化能力不足、评估设置不一致与可验证安全保证缺失等问题。未来研究应减少算法变体的开发，重点聚焦于学习型策略与显式约束的融合、标准化基准构建、数字孪生应用、可扩展多智能体协同与分阶段验证，通过集成化、可审计的架构弥合仿真性能与实船可靠自主导航间的差距。