《Journal of Marine Science and Engineering》：A Review of Ship Path Planning for Autonomous Navigation: From Model-Driven Methods to Deep Reinforcement Learning
船舶路径规划是无人水面艇（USV）和海上自主水面船舶（MASS）自主导航中的核心挑战。它并非简单的路径最短问题，而是一个受约束的序贯决策过程，必须协调碰撞风险、航线效率、国际海上避碰规则（COLREGs）合规性、船舶动力学和环境不确定性。本研究在此通过一个基于规划范围、决策基础和部署需求的统一框架回顾该领域。研究人员审视了搜索与采样方法、几何与规则方法、优化方法、学习驱动方法以及混合方法，特别关注深度强化学习（DRL）在离散决策、连续机动、多船交互和安全导向控制中的应用。具有代表性的研究在目标与奖励设计、状态表示、探索与策略优化、规则整合、扰动建模、仿真平台和操作验证方面进行了比较。综合识别出持续性障碍，包括模糊的规则形式化、部分可观测性、船舶间的策略耦合、不一致的基准、有限的跨场景泛化能力以及不足的全尺度验证。研究人员进一步讨论了显式安全约束、数字孪生、迁移与元学习、世界模型、可扩展的多智能体协调以及大模型辅助任务推理等优先方向。研究人员认为，进展将较少依赖于算法的进一步增殖，而更多依赖于将数据驱动适应与基于模型的结构、标准化评估和分阶段现实保障相结合的集成化、可验证架构。
1. 引言
无人水面艇（USV）和海上自主水面船舶（MASS）正从实验平台向海洋监测、巡逻、运输、测量和应急响应中的操作化应用迈进。其价值不仅在于替换船上人员，更在于在危险和复杂环境中维持航行。这要求超出点对点导航的能力：自主船舶必须在不确定的海况和动态交通下持续平衡安全性、航线效率、法规合规性和机动性。协调这些耦合且有时相互冲突的目标是自主导航的核心挑战。
船舶路径规划因此从根本上不同于地面机器人的路径搜索。可航行水域受到海岸线、浅水区、礁石、航道和港口基础设施的约束，而船舶的惯性、欠驱动和延迟转向可能使几何上无碰撞的路径在动力学上不可行。其他船舶也是交互智能体，而非被动障碍物：其行为反映了航行意图、机动能力以及由国际海上避碰规则（COLREGs）定义的责任。风、浪、流、传感误差和通信延迟进一步复杂化了状态估计和运动预测。因此，船舶路径规划最好被表述为一个耦合空间可行性、碰撞风险、规则合规性和船舶动力学的受约束序贯决策问题。
方法已相应地从静态路径搜索演进到动态避碰、连续机动、多船交互和系统层面的安全保障。搜索、采样、几何和优化方法仍然有价值，因为它们提供了显式结构和可解释的约束，而深度强化学习（DRL）可以表示难以解析建模的高维状态和复杂交互。这些范式正越来越多地被结合，而非视为替代品：电子航海图、碰撞风险度量、COLREGs、船舶动力学和优化约束被嵌入学习系统，作为路径先验、状态特征、奖励项、动作约束和安全过滤器。因此，新兴方向是耦合基于模型的知识、交互学习和可验证安全的混合决策。
现有方法可沿两个互补维度组织：决策基础和规划范围。相应地，它们分为五大类：搜索与采样方法、几何与规则方法、优化方法、学习驱动方法以及混合或分层方法。图1将这些类别映射到“全局路径规划-局部机动”和“显式模型-交互学习”的轴上，而表1总结了它们的功能、优势和适用性。这些类别是互补而非互斥的。搜索和采样方法主要支持全局路径生成；几何和规则方法提供快速风险评估和法规执行；优化方法显式处理动态和多目标约束；学习方法应对高维状态和复杂交互；混合框架结合了适应性与更强的安全保障。
规划方法的演进反映了研究问题本身的更广泛转变。如图2所示，早期工作强调已知静态环境中的可达性和路径长度，而后来的研究聚焦于动态障碍物和实时避碰。后续框架纳入了船舶动力学、COLREGs、环境扰动和多船交互。更近期的研究转向了部分可观测性、模型失配、跨场景泛化、可解释性、安全验证和实船部署。评估因此已从路径长度和计算时间扩展到安全裕度、规则合规性、机动可行性、能效、鲁棒性和部署就绪度。核心挑战不再是简单地生成一条可行路径，而是在现实海上交通条件下维持安全、合规、可执行和可验证的决策。
现有综述已从多个方向审视了船舶路径规划。广泛综述对USV自主性、路径规划架构和避碰系统进行了分类。其他综述比较了搜索、采样、优化和局部规划算法，或聚焦于避碰、COLREGs合规性、多船协调和基于机器学习的决策。这些研究奠定了宝贵基础，但仍存在三个差距。首先，全局路径规划、局部避碰、轨迹生成和运动控制常被孤立地审查，导致其功能层次和模块接口不清晰。其次，基于模型和基于学习的方法常使用不同的船舶模型、交通场景和指标进行评估，限制了有意义的比较。第三，与部署相关的问题——包括现实世界数据、仿真平台、数字孪生、Sim-to-Real迁移、全尺度试验和安全验证——在文献中仍分散。因此，一个连接算法设计、基于场景的评估和工程部署的统一框架仍然缺乏。
在此，船舶路径规划被视为连接感知、航行决策、轨迹生成和控制执行的中间决策层。综述涵盖已知环境中的全局路径生成、动态交通中的局部重规划和避碰，以及当轨迹生成直接与规划耦合时的内容。纯粹的路径跟踪控制器（既不更新路径也不做出避碰决策）不在主要范围之内。分析聚焦于四个问题：如何表示海洋环境，如何生成规划决策，如何纳入船舶动力学和航行规则，以及方法如何从基于仿真的验证推进到海上可靠操作。
本综述开发了一个统一框架，按规划范围和决策基础组织船舶路径规划方法，阐明了基于模型、学习驱动和混合方法的作用与互补性。研究人员在目标设计、状态表示、策略优化、规则整合、环境不确定性、验证平台和操作设置方面比较了具有代表性的研究，并识别出对性能和可部署性影响最大的设计选择。分析进一步揭示了规则形式化、多船交互、标准化评估、跨场景泛化、决策可信度和全尺度验证中的持续性障碍，并概述了逆强化学习、博弈论推理、数字孪生、迁移与元学习、世界模型和安全混合规划等新兴方向。
本综述的其余部分组织如下：第2节将当前工作与先前综述进行定位；第3节介绍文献选择方法、自主性级别和船舶路径规划的公式化；第4节回顾基于模型的先验与约束、基于价值和演员-评论家方法、多智能体学习和混合DRL框架；第5节讨论关键设计选择、未解决的挑战和工程部署；第6节总结本综述。
2. 相关工作
船舶路径规划综述已从以算法为中心的分类扩展到对自主航运安全、可靠性和技术发展的更广泛评估。Chaal等[25]从风险、安全和可靠性角度绘制了自主船舶研究图谱。Li等[26]审视了2015至2022年间MASS风险和可靠性研究的主题结构，而Xue等[27]分析了自主航运安全中的机器学习发展。这些文献计量研究揭示了主要研究社区和主题趋势，但对路径规划机制、约束处理和算法性能的比较有限。
除了文献计量映射，以方法为中心的综述在规划范围、方法论重点、对航行规则和船舶动力学的处理以及对操作验证的关注上存在显著差异。早期综述强调智能避碰和传统规划算法，而后期综述审视了协作决策、机器学习方法和基于DRL的避碰。表2比较了这些维度的代表性综述，并阐明了本研究的额外范围。比较是定性的，反映了每篇综述的主要重点，而非个别主题的单纯出现。
比较表明，之前的综述在传统规划、避碰、协作导航和基于学习的决策等个别领域提供了坚实基础。然而，它们通常未能在同一分析框架内连接全局路径生成、局部机动、基于模型的约束、DRL和多智能体强化学习（MARL）、标准化评估和部署保障。本综述通过联合审视方法论范式、跨领域设计选择、验证设置和可靠现实世界操作的要求，解决了这一差距。
图3显示了2010至2026年综述文献的年度分布。2020年后出版活动显著增加，从2021年的10篇到2022年的13篇、2023年的18篇和2024年的24篇，随后2025年为23篇，反映了对基于学习的避碰、多船交互、泛化和面向部署的导航日益增长的关注。
第二组综述聚焦于特定操作条件。Enevoldsen等[28]审视了自主渡轮和港口巴士，强调了避碰、搁浅预防和法规合规性的耦合。Ding等[29]回顾了雾中的感知退化、风险评估和避碰决策，而Jovanovi?等[30]调查了自主航运中的使能技术和研究空白。这些研究展示了船舶类型、环境和任务剖面影响，但其场景特定范围限制了对公海、港口、内河航道和密集交通的跨场景比较。
操作现实性也使测试和验证成为核心关切。除了路径长度、计算时间和碰撞次数，自主船舶规划器必须评估COLREGs合规性、航行可接受性、感知鲁棒性和对不确定性的韧性。Hagen等[31]提出了评估安全性和法规合规性的框架，Clement等[32]引入了混合导航安全性和可接受性的仿真器，Vekinis和Perantonis[33]开发了COLREGs合规的USV导航和海上目标检测环境。Raza等[34]进一步提出了集成数字孪生架构。这些研究将评估转向系统级验证，尽管船舶模型、交通生成、扰动、规则评估和指标上的差异仍阻碍可重复比较。
图4显示了出版场所的跨学科分布。《Ocean Engineering》贡献最大，其次是《Journal of Marine Science and Engineering》、会议论文集和预印本平台。其余研究涵盖人工智能、机器人学、控制、交通和海洋工程，反映了算法、法规和操作视角的融合。
多船交互将双边避碰扩展到耦合决策，因为机动责任、协调动作和政策响应是相互依赖的。此类问题通常被公式化为使用通信、共享奖励或博弈论结构的多智能体决策过程。Wei和Kuo[35]开发了COLREGs合规的多智能体避碰，Niu等[36]从多船交互数据中学习协调策略，Verma和Samvedi[37]考虑了混合交通中的协作避碰。一般性研究通过博弈论和多智能体强化学习审视了竞争、合作和均衡行为，而海事应用已采用多智能体强化学习进行协作避碰和路径跟踪。然而，大多数方法仍聚焦于局部冲突解决，而全局路径一致性、异质行为、可扩展协调和责任转移仍未被充分解决。
一个平行的方向将规划从运动生成提升到语义推理和任务解释。大语言模型（LLMs）可能将自然语言目标、海事知识和导航规则翻译成结构化建议。Pei等[40]评估了LLMs的船舶操作知识，Sanchez-Heres等[41]审视了COLREGs解释，Christensen等[42]开发了对话式任务规划和执行，Agyei等[43,44]探索了COLREGs引导和风险感知的决策支持，Din等[45]将LLM应用于USV任务规划。在实际自主导航架构中，LLMs最可信的近期角色是低频语义任务，包括任务意图解释、COLREGs解释、任务分解、操作员交互以及为传统规划器生成结构化建议。它们不应直接发出舵、推力或紧急避碰命令，因为其输出可能受到幻觉、提示与上下文敏感性、不完整或过时信息、非确定性、推理延迟以及缺乏形式化动态可行性和安全保障的影响。因此，可部署架构应将LLM定位为已验证规划器之上的监督语义层：其输出应限于结构化和可审计的建议，基于已验证的导航规则和操作信息，并在执行前由确定性规划、船舶动力学和独立安全过滤器模块检查。不确定、冲突或过时的输出应被拒绝，而低层规划器和安全控制器保留最终权限。相关的延迟和回退要求在第5.3节进一步讨论。
行为可接受性和可解释性也变得越来越重要。Higaki和Hashimoto[46]使用生成对抗模仿学习来复现专家型轨迹，Zheng等[47]将规则引导与基于视觉的监督学习相结合，Rong等[48]引入类人注意力以优先关注高风险船舶和区域。其他工作将隐含的人类偏好纳入多智能体策略微调，并使用子任务价值分解和策略可视化来解释避碰行为。这些方法将评估扩展到海事实践一致性和可理解性，但类人性仍难以定义、收集和验证，且事后解释未必意味着更安全的决策。
部署进一步要求超出训练分布的泛化能力。Wang等[51]使用知识转移实现更高效和更安全的避碰，而Jiang等[52]将元强化学习应用于未知流下的适应。数字孪生连接预测模型、仿真和操作数据，用于态势感知和安全导航，监督学习已与数字孪生环境结合以生成代表性规划数据。这些发展将评估从固定仿真器扩展到跨船舶、航道和扰动机制的鲁棒性。然而，分布偏移、仿真器偏差和使用实船数据的闭环适应很少被量化，凸显了对可重复Sim-to-Real基准的需求。
规划安全也受限于感知。传感器噪声、遮挡、漏检和部分可观测性扭曲了风险估计和运动预测。Larsen等[56]将风险感知卷积感知与DRL结合，Lee等[57]评估了传感器噪声下的反应式避碰，Fan等[58]使用记忆用于有限知识下的COLREGs合规决策，Wu等[59]开发了风险感知的无地图导航，Jin等[60]将预测性避碰与扰动感知控制结合。这些研究强调了不确定性、记忆和风险表示的重要性，尽管大多数依赖于预定义噪声模型，并忽略了相关误差、突然机动和长期风险积累。
规划日益嵌入任务和控制架构。Jin等[61]将多任务强化学习应用于环境扰动下的编队控制，Wang等[62]解决了杂乱环境中移动目标包围问题，Zhang等[63]开发了基于DRL的多USV任务规划，Yin和Xiang[64]联合公式化了目标分配和路径规划。Tao等[65]进一步集成了制导、预期性避碰和运动控制。这些研究将路径规划定位为耦合到任务管理、协同控制和船舶动力学的决策层，而非孤立的路径优化器。然而，这些层之间的接口以及从任务目标到可执行动作的可解释安全约束的传播仍不够标准化。
近期研究还涉及复杂水域中的MASS避碰、IALA海上浮标系统下的导航、受限水域中基于PPO的决策、多障碍船间的实时避碰以及有限感知下的多USV规划。它们共同确认，船舶路径规划不再是孤立的路径生成问题，而是一个涵盖环境建模、规则表示、交互式决策、控制执行和验证的系统级挑战。与孤立审查避碰、强化学习或特定操作场景的综述不同，本综述连接了方法论范式、设计选择、应用环境和部署障碍，以识别规划方法如何演进以及可靠自主导航所需的条件。
3. 审查和评估现有方法的框架
本综述并非孤立地编目算法，而是通过三个互补视角评估船舶路径规划方法：文献选择、自主性级别和问题公式化。文献选择定义了证据基础的范围和可重复性；自主性级别阐明了分配给规划器的责任；问题公式化提供了评估安全、法规合规性、动态可行性、实时性能、鲁棒性和部署就绪度的共同维度。
3.1 文献选择的方法论
在Web of Science Core Collection、Scopus和Google Scholar中搜索了2010至2026年的出版物。搜索结合了三组术语：水面船舶平台（ship、vessel、USV、ASV、MASS）、规划任务（path、route、trajectory planning、collision avoidance、obstacle avoidance）以及涵盖传统、基于优化、学习驱动和混合方法的方法论家族。
初始搜索返回约512条记录。重复记录主要通过匹配数字对象标识符（DOI）识别。当DOI信息不可用或不一致时，交叉检查标题、作者、出版年份和出版场所，随后对模糊记录进行手动验证。去除重复项并经过标题、摘要、关键词和全文筛选后，保留了112篇与船舶路径规划直接相关的研究。另外9篇出版物被纳入以建立关键算法的理论基础，最终形成121篇参考文献的语料库。研究质量根据方法论透明度、与船舶路径规划的相关性、实验场景和约束的清晰度、报告评估指标或验证证据的充分性以及出版状态进行定性评估。由于语料库涵盖异质研究类型和方法论范式，这些标准用于资格评估，而非计算数值质量分数。限于无关平台、感知、通信、孤立路径跟踪或任务管理（无显式规划组件）的研究被排除。表3总结了详细的纳入、排除和质量评估标准。
保留的研究按方法论范式、研究问题和验证设置进行分类。这种结构支持跨算法家族的比较，同时避免仅基于算法名称的分类。图5总结了从数据库检索和初步筛选到全文评估和最终分类的五阶段工作流程。
3.2 自主性级别
路径规划的角色强烈依赖于船舶自主性程度。如Felski和Zwolak[71]所总结，国际海事组织（IMO）框架根据人类在导航和控制中的参与程度对海上自主水面船舶进行分类，而挪威自主船舶论坛（NFAS）将自主性描述为权威从船上船员向船载系统逐步转移。尽管两种方案在细节上有所不同，但都意味着更高的自主性对船载系统的感知、规划、避碰和控制施加了更大的责任。
对于路径规划，自主性因此定义了决策支持与自主责任之间的边界。在1级和2级，规划器主要向船上船员或远程操作员提供路径建议、风险警告和避碰建议。因此，其输出必须可解释、可审计且易于覆盖。Ramos等[3]表明，自主避碰必须围绕人类监督、判断和接管行为进行设计，而Burmeister和Constapel[19]将形式化规则表示和法规可接受性识别为部署的先决条件。表4总结了路径规划在不同自主性级别下的角色和方法论要求。
在3级和4级，路径规划成为闭环决策模块，而非咨询工具。在没有连续人类干预的情况下，船舶必须集成电子航海图、船载感知、自动识别系统（AIS）数据和目标船舶状态，以实时更新全局路径、解决局部冲突、执行航行规则并评估轨迹可行性。Negenborn等[4]强调，部署不仅依赖于算法性能，还依赖于安全、责任、法规和系统集成。Alamoush和?l?er[5]同样表明，感知、决策、规划、控制和通信必须作为协调架构运行。高自主性规划器因此必须将实时避碰与法规一致性、鲁棒性、泛化能力和可验证安全相结合。
自主性级别因此为比较规划范式提供了有用基础。搜索和采样方法最自然地适用于全局参考路径生成，而几何和规则方法提供可解释的局部指导。优化方法支持在显式约束下的滚动时域轨迹生成，而学习驱动和混合方法更适合处理与3级和4级相关的交互式、不确定条件。然而，随着自主性增加，评估必须从路径长度、计算时间和避碰成功率扩展到人类接管、规则合规性、故障降级、验证程序和部署就绪度。
图6总结了这一转变。四层表示并非作为新的自主性分类提出；相反，它是基于IMO和NFAS自主性框架的作者开发综合。各层中路径规划的相应角色和评估要求进一步从本综述所审查的文献中总结。随着自主性增加，路径规划从以人为中心的导航支持转向系统级闭环决策，评估焦点从可解释性和干预便利性转向实时安全、法规合规性、鲁棒泛化和可验证部署。
3.3 船舶路径规划基础
环境表示决定了规划器能够感知、预测和约束的内容。静态可航行性由海岸线、水深、礁石、航道边界、限制区和基础设施定义，而动态交通则由周围船舶的位置、速度、航向和推断意图描述。几何和概率方法通过船舶领域、速度障碍物、互惠速度障碍物和基于采样的风险评估来表达碰撞风险。优化方法将安全裕度、路径效率、能量使用、平滑性和法规要求编码为目标或约束。学习方法则将本船状态、目标船舶信息、局部观测和交互历史映射到动作，行为通过奖励设计和嵌入规则先验来塑造。核心建模问题因此不仅是表示自由空间，而且是保留对于可靠决策所需的不确定性、交互结构和动态可行性。
安全是船舶路径规划的首要标准。常见的风险度量包括最近会遇距离（DCPA）和最近会遇时间（TCPA）、船舶领域和碰撞概率。Tam和Bucknall[76]建立了碰撞风险评估的早期框架，而Huang等[6]围绕运动预测、冲突检测和冲突解决组织了避碰。对于自主船舶，安全不仅限于避碰，还包括搁浅预防、航道和边界合规性以及排除出限制水域。一个可信的规划器还必须在不确定观测、模型误差和意外目标船舶机动下维持足够的安全裕度。
法规合规性进一步将海事规划与通用机器人避碰区分开来。国际海上避碰规则（COLREGs）在对遇、交叉和追越会遇中分配机动责任，约束船舶不仅是否行动，还包括何时、向哪个方向以及以多大幅度行动。Kuwata等[73]将COLREGs嵌入速度障碍物框架，提供了规则约束几何避碰的早期示例。Du等[77]为让路船开发了合规碰撞警报系统，而Wróbel等[10]强调了COLREGs许多条款的模糊性和上下文依赖性。因此，一个有效的计划必须不仅是无碰撞的：它必须产生及时、可观察且操作上可接受的机动，与形式化规则和既定海事实践一致。
船舶动力学最终决定了计划路径能否被执行。大惯性、欠驱动和水动力耦合可能使几何上可行的路径在动力学上无法实现。规划器因此必须考虑转弯半径、舵和速度限制、转向率约束以及控制连续性。Fossen[78]提供了海洋船舶建模和控制的理论基础。在此基础上，Tsolakis等[79]将交通规则纳入模型预测轨迹优化，而Vaaler等[17]使用预测性安全过滤器约束强化学习动作。这些研究强化了一个核心原则：对于高自主性船舶，规划、控制和安全验证不能独立设计。
不确定性进一步复杂化了这种耦合。船舶意图变化、风浪流扰动、传感器噪声和部分可观测性可能迅速使名义计划失效。基于模型的方法通过预测、滚动时域优化和鲁棒约束来应对这些影响，而基于学习的方法使用循环网络、记忆、注意力、域随机化和风险敏感目标来改进适应。Lee等[57]审视了不同传感器噪声水平下的反应式避碰。Fan等[58]引入了记忆增强的DRL用于有限环境知识，Wu等[59]为不确定和拥挤水域开发了风险感知的无地图导航。鲁棒规划因此不仅依赖于决策算法，还依赖于不确定性、时间上下文和风险如何在信息不完整下表示。
基于此公式化，研究人员沿六个维度评估船舶路径规划方法：安全性、效率、法规合规性、机动可行性、实时性能和鲁棒性。安全性涵盖碰撞、搁浅和边界违规风险；效率包括路径长度、旅行时间和能量消耗；法规合规性涉及COLREGs和本地航行规则；机动可行性反映曲率、速度变化和控制限制；实时性能衡量在线更新决策的能力；鲁棒性捕捉对传感器误差、行为不确定性和环境扰动的敏感性。第4节审视不同方法论范式如何满足这些要求，而第5节比较其设计权衡和部署就绪度。
图7总结了这一问题结构。环境观测、船舶状态以及任务和法规约束提供主要输入。全局规划、局部重规划和轨迹生成随后产生可执行参考，并根据上述六个评估维度进行评估。
4. 船舶路径规划：重点关注基于DRL的决策
船舶路径规划已从静态路径生成演进到动态避碰、规则合规机动和多船交互。这一转变将领域从纯基于模型的解决方案推进到结合结构化海事知识与数据驱动策略的决策框架。传统方法并未被深度强化学习（DRL）取代；相反，它们越来越多地提供先验、约束和安全机制，嵌入到基于学习的系统中。由此产生的方法论景观涵盖模型信息规划、基于价值的决策、策略优化、多智能体协调和安全导向的混合控制。
本节因此按现有方法在自主导航中的功能角色组织，而非按强化学习算法的历史发展。研究人员首先审视搜索、几何、规则和优化方法如何为DRL提供路径先验、风险表示和显式安全边界。然后回顾基于价值的方法用于离散规划决策，以及演员-评论家方法用于连续机动。最后讨论多智能体DRL用于耦合船舶交互，以及结合自适应策略与规则执行、预测性安全过滤器或基于模型控制的混合框架。图8总结了这些方法论家族及其在船舶路径规划管道中的角色之间的关系。
4.1 基于模型的方法作为规划先验和安全约束
随着船舶路径规划从静态路径规划扩展到动态避碰、法规合规性和闭环自主性，基于模型的方法已从独立规划器转变为基于学习系统中的结构组件。搜索和采样方法提供全局路径指导，几何方法编码相对运动风险，规则方法形式化COLREGs责任，优化方法通过滚动时域约束或安全过滤器强制动态可行性。因此，它们的角色越来越多地是塑造、约束和验证学习策略，而非替代它们。
在全局层面，搜索和采样方法利用电子航海图、海岸线、水深、限制水域和静态障碍物来生成低风险参考路径。Singh等[80]将动态障碍物和洋流成本纳入受约束A
*搜索，而Zhao等[81]在分层架构中分离了全局路径生成和局部避碰。在复杂交通中，这些方法的主要贡献因此不是独立解决整个导航问题，而是保持任务级一致性并为自适应局部策略提供稳定的空间先验。
在局部决策和执行层面，几何、规则和优化模型通常通过状态增强、奖励塑造、动作空间限制或策略后安全校正与DRL集成。人工势场编码目标吸引和障碍物排斥；速度障碍物、互惠速度障碍物和动态窗口方法识别不安全运动或限制可行动作；COLREGs模块施加会遇责任和优先机动方向。模型预测控制和预测性安全过滤器随后可以校正违反动态或安全约束的策略输出。这些组件减少了有效搜索空间，同时将海事知识、规则合规性和可行性直接嵌入决策过程。表5总结了基于模型组件在DRL辅助船舶路径规划中的主要功能。
在这种混合架构中，一个关键的接口问题是硬安全约束与上下文相关航行规则之间的潜在冲突。与碰撞、搁浅、限制水域、执行器限制和动态可行性相关的硬约束定义了物理可行动作集，而COLREGs规则13-15指定了该集合内通常优先的责任和机动方向。因此，这些要求应通过字典序和最小侵入性仲裁来处理，而非作为等权重奖励项。当存在动态可行且COLREGs合规的动作时，安全层应保留学习到的规则合规机动或选择最接近的可行替代方案。如果两个可行集因即将发生的碰撞或搁浅而变得不相交，安全层可暂时覆盖名义动作，最小化消除即时危险所需的偏差，并触发更高级别的重规划和会遇角色重新评估。这种紧急干预符合更广泛的COLREGs原则，即偏离名义责任可能为避让紧迫危险所必需，但不应成为规则感知规划的常规替代方案。如果即使硬约束也相互不可行，则控制器只能选择最小风险紧急动作，而非声称同时满足约束。
基于模型的先验可以提高样本效率、规则合规性和动作可行性，但动态窗口法（DWA）和预测性安全过滤器的可靠性仍取决于状态估计的准确性和及时性。相关传感器误差、延迟的AIS报告和临时目标遮挡可能偏移或扩大预测的不安全动作集，导致漏检危险或重复的假阳性干预。Wu等[16]和Vaaler等[17]的方法展示了动作空间限制和预测校正的价值，但未联合量化对所有三种不确定性源的鲁棒性。一个更稳健的接口应使用有界运动模型对延迟的AIS状态进行时间戳标记和传播，通过协方差感知或集合值估计表示相关传感不确定性，并为临时遮挡目标维护扩展可达集。为避免将每次不确定性增加都转化为紧急停止，监督器应结合校准的不确定性裕度、时间持久性或滞后性以及最小偏差动作校正。分级响应——航向调整、减速、局部重规划，仅在无可行安全动作时紧急停止——可以减少不必要的干预。评估应报告假阳性和漏检率、过滤器激活持续时间、紧急停止频率，以及在相关噪声、AIS延迟和遮挡下的最小间隔。
4.2 基于价值的DRL用于离散路径规划决策
基于价值的DRL非常适合离散规划决策，如选择航向变化、舵角级别、速度指令或局部航点。其显式的动作价值公式也便于与占用网格、碰撞风险图和COLREGs会遇分类集成。大多数海事应用基于深度Q网络（DQN），扩展包括Double DQN、Dueling DQN、优先级经验回放、参数噪声和学习环境模型，以改进价值估计、表示能力、探索和样本效率。
DQN使用神经网络近似状态-动作价值函数，并通过经验回放和独立目标网络稳定学习，如Mnih等[83]所引入。在船舶避碰中，状态通常结合本船运动、相对目标船舶状态、障碍物网格或局部风险图，而动作由离散航向或舵调整表示。时间差分目标为：
其中
是即时奖励，
是折扣因子，
表示目标网络参数。DQN损失函数为：
尽管DQN通过经验回放和目标网络稳定了离散价值学习，其性能仍对动作空间离散化和价值高估敏感。Double DQN通过将动作选择与目标评估解耦来缓解此偏差，而Dueling DQN将动作价值分解为状态价值和动作优势项。当许多动作具有相似后果时，这种分解特别有用，如在低风险、远程导航中。Woo和Kim[86]展示了Double和Dueling DQN在代表性USV会遇中的可行性。Xu等[87]将COLREGs约束嵌入离散避碰学习，而Gao等[88]将Dueling DQN与优先级经验回放结合用于AIS驱动的自主导航。相应的Double DQN目标和
