先进的自主碰撞避免技术用于海上导航：一种结合船舶动力学和环境感知的强化学习方法

《TRANSPORTATION RESEARCH PART E-LOGISTICS AND TRANSPORTATION REVIEW》：Advanced autonomous collision avoidance for maritime navigation: A reinforcement learning approach with ship dynamics and environmental awareness

　　杨立超|刘静贤|周琴|刘钊|王玉娟|刘阳|李学蛟|李环环
武汉工业大学航海学院，中国武汉430063

摘要
自主避碰对于确保海上航行的安全与效率至关重要。然而，现有方法往往难以实现真实的机动性、强大的泛化能力以及符合《国际海上避碰规则公约》（COLREGs）的要求。为了解决这些挑战，本研究提出了一种基于强化学习（RL）的避碰框架，整合了三项关键创新。首先，设计了一个离散的动作空间，以准确捕捉实际海上操作中常用的舵控特性。该空间与机动建模组（MMG）模型相结合，确保生成的轨迹在动态上可行且在操作上具有现实性。其次，开发了一个多维奖励函数，综合考虑了碰撞风险、目标距离、航行效率、操作舒适度以及合规性。此外，还引入了视线（LOS）跟踪机制，根据动态路径要求稳定航向修正，显著提高了智能体的航向保持能力。最后，该框架采用多边形障碍物建模来更准确地表示复杂不规则的障碍物，并结合实际海床数据及多船相遇情况进行了严格验证，确保系统能够在不确定、多智能体和非合作环境中有效运行。所提出的模型采用相位策略梯度（PPG）算法在演员-评论家（AC）架构中进行训练，从而在不确定性环境下实现稳健的策略学习。仿真结果表明，该框架能够有效降低碰撞风险、保持稳定轨迹并遵守COLREGs，为下一代自主船舶导航提供了一种实用且可扩展的解决方案。

1. 引言
随着全球海上贸易的快速增长，航运业在自动化技术方面取得了显著进展（Li和Yang，2023；Luo等人，2023；Peng等人，2025）。这些发展大大减少了对人类决策的依赖，从而提高了运营的安全性和效率。尽管如此，海上事故仍然是一个持续存在的问题（Hong等人，2025；Yang等人，2025a）。人为错误仍是此类事件的主要原因，常常导致严重后果，包括人员伤亡、经济损失和环境污染（Yan等人，2023；Yang等人，2023）。这些事件阻碍了海上运输的可持续发展，凸显了传统以人为中心的导航系统的局限性。因此，开发自主且可靠的避碰系统已成为海事领域一个关键且紧迫的研究重点（Liu等人，2025）。
避碰决策是海上安全的核心，直接影响航行安全和运营效率。传统方法在结构化或低复杂度场景中有效，但在涉及多艘船舶交互和行为不确定的动态环境中存在显著局限。例如，A*和快速探索随机树（RRT）等图搜索算法通过构建拓扑图生成全局路径（Yang等人，2025a），但在动态环境中的适用性因环境建模的复杂性和实时性能不足而减弱（Liang等人，2021）。速度障碍物（VO）方法通过分析相对速度向量来降低碰撞风险，但其线性假设限制了对非线性船舶动态的适应性（Liu等人，2024a）。尽管非线性速度障碍物（NLVO）（Chen等人，2020b）和广义速度障碍物（GVO）（Chen等人，2020a）等改进提高了灵活性，但仍存在局部最优解、计算成本高和解决方案不确定性等问题。人工势场（APF）方法通过模拟吸引力和排斥力生成路径，但设计不当的势场常常导致局部最小值或振荡轨迹，限制了其在复杂海上环境中的适用性（Tang等人，2024）。同样，动态窗口方法（DWA）专注于局部轨迹优化，但在动态场景中计算负担重且鲁棒性有限（Song等人，2024）。总之，传统方法受到理想化环境建模、路径规划鲁棒性不足、对多船交互适应能力差以及不符合《国际海上避碰规则公约》的局限。
人工智能和机器学习的最新进展为避碰开辟了新的途径。监督学习方法通常依赖自动识别系统（AIS）数据或历史海上事故记录来训练预测船舶轨迹或评估碰撞风险的模型（Liang等人，2024；Wang等人，2025a；Liang等人，2025）。然而，这些方法严重依赖于高质量标记数据，而在实际海上场景中这类数据往往稀缺（Li等人，2023）。全面相遇数据的有限可用性限制了这些模型的泛化能力及其适应现实场景多样性的能力。
相比之下，强化学习（RL）为自主船舶避碰提供了有前景的替代方案。与监督学习不同，RL允许智能体通过与环境的直接交互来优化决策策略，无需大量先验数据（Heiberg等人，2022；Zhang等人，2024）。其状态、动作和奖励的框架使其特别适合处理动态和不确定的海上环境。
然而，将RL应用于海上导航面临若干具体挑战。首先，框架必须生成在动态上可行且在操作上实用的轨迹。常见的算法动作空间与实际海上操作之间存在关键脱节。许多最新方法倾向于输出连续控制指令，如精确的舵角（Zheng等人，2025）或目标航向角（Yao等人，2025；Zhu等人，2025）。使用目标航向角作为动作存在问题，因为它定义的是目标状态而非控制输入。这种方法常常忽略了船舶的复杂动态，假设低级控制器会执行指令。连续动作方法与海上实践和法规相冲突。人类操作员使用一组固定的离散舵指令。此外，COLREGs要求避碰动作足够明显且易于其他船舶识别。连续的微调无法满足这种可解释性要求（García Maza和Argüelles，2022）。在混合自主导航的不可避免的未来中，自主船舶与人类驾驶的船舶共存，这种模糊的动作可能会使人类船员困惑，导致响应不协调并增加碰撞风险。其次，奖励函数必须平衡多个竞争目标，如碰撞安全、航行效率和法规合规性。这些目标经常冲突，特别是在避碰后路径恢复方面。智能体不仅需要为安全而偏离路径，还需要在危险消除后高效稳定地返回原路径。最后，确保强大的泛化能力是实际部署的关键障碍。模型不仅需要在预定义场景中进行验证，还必须证明其对现实世界随机性的统计鲁棒性和对可能超出训练复杂性的复杂情况的适应性。
为了解决这些挑战，本研究提出了一种针对实际海上环境设计的先进RL基自主船舶避碰框架。主要贡献如下：
(1) 一个实用且可解释的机动集成框架。本研究提出了将离散动作空间与基于机动建模组（MMG）的运动模型相结合的框架。该框架直接解决了以算法为中心的连续控制与实际海上操作之间的脱节问题。与可能产生歧义的连续输出不同，离散动作空间旨在反映人类操作员使用的固定、可解释的舵指令。这种方法确保智能体的动作足够明显，符合COLREGs对可解释性的要求，提高了混合自主环境中的安全性。
(2) 一种新颖的奖励塑造机制，解决了避碰后路径恢复中的梯度冲突。虽然多维奖励函数很常见，但它们经常引入竞争目标——特别是为避碰而偏离与为路径跟踪而最小化横向误差之间的梯度冲突。为解决这一方法论问题，本研究将视线（LOS）引导机制直接引入强化学习奖励空间。通过数学上对齐智能体的优化梯度与动态LOS几何约束，该机制从根本上解决了这些内部奖励冲突，消除了避碰后轨迹恢复过程中常见的振荡行为。
(3) 一种用于量化海上RL中分布外（OOD）泛化的随机评估范式。超越标准的特定场景测试，本研究建立了一个稳健的泛化评估框架。该方法论的进步在于在危险密度和复杂性明显超出训练分布的随机环境中评估学习到的策略。通过结合实际海床约束和随机扰动，该范式提供了算法统计鲁棒性和实际泛化范围的量化验证，解决了基于RL的自主导航安全验证中的关键差距。
本文的其余部分安排如下：第2节提供了全面的文献综述，总结了船舶避碰方法的关键进展和局限性。第3节建立了理论基础，详细介绍了船舶动力系统和相遇场景，包括MMG运动模型、碰撞风险评估框架以及代表性的双船相遇场景。第4节介绍了针对船舶避碰的RL框架，概述了其架构和操作原理。第5节详细介绍了实验评估，涵盖了超参数配置、通过奖励曲线可视化的训练结果、在双船、多船及多障碍物场景中的基于仿真的验证，以及基于实际数据的验证，并总结了鲁棒性和泛化分析。第6节总结了本文的主要发现、意义和未来研究方向。

2. 文献综述
本研究根据方法论基础将船舶避碰决策方法分为两大类：传统方法和基于机器学习的方法。基于机器学习的方法进一步分为监督学习和RL。

2.1. 传统避碰方法
传统的船舶避碰方法主要包括启发式图搜索算法和基于几何的方法。启发式算法，如A*和RRT，被广泛用于海上路径规划（Yang等人，2025a）。这些方法依赖于离散化的地图表示，并经常通过最小航向变化（Liang等人，2021；He等人，2022）或Dubins路径（Zhang等人，2025）等策略进行增强，以考虑船舶的机动性。然而，图搜索算法通常假设先验的环境知识，并需要地图离散化。因此，尽管在静态环境中有效，但在多船相遇等高度动态场景中难以提供足够的实时性能。
其他基于几何的方法更常应用于动态环境，包括VO（Cho等人，2022）、APF（Tang等人，2024）和DWA（Guan和Wang，2023）。VO方法通过分析相对速度向量来降低碰撞风险（Wang等人，2020）。其主要局限性在于假设线性运动，这与实际船舶的非线性动态不符（Liu等人，2024a）。尽管存在NLVO（Chen等人，2020b）和GVO（Chen等人，2020a）等变体，但它们仍存在收敛到局部最优解和多船相遇时计算复杂度高的问题。APF算法通过模拟吸引力和排斥力生成路径（Tang等人，2024），尽管能够在一定程度上处理动态障碍物，但容易产生振荡轨迹并陷入局部最小值（Zhu等人，2023）。这种行为与船舶动态的物理约束不一致，限制了其适用性。DWA专注于在受限速度搜索空间内的局部轨迹优化（Chen等人，2023），也面临计算负担重和鲁棒性有限的挑战（Song等人，2024）。
总之，传统方法受到理想化环境建模、路径规划鲁棒性不足、对多船交互适应能力差以及不符合《国际海上避碰规则公约》的局限。这些限制阻碍了它们的实际应用，需要探索更具适应性和数据驱动的方法。

2.2. 基于机器学习的方法
随着计算机技术和人工智能的快速发展（Wang等人，2025c），机器学习在船舶避碰研究中的应用日益增多。当前该领域的机器学习方法通常分为监督学习和强化学习方法。
监督学习方法通常依赖标记数据（如AIS记录）来训练用于船舶机动识别或意图推断等任务的模型（Song等人，2022；Wang等人，2023）。然而，它们的性能高度依赖于高质量标记数据，而在接近碰撞或实际碰撞场景中这类数据往往稀缺（Li等人，2023）。尽管这些方法对风险评估很有价值，但它们不太适合自主导航所需的高维动态决策（Zhu等人，2024年）。因此，强化学习（RL）作为一种更有前景的替代方案应运而生（Wang等人，2024a；Yang等人，2024b）。RL使代理能够通过与环境的直接互动来学习最优的决策策略，而无需大量的先验数据。早期的应用使用了DQN，但由于AC方法（如Proximal Policy Optimization（PPO）、Deep Deterministic Policy Gradient（DDPG）和Soft Actor-Critic（SAC）在连续动作空间中的优越性能，该领域越来越多地采用这些方法。最近的RL应用在解决通用挑战方面取得了显著进展。为了提高生成轨迹在实践中的可行性，许多研究现在整合了先进的船舶动力学模型，如3-DOF模型（Yao等人，2025年）或复杂的MMG模型（Xie等人，2020年；Waltz和Okhrin，2023年；Waltz等人，2025年）。这些基于物理的模型通常与连续控制算法（如DDPG（Lou等人，2025年；Wang等人，2025b）或SAC（Waltz和Okhrin，2023年；Hart等人，2024年）结合使用，以输出精确的舵角或力。然而，这种连续动作空间的普遍使用与海上操作实践存在脱节。虽然这些算法理论上可以输出精确的角度，但它们并不符合人类操作员的导航方式。飞行员使用一组固定的、离散的舵指令。这种连续控制方法也与COLREGs（国际海上避碰规则）相冲突。规则16明确指出，每艘被指示远离另一艘船的船只都应尽可能提前并采取实质性行动以保持足够的安全距离（García Maza和Argüelles，2022年）。连续的、微小的调整不构成实质性行动，也无法让其他船只清楚地了解船只的避碰意图。这种意图的模糊性可能导致不安全的情况。在混合自主导航的未来，自主船只与人类驾驶的船只共存时（Kim等人，2022年；Liu等人，2024b），自主代理的连续微小调整可能会使人类海员感到困惑。这种困惑可能导致避碰动作不协调，从而增加碰撞风险。因此，训练一个掌握离散、实质性且人类可解释的机动动作的模型对于实际部署来说是一个重要的考虑因素。

同时，奖励函数已经发展以纳入COLREGs。一种常见的方法是将风险指数嵌入奖励函数中（Heiberg等人，2022年；Hart等人，2024年；Wang等人，2024b）。其他方法则整合了来自传统方法（如DWA（Qu等人，2025年）或VO（Lou等人，2024年；Yang等人，2024a）的指导，以塑造代理的行为并加速训练。面对多船相遇中COLREGs的模糊性，一些研究引入了博弈论（Xie等人，2020年）来模拟复杂的互动，尽管这可能会增加计算开销。还有一些研究使用世界模型（Zheng等人，2025年）、分层框架（Yu等人，2025年）或多代理方法（Zhang等人，2024年；Waltz等人，2025年）来管理复杂性。然而，这些解决方案引入了新的复杂性。例如，多目标奖励函数（Heiberg等人，2022年；Waltz等人，2025年）经常产生内部冲突。例如，对路径遵循的奖励（如最小化横向误差）与需要路径偏离的碰撞避免奖励直接对立。这种冲突通常无法解决，导致代理在避免后没有明确的激励来稳定和高效地恢复路径，从而导致轨迹振荡或次优的恢复路径。此外，这些先进框架的验证范式仍然不足。虽然一些工作使用真实数据（Hart等人，2024年）或在复杂场景中（Zheng等人，2025年）进行测试，但验证通常仅限于少数“干净”的、预定义的相遇情况（Heiberg等人，2022年；Lou等人，2025年）。系统的方法来测试对随机扰动的统计鲁棒性（Hart和Okhrin，2024年）以及扩展到超出训练分布的复杂性的能力明显缺失。如表1所示，当前的基于RL的方法虽然复杂，但在控制实用性、奖励平衡和真实泛化性的验证方面始终存在局限性。

表1. 基于RL的船舶碰撞避免方法比较。

| 参考文献 | 船舶类型 | 方法 | 船舶机动模型 | 动作空间 | 航向恢复机制 | 验证方法 |
|---------|---------|---------|---------|-----------|-----------|
| Waltz和Okhrin（2023） | 商船 | DQN | MMG | 离散舵增量（±5°） | 距离和航向奖励 | 比较（仅模拟） |
| Zheng等人（2023） | 无人水面船（USVs） | PPO | ? | 离散航向变化（±20°） | 密集航向奖励（有指导） | 全面（仅模拟） |
| Xue等人（2023） | 无人水面船（USVs） | PPO | ? | 离散转向方向 | 目标速度 | 比较（仅模拟） |
| Lou等人（2024） | 无人水面船（USVs） | DDPG | ? | 连续（线性和角速度） | 航向和距离奖励 | 全面（真实世界数据及鲁棒性分析） |
| Yang等人（2024a） | 无人水面船（USVs） | Dueling DQN | 3-DoF | 离散舵扭矩 | 距离和航向奖励 | 全面（模拟及鲁棒性分析） |
| Wang等人（2024b） | 无人水面船（USVs） | SAC | ? | 离散航向 | APF塑造及目标奖励 | 全面（真实世界数据及鲁棒性分析） |
| Hart等人（2024） | 商船 | LSTM + TD3L | LSTM + SAC | 欧拉和弹道方法 | 连续横向加速度/连续航向变化 | 左转惩罚及碰撞惩罚 | 全面（真实世界数据及鲁棒性分析） |
| Zhang等人（2024） | 无人水面船（USVs） | MAPPO | ? | 连续（速度、航向、角速度） | 任务分配奖励（距离/能量至目标） | 全面（地理数据及鲁棒性分析） |
| Pereira和Pinto（2024） | 无人水面船（USVs） | A2C + PPO | ? | 离散（线性和角速度） | 距离和航向奖励 | 全面（真实世界数据及鲁棒性分析） |
| Hart和Okhrin（2024） | 商船 | DDPG | MMG | 连续舵角 | 距离和航向奖励 | 全面（真实世界数据及鲁棒性分析） |
| Zheng等人（2025） | 商船 | WM-TSSRL | MMG | 离散舵角 | 距离和目标奖励 | 全面（模拟及鲁棒性分析） |
| Waltz等人（2025） | 商船 | LPP + SAC | MMG | 连续（舵和螺旋桨） | 路径跟随 | 全面（真实世界数据及鲁棒性分析） |
| Yu等人（2025） | 商船 | DQN | 3-DoF | 离散舵角 | 航向和距离奖励 | 全面（地理数据及鲁棒性分析） |
| Lou等人（2025） | 无人水面船（USVs） | DDPG | ? | 连续（航向和速度） | 航向和距离奖励 | 全面（真实世界数据及鲁棒性分析） |
| Yao等人（2025） | 无人水面船（USVs） | DDPG + TD3 | 3-DoF | 连续（纵摇加速度和偏航运动） | 达到目标的奖励 | 全面（真实世界数据及鲁棒性分析） |
| Wang等人（2025b） | 无人水面船（USVs） | DRQN | ? | 离散航向变化 | 距离奖励 | 全面（真实世界数据） |
| Zhu等人（2025） | 商船 | ID3QN | PID控制器 | 离散航向变化 | ? | 全面（仅模拟） |

**提出的方法** | 商船 | PPG | MMG | 离散舵角 | 基于LOS的奖励 | 全面（真实世界数据及鲁棒性分析） |

**注释：**
- 3-DoF：三自由度；MAPPO：多代理近端策略优化；A2C：优势演员-评论家；DRQN：深度循环Q网络；ID3QN：独立对决双深度Q网络；LPP：局部路径规划；WM-TSSRL：基于世界模型的树搜索安全强化学习。

**2.3. 研究空白**
文献回顾表明，自主船舶碰撞避免技术已经取得了进步。传统方法（如VO和DWA）现已扩展到多船场景的管理，RL在不确定环境中的适应性也得到了提高。人们也在不断努力将海事规则纳入决策框架中。这些发展标志着向更智能和上下文感知的导航系统的转变。然而，将这些理论进展转化为稳健、实用且可验证的实际海事应用仍然是一个挑战。基于这一分析，以下部分识别并讨论了这些先进方法中存在的三个具体空白：
(1) 当前用于自主船舶的连续控制方法主要采用以算法为中心的连续动作空间，这与海事操作实践的需求不符。这些方法生成微小、不断的舵调整，与COLREGs要求的早期和实质性机动相冲突，而COLREGs的设计旨在确保其他船只的可见性。在自主船舶和有人船员船舶共存的混合自主环境中，这种模糊的连续动作可能会使人类海员感到困惑，导致反应不协调和碰撞风险增加。缺乏一个整合离散的、符合操作现实的海事指令的框架，因为核心问题不是未能纳入船舶动力学，而是算法设计与实际操作需求之间的不匹配。
(2) 现有的避碰后路径恢复奖励函数设计通常涉及路径跟随目标（例如，减少横向误差）与碰撞避免要求（需要路径偏离）之间的冲突。平衡这些相互竞争的目标是一个公认的挑战，因为这种奖励结构产生的冲突梯度导致次优的恢复轨迹、路线偏离和潜在的振荡行为。当前设计没有明确指导代理在危险清除后如何安全高效地恢复原始路径，这突显了在解决奖励函数冲突以实现稳定避碰后恢复方面的空白。
(3) 当前的自主碰撞避免算法验证方法依赖于有限的、预定义的、干净的场景，忽略了真实世界海事环境的随机性。泛化和统计鲁棒性尚未得到充分解决，因为这些方法缺乏对随机扰动的测试，也无法验证在危险密度超出训练分布的场景中的性能。这种缺陷阻碍了在实际应用中可靠评估算法性能，因为核心限制在于现有验证方法无法捕捉到真实世界的复杂性。

这些识别出的空白表明需要一个RL框架，该框架将船舶机动物理与操作上实用的控制方法相一致。这样的框架还应确保稳定的避碰后路径恢复，并通过更全面的评估范式进行验证。解决这些挑战对于开发既满足理论安全标准又满足实际操作需求的碰撞避免系统是必要的，这将有助于可靠自主船舶的部署。

**3. 船舶动力系统和相遇场景**
**3.1. 船舶运动模型**
标准的3-DOF MMG模型用于数学描述船舶运动。如图1所示，船舶动力学建立在地球固定坐标系（O0-x0y0z0）和机体固定坐标系（o-xyz）上。船舶的状态由其位置、航向角Ψ、纵摇速度u、横摇速度vm和偏航率r表征。由于KVLCC2船舶的基本坐标变换和流体动力学方程已经确立，因此本节省略了标准的运动学推导。相反，直接与强化学习环境进行状态转换的MMG模型的核心控制方程在方程(1)中表达。

**下载：下载高分辨率图像（36KB）**
**下载：下载全尺寸图像**
图1. 船舶运动坐标系。

(1)m + mxu' - m + myvm
r - xGmr2 = XH + XR + XP
m + myvm' + m + mxur + xGmr' = YH + YR
IzG + xG2m + Jzr' + xGmvm' + ur = NH + NR

其中m表示船舶的质量，mx和my分别表示纵向和横向的附加质量。IzG是船舶关于其重心的转动惯量，Jz表示附加的转动惯量。xG表示船舶重心的纵向位置。X和Y是作用在纵向和横向的流体动力，下标H、R和P分别表示来自船体、舵和螺旋桨的贡献。NH和NR分别表示由船体和舵产生的偏航力矩。有关特定流体动力和力矩的全面理论推导以及KVLCC2船舶的标准系数，读者可以参考相关研究（Yasukawa和Yoshimura，2015年）。

**3.2. 导航风险评估模型**
在海上导航场景中准确量化风险是影响决策模型训练效果的关键因素。为此，采用了Yang等人（2025b）提出的复合船舶域模型作为风险量化框架。该模型在图2中定义了基于数据挖掘的两个椭圆形域：一个较大的外部风险监控域和一个较小的内部禁止域。定义这些域的参数在表2中列出。

**下载：下载高分辨率图像（103KB）**
**下载：下载全尺寸图像**
图2. 船舶碰撞风险计算过程。

表2. 域模型参数表。

| 域 | xc(L) | yc(L) | ra(L) | rb(L) |
|---------|------|------|------|
| 风险监控域 | -0.0356 | 20.0936 | 10.6147 | 91.9490 |
| 禁止域 | -0.0035 | -0.0356 | 10.4482 | 51.1192 |

风险量化过程如下：如果障碍物进入禁止域，则风险等级被赋予最大值1.0。相反，当障碍物在外部风险监控域内但仍在禁止域外时，计算一个综合的时空风险值。该值的范围是从0到1，结合了相遇的空间接近性和时间方面。由于这种时空风险模型的详细数学公式已在之前的工作中发表（Yang等人，2025b），本文将其作为基础组件使用。每个危险的结果值直接输入到RL代理的状态空间和奖励函数中。这种方法使本研究能够专注于RL决策框架，而不是重新推导风险模型本身。

**3.3. 典型船舶相遇场景**
COLREGs定义了三种基本的船舶相遇场景：迎面相遇、交叉相遇和超车场景。此外，COLREGs根据目标船舶的相对方位角指定了不同的碰撞避免责任，如图3所示。当目标船舶的相对方位角表示为θship时，相遇场景分类和相应的碰撞避免责任如下：
a) 迎面相遇：θship ∈ [-5°, 5°]，两艘船都应向右转以避免碰撞。
b) 交叉相遇：θship ∈ [-5°, -112.5°] ∪ [5°, 112.5°]。对于θship ∈ [-5°, -112.5°]，目标船舶位于本船的左舷（OS）。此时OS成为迎面船，目标船舶应向右转以避免碰撞。对于θship ∈ [5°, 112.5°]，目标船舶位于OS的右舷。操作系统（OS）将成为让路船，并应向右改变航向以避开目标船。c) 超车：当θship∈-112.5°,-180°∪112.5°,180°时，操作系统可以从左舷或右舷超车，同时保持安全距离。下载：下载高分辨率图像（127KB）下载：下载全尺寸图像图3. COLREGs遇到的情况：正面相遇、交叉相遇、超车。4. 用于船舶碰撞避免的强化学习框架4.1. 强化学习组件4.1.1. 状态空间状态空间是通过整合四个关键组件来构建的，以完全描述代理训练期间的海洋环境：操作系统、目标船、静态航行危险和目的地航点。状态向量正式定义为S=SA,SGoal,STS,SObsT，其中SA表示自主船的状态向量，SGoal代表目的地航点的状态向量，STS对应于目标船的状态向量，SObs描述了静态障碍物的状态向量。代理的状态向量SA是一个五维向量，包括船舶的运动状态，其数学公式在方程（2）中指定。(2)SA=u7m/s,vm0.7m/s,r0.0004rad/s,r′8×10-5rad/s2,δδmax，其中u表示代理的纵向速度（米/秒），vm表示横向速度（米/秒），r表示角速度（弧度/秒），r′表示角加速度（弧度/秒平方），δ是转向角度（弧度），δmax是最大转向角度（弧度）。状态向量SGoal是一个二维向量，包括代理到目的地航点的相对方位角和相对距离，如方程（3）所定义。(3)SGoal=βGπ,DGoalDmax，其中βG表示代理和目的地航点之间的相对方位角（弧度），DGoal表示代理到目的地航点的欧几里得距离（米）。目标船的状态向量表示为STS=STS1,STS2,?,STSnT，包括多个六维向量。每个向量STSi包括相对距离、相对方位角、相对航向角、速度和遭遇情况以及风险值，如方程（4）所定义。(4)STSi=DTSiDmax,βTSiπ,CTSiπ,VTSi7.0m/s,σi,SCRi，其中DTSi表示船舶i与代理之间的欧几里得距离（米），βTSi表示船舶i与代理之间的相对方位角（弧度），CTSi表示船舶i与代理之间的相对航向角（弧度），VTSi表示船舶i的速度（米/秒），σi表示两艘船的遭遇场景标识符。观察到的船舶的状态向量表示为SObs=SObs1,SObs2,?,SObsmT，包括多个三维向量。每个向量SObsj包括相对距离、相对方位角和风险值，如方程（5）所定义。(5)SObsj=DObsjDmax,βObsjπ,OCRj，其中DObsj表示固定障碍物j与代理之间的欧几里得距离（米），βObsj表示固定障碍物j与代理之间的相对方位角（弧度），OCRj表示来自固定障碍物j的碰撞风险值。为了确保强化学习框架的一致性和可扩展性，无论动态交通密度如何，神经网络都需要固定维度的输入。为了处理周围船舶和障碍物的数量变化，在所提出的状态公式中采用了“固定容量与危险优先级”机制。具体来说，在状态向量中定义了目标船（例如，Nmax = 5）和障碍物（Mmax = 6）的最大可观察容量。在每个决策步骤中，扫描所有附近的实体，并根据它们的接近度和碰撞风险进行排序。只有最危险的Nmax艘船和Mmax个障碍物的状态信息被输入到显式状态向量（STS和SObs）中。如果实际附近的实体数量少于最大容量，则状态向量中的剩余位置用虚拟变量（零填充）填充，将这些实体虚拟地置于代理的观察范围之外。通过这种结构设计，保证了状态空间维度的绝对恒定性，使得学习到的策略能够在不同的交通密度下无缝泛化，而无需不断调整网络架构。需要注意的是，在这种状态公式下应用强化学习的理论依据。在这项研究中，假设周围的目标船是非合作的；因此，它们的行动和状态转换被认为与代理船的行动无关。尽管标准的全交互式马尔可夫决策过程（MDP）框架可能只部分满足这些要求，但在MDP假设下仍然保持了数学上的有效性。通过在当前状态向量St中包含目标船的全面运动学参数（即相对距离、方位角、航向和速度），为代理提供了“足够的统计信息”来预测环境的未来状态，而无需历史轨迹数据。从代理的角度来看，这些非反应性船舶被视为具有确定性或有限随机转移概率的动态环境约束。这种将非合作船舶视为动态环境元素的确切状态假设在最近的基于强化学习的海上碰撞避免文献中被广泛采用并理论接受（Hart等人，2024年；Heiberg等人，2022年；Waltz和Okhrin，2023年）。4.1.2. 行动空间在海上实践中，舵角指令通常被赋予离散的整数值，范围在向左30°到向右30°之间。为了使代理的操作与这些导航惯例一致，行动空间被定义为一组离散整数，表示为A，如方程（6）所指定。这种离散行动空间反映了现实世界海上操作中普遍存在的舵控制特性。与MMG模型的集成确保了生成的轨迹与船舶在所有自由度上的机动性一致。这种集成提高了计划行动与实际船舶行为之间的一致性，从而提高了强化学习方法在海上导航中的操作可靠性和实际应用性。(6)A=-30°,-20°,-10°,-5°,0°,5°,10°,20°,30°值得注意的是，本研究中的行动空间有意仅关注舵角控制，不包括速度调整（例如，引擎电报指令）。这种建模选择基于海上实践和船舶动力学的两个主要考虑因素。首先，根据COLREGs规则8(c)，如果有足够的海域，仅改变航向可能是避免近距离情况的最有效行动，前提是这种改变是实质性的并且及时进行。其次，模拟使用了KVLCC2船舶模型，该模型代表具有巨大惯性的大型船舶。对于这样的大型船舶，改变速度（停止或减速）所需的响应时间和距离比改变航向要长得多。因此，在开阔水域的遭遇场景中，转向被普遍视为主要且最有效的碰撞避免动作。虽然技术上可以结合速度控制，但将强化学习代理的重点放在掌握离散的、实质性的转向动作上，确保了高效的学习过程，并与大型商业船舶在不受限制水域中的标准操作实践完全一致。4.1.3. 奖励函数奖励函数的设计是强化学习的一个关键组成部分，直接影响代理与环境互动的学习结果。奖励函数旨在使船舶代理掌握接近目标点、避免碰撞和恢复计划路径等行为。它包含了五个关键方面：距离、碰撞风险、视线引导、舒适度和遵守COLREGs。首先，设计了一个基于距离的奖励函数，以促进向目标点的进展。该函数由每个决策步骤之前和之后的目标位置距离差来确定。当代理到达目标点时，提供额外的奖励。距离奖励函数在方程（7）中指定。(7)Rdist,t=max0,DGoal,t-1-DGoal,t25.0+0.1,ifDGoal,t>dreach10,ifDGoal,t≤dreach，其中Rdist表示时间t时的距离奖励。DGoal,t表示时间步t时代理到目标点的欧几里得距离（米）。DGoal,t-1表示时间步t-1时代理到目标点的欧几里得距离（米）。dreach表示达到目标点的阈值，在本研究中设置为船舶长度的三倍。在这种公式中，参数，特别是缩放因子25和最大奖励阈值10，是通过空间规范化要求和理论强化学习原则的结合来确定的。首先，使用缩放因子25作为特定于环境的规范化常数。鉴于海上模拟的巨大空间维度（例如，到目标的距离可能达到数万米），单个离散时间步长内实现的原始欧几里得距离减少在数值上微不足道。如果直接输入网络，这些微小的值会导致梯度消失。通过初步的经验调整，确定了这个25的因子，以准确地将这些逐步的距离减少放大为数值上显著且可区分的奖励信号（通常缩放到[0,1]范围内）。因此，向代理提供了连续且可感知的朝向目的地的梯度。其次，最大奖励限制为10，作为奖励裁剪机制。在PPG等策略梯度方法中，爆炸性梯度可能会被触发，价值函数网络可能会因无限制的正奖励而变得不稳定，特别是当代理突然达到目标附近时。为了限制回报的方差，最大步骤奖励被限制在10，作为标准理论实践，从而在整个训练过程中确保稳定和单调的策略更新。碰撞惩罚Rcoll,t是基于量化风险模型制定的，旨在指导代理避免动态障碍物（如目标船）和静态危险。通过采用多源风险评估方法，实现了对周围航行风险的全面表示，该方法基于Yang等人（2025b）提出的异构风险量化框架。这种方法将各种航行风险源整合到一个统一的公式中，如方程（8）所定义。随后，碰撞惩罚作为聚合风险值的函数得出，如方程（9）所指定。(8)CR=1-∏i=1n1-cri，其中CR表示与代理在环境中的位置相关的多源航行风险值，cri表示第i个危险源贡献的风险，i=1,2,?,n。(9)Rcoll,t=-5.0,ifCR=1.0-min2.0,CR,ifCR<1.0为了确保代理严格遵守COLREGs，不仅仅惩罚碰撞是必要的；相反，必须在决策层面正式定义“违反规则的行为”。具体来说，COLREGs规则14（正面相遇情况）和规则15（交叉情况）的核心约束被明确整合到此框架中。在每个决策步骤t中，评估状态向量STS中每艘目标船i的遭遇情况标识符σi和最近接近点的时间（TCPAi）。根据当前相对几何形状适用的特定COLREGs规则，动态构建了一个“受限行动集”（表示为Arestricted）。由于本研究使用了离散行动空间$A$，可以通过将特定规则映射到禁止的转向指令来透明地定义规则违规。这些违反规则的行动集的正式定义和识别在表3中详细说明。当存在多艘船时，在评估过程中会迭代所有目标船。如果所选动作落在任何可能造成碰撞风险的目标船i的受限行动集（TCPAi>0）中，则正式识别规则违规。因此，基于规则的奖励（RCOLREGS,t）被系统地纳入学习过程中，其数学公式在方程（10）中提供。(10)RCOLREGS,t=-0.5,if?i∈1,2,?,nsuchthatat∈ArestrictediandTCPAi>00,otherwise表3. COLREGs规则的正式定义及其对应的受限行动集。COLREGs规则遭遇情况（σi）代理的责任正式定义的受限行动集（Arestricted）规则14正面相遇两艘船都应向右改变航向。{-30°,-20°,-10°,-5°}（任何左舷转向）规则15交叉（操作系统是让路方）操作系统应让开并避免前方交叉。{-30°,-20°,-10°,-5°}（任何左舷转向）规则17交叉（操作系统是直行方）操作系统应保持当前航向和速度。没有严格的即时方向惩罚；由碰撞风险CR和视线跟踪控制。通过这种公式，在规则决策层面确保了绝对的透明度。一旦选择了根据动态评估的COLREGs约束定义为违反规则的行动，代理就会受到系统性的惩罚，从而强制学习合规的避免策略。LOS算法是一种广泛应用于船舶导航和路径跟随任务的几何方法（He等人，2025年）。其主要目标是通过计算船舶当前位置和目标点之间的视线角度来确定期望的航向。这个航向作为参考，引导船舶沿直线或预定义的轨迹行驶。LOS算法以其简单性和直观的表述而著称，并且在需要自适应路径规划的动态环境中提供了可靠的性能。在这项研究中，通过最小化实际航向角与LOS角之间的偏差来实现路径跟随行为。如图4所示，LOS角定义为船舶当前航向与朝向LOS引导点的期望方位角之间的差异。角度ΨLOS是通过解决方程(11)获得的，其中使用了船舶和引导点的空间坐标来确定所需的角方向。这个计算出的角度作为控制动作的参考，使船舶能够跟随预定义的轨迹。

LOS跟踪误差奖励是基于LOS角制定的，旨在提高路径跟随性能。奖励函数的具体形式在方程(12)中给出。

LOS跟踪误差奖励RLOS,t的计算公式为：RLOS,t = -β1 * exp(-β2 * ΨLOS^2)，其中RLOS,t表示时间步t的LOS跟踪奖励。β1和β2是用于调节奖励的权重参数，分别设置为1和0.5。总奖励是作为加权和计算的，如方程(13)所示。

方程(13)中还定义了总奖励Rtoatl,t的计算公式：Rtoatl,t = Rdist,t * wdist,t + Rcoll,t * wcoll,t + RCOLREGS,t * wCOLREGS,t + RLOS,t * wLOS,t，其中wdist,t、wcoll,t、RCOLREGS,t、wLOS,t分别是时间步t的距离奖励、碰撞奖励、规则遵守奖励和LOS奖励的权重，其值分别为0.45、0.10、0.19和0.26。

方程(13)中定义的聚合奖励函数的内部一致性和可解释性得到了阐明。虽然各个组成部分（距离、风险、规则遵守和LOS）来源于不同的物理指标，但在聚合之前，它们被数学转换并标准化为无量纲的标量效用。例如，这些组成部分通过剪切机制和缩放因子（例如，在方程(7)和方程(10)中）被严格限制在可比较的数值范围内。此外，它们的内在大小通过超参数权重wdist、wcoll、wCOLREGS、wLOS进行平衡，以确保没有单一目标被无意中过度强调或忽视。此外，在MDP框架内，正奖励和负惩罚的混合被认为是一个基本且理论上合理的设计。这种双重结构通过“胡萝卜加大棒”的机制增强了可解释性：正奖励（距离和LOS跟踪）作为激励，有效地驱动代理向目的地前进，而负惩罚（碰撞风险和COLREGs违规）作为严格的边界约束，阻止不安全或不符合规定的行为。通过加权求和将这些不同的操作要求转化为一个统一的、一维的效用梯度，该梯度由策略梯度算法进行稳健优化。

这种特定的权重配置不是依赖于临时的经验值，而是在初步实验阶段通过系统的网格搜索调整程序确定的。为了识别最稳健的配置，对100个随机化的多船舶验证场景中的不同权重组合进行了严格的评估。配置是根据三个评估指标来评判的：(1) 成功率（无碰撞或超时达到目标的场景百分比），(2) 碰撞率（导致碰撞的场景百分比），以及 (3) 规则遵守率（严格遵循COLREGs的成功避让操作百分比）。表4展示了这些评估配置的一个代表性子集。

表4. 不同奖励权重配置的系统比较。

从表4的结果可以看出，所选择的权重配置实现了优越性，因为它获得了最高的成功率，同时保持了极低的碰撞率。这种特定配置的合理性在于各个奖励组分的数学大小。碰撞权重(wcoll,t)被故意设置得较低（0.10），因为在高风险情况下，风险函数CR的非线性缩放和Rcoll,t惩罚提供了巨大的惩罚（-5.0）。如果分配更高的权重（如配置B），会导致奖励的极端稀疏，从而阻止目标的实现。与导航相关的奖励(wdist,t和wLOS,t)被赋予最高的权重，合计为0.71，以确保向目标的强劲和持续的推进。最后，COLREGs权重(wCOLREGS,t=0.19)被精确调整，以足够强地执行合规操作，而不会压倒主要的导航任务。

4.2. 基于PPG的自主导航与决策制定
4.2.1. 网络结构
提出了一种基于PPG算法的神经网络架构，用于动态环境中的船舶自主避碰。该架构采用AC框架来优化策略函数和价值函数。网络包括一个共享特征提取模块、一个策略网络（Actor）、一个价值网络（Critic）以及一个特定于PPG算法的辅助价值网络（Aux Critic）。整体结构如图5所示。

4.2.2. 策略优化框架
在训练过程中，网络参数（θp、θv和θaux）被初始化，然后使用Adam优化器开始优化过程。训练期间策略阶段和辅助阶段之间进行迭代交替。由于PPG是一个成熟的算法，因此这里省略了标准的数学推导，包括广义优势估计（GAE）和剪切的替代目标；相反，详细的算法实现和基础证明参考了相关研究（Cobbe等人，2021年）的工作。

在策略阶段，通过网络参数的最小化来更新损失L。PPG剪切策略损失（Lpolicy）、价值函数损失（Lvalue）和熵正则化项（Lentropy）被整合到总损失中，以防止过早收敛到次优策略。策略阶段的总损失在方程(14)中数学表达为：L = Lpolicy + cvf * Lentropy + cvf * Lvalue，其中cent是熵正则化项的系数，用于调整熵损失对整体训练目标的影响。此外，cvf代表价值损失系数，决定了价值函数错误对代理试图最小化的总损失的相对贡献。

在辅助阶段，通过实施克隆和价值蒸馏技术来提高样本效率，并优化组合总损失，其数学公式在方程(15)中给出。

4.2.3. 训练过程设计
为了系统地实施PPG算法并有效地适应自主船舶避碰训练，第4.2.2节中详细介绍的优化方法被正式化为一个结构化的算法程序。这种形式化旨在提高策略优化过程的可复制性和效率。训练过程在策略阶段和辅助阶段之间迭代交替，同时整合了与船舶避碰相关的决策制定元素，如基于COLREGs的行动选择约束和导航情况评估。该训练过程的详细信息在表5中概述。强化学习算法的超参数设置如下：

| 超参数 | 值 |
|----------------------------------|----------------------------------------|
| 总时间步数 | 6×10^8 |
| 学习率（α） | 4×10^-4 |
| 并行环境数量 | 4 |
| 每个策略周期的环境步数 | 256 |
| 折现因子（γ） | 0.98 |
| GAE参数（λ） | 0.95 |
| 小批量大小 | 8 |
| 剪裁参数（εp） | 0.2 |
| 熵正则化系数（cent） | 0.15 |
| 价值损失系数（cvf） | 0.5 |
| 策略更新次数（Niteration） | 32 |
| 辅助更新周期数（Eaux） | 6 |
| 行为克隆系数（βclone） | 1.0 |

此外，熵正则化系数（cent）被设置为0.15。在广阔的连续环境中，离散的舵角动作空间需要大量的探索才能发现符合COLREGs规则的路径。通过敏感性调整实验表明，当使用较低的值（例如cent < 0.05）时，智能体容易过早收敛，经常陷入次优的局部最小值（例如，一直直线行驶并发生碰撞，或者在原地旋转）。将cent设置为0.15可以在训练初期保证足够的探索，同时让策略随着训练的进行而逐渐稳定。其他参数，如剪切参数（εp = 0.2）和学习率（α=4×10^-4），其敏感性较低，在标准的PPO/PPG理论范围内也能实现稳定的收敛。

5.2 训练结果

为了验证所选算法的有效性和相对优势，将提出的PPG模型的训练性能与三种广泛采用的强化学习算法（PPO、SAC和DDPG）进行了基准测试。所有算法都在相同的模拟环境中训练了600万时间步。图6展示了每步奖励的演变及其平滑轨迹。

结果表明PPG算法具有明显的性能优势。PPG模型（用蓝线表示）收敛最快，并获得了最高且最稳定的最终奖励。其奖励曲线在最初的100万步内迅速从0.1上升到0.3。之后以较慢的速度继续提升，在100万到200万步之间达到0.35，最终稳定在约0.39。这一最终值显著优于所有基线方法。相比之下，基线算法的性能较差。PPO模型（用红线表示）和SAC模型（用紫色线表示）的收敛速度较慢，最终奖励值分别约为0.29和0.28。DDPG模型（用绿线表示）不仅平均奖励最低，而且表现出极端的不稳定性，在大约350万步时性能急剧下降。这一比较分析验证了选择PPG算法的合理性。其更快的收敛速度、更高的奖励上限和更稳定的训练性能使其非常适合优化自主船舶避碰所需的复杂多目标决策过程。

为了进一步展示智能体在训练过程中的智能行为，本研究选取了一个包含三艘目标船和一个静态障碍物的场景。评估了训练到第100万步、第200万步、第400万步和第600万步时的模型轨迹，结果如图7所示。此外，图8还展示了OS与其他物体之间的相对距离、导航风险以及舵角变化，以补充训练效果的展示。

图7. 不同训练阶段的轨迹比较。

训练了100万步的智能体未能表现出智能行为，对与目标船和障碍物的相遇表现出回避行为，导致其在初始位置不断绕圈。训练了200万步的智能体表现出初步的智能行为，最初向左转以避开目标船TS1的追击，但距离障碍物太近而未能到达目的地。训练了400万步的智能体成功到达了目的地并避开了障碍物，但执行了过多的避碰动作，导致目标船TS1在后期再次超越它，从而增加了最终的碰撞风险。训练了600万步的智能体表现出高度的智能行为，成功避开了所有四个导航危险，最终导航风险为零。值得注意的是，完全训练好的智能体在整个过程中显著减少了舵角指令的频率，仅通过有限的关键操作就成功避开了障碍物。

5.3 仿真验证

为了验证本研究提出的自主避碰决策模型训练方法的有效性，使用了经典的双船相遇场景、多船场景和多静态障碍物场景以及真实世界导航场景进行仿真验证。真实世界导航场景结合了实际多船相遇的水深数据和轨迹数据来模拟仿真环境，从而评估了模型的泛化能力。

5.3.1 典型相遇场景

COLREGs定义了三种主要的双船相遇场景：正面相撞、交叉相遇和超越相遇。在这些典型场景的测试中，目标船被配置为保持恒定的航向和速度，不执行任何避碰动作。这种设置旨在模拟真实导航中最危险的相遇情况，即目标船不遵守避碰规则进行协调操作。智能体和目标船的参数设置详见表7。

表7. 双船相遇场景的参数

| 场景 | OS | 目标船 | 航向（°） | 初始位置 |
|-----------------|---------------------------|-----------------|-----------------|
| 正面相撞 | 0 | (1297, 1.0, 848.5) | 180 | (1296, 4.0, 2407) |
| 交叉相遇 | 0 | (2407, 0.0, 1296) | 270 | (1256, 8.5, 752.5) |
| 超越相遇 | 0 | (1333, 6.0, 1619.5) | 0 | (864, 5.0, 1296) |

为了评估正面相撞场景中的性能，进行了对比仿真。图9展示了船舶轨迹，图10详细展示了各模型的航向变化。

图9. 正面相撞场景中的船舶轨迹。

图10. 不同算法在正面相撞场景中的航向变化。

提出的PPG模型表现出最有效且合规的性能。其轨迹（用蓝线表示）清晰地显示了向右的转向，严格遵循COLREGs规则。 accompanying course plot显示该操作执行得非常平稳，航向变化稳定可控。作为对比，SAC算法（用橙色虚线表示）在训练阶段的性能表现次之。尽管SAC模型也正确地向右转向，但其航向图（图10）显示出更多的波动，表明其航向控制不如PPG稳定。传统的APF方法（用黑色虚线表示）的轨迹非常不规则，航向控制极不稳定，其航向图中的变化频繁且剧烈。

消融研究清楚地揭示了框架各组成部分的重要性。PPG-no-COLREGS模型（用粉色虚线表示）缺乏基于规则的奖励，因此违反了COLREGs。在这种情况下，智能体向左转，这是对COLREGs的严重违反。虽然该模型并非在每个情况下都向左转，但其失败表明，如果没有明确的COLREGs奖励，智能体无法学习到一致且合规的行为。此外，PPG-no-LOS模型（用灰色实线表示）突显了视线跟踪机制的贡献。尽管避免了碰撞，但其轨迹明显不平滑。图10中的航向图显示了不规则的、阶梯状的变化，表明在避碰动作后难以保持稳定的航向。

PPG模型的成功性能还通过其指标得到了进一步验证。如图11中的相对指数图所示，相对距离从初始的23221.5米减少到第533步时的最小值约1918.5米。TCPA（时间到接近距离）在此时线性减小到接近0秒，接近速度从15米/秒变为负值，证实船舶正在相互远离。相应地，图12中的碰撞风险在步骤533左右达到约0.74的峰值，随后下降。这一结果表明风险得到了成功且可控的缓解。

图11. 正面相撞场景的相对指数。

图12. 正面相撞场景中的风险变化。

(2) 交叉相遇

在交叉相遇场景中，智能体船（OS）被指定为让路船。根据COLREGs，智能体有义务执行明确且及时的操作以避开目标船（TS）。图13展示了测试模型的性能对比，图13显示了船舶轨迹，图14详细展示了相应的航向变化。

图13. 交叉相遇场景中的船舶轨迹。

图14. 不同算法在交叉相遇场景中的航向变化。

提出的PPG模型（用蓝线表示）正确地执行了向右的大幅度转向，从目标船后方通过，完全符合COLREGs规则。图14中的相应航向图证实了这一操作平稳且可控，显示了明确的动作后稳定返回目标。SAC基线模型（用橙色虚线表示）也执行了合规的向右转向，但其轨迹效率较低。图14中的航向图显示出更明显的波动和不稳定，与PPG模型的稳定控制形成对比。传统的APF方法（用黑色虚线表示）再次显示出非常不规则的轨迹。其航向图中的变化非常剧烈，表明控制策略不稳定。

消融研究进一步验证了框架的设计。PPG-no-COLREGS模型（用粉色虚线表示）未能完成任务。尽管进行了初始转向，但智能体从未尝试重新接近目标。其轨迹偏离了预定路线，表明策略未能平衡避碰动作和主要导航目标。更严重的是，PPG-no-LOS模型（用灰色实线表示）在路径恢复过程中表现出显著的不稳定性。该模型在避开障碍物后采取了更宽且不直接的路径。图14中的航向图非常不规则，表明视线跟踪机制对于保持稳定航向至关重要。

图15和图16详细展示了PPG模型的性能指标。相对距离从初始的16775.1米减少到第425步时的最小值约3321.9米。接近速度在同一时间点降至0米/秒，确认船舶正在安全通过。相应地，图16中的碰撞风险在步骤403左右达到约0.78的峰值，随后迅速降至零。这一结果表明风险得到了成功且可控的缓解。

图15. 交叉相遇场景的相对指数。

图16. 交叉相遇场景中的风险变化。

(3) 超越相遇

超越相遇场景旨在评估智能体作为较快船舶时的性能，该智能体有义务安全地超越较慢的目标船TS。图17展示了模型执行的相对轨迹，图18详细展示了相应的航向变化。

图17. 超越相遇场景中的船舶轨迹。

图18. 不同算法在超越相遇场景中的航向变化。

提出的PPG模型（用蓝线表示）执行了平稳且高效的向右转向，保持了安全的超车距离。图18中对应的航线图显示出显著的稳定性，表明了机动过程中的逐步调整以及随后返回目标路径的过程。相比之下，由橙色虚线表示的SAC基线模型也完成了右侧超车，但其轨迹不够直接。图18中的航线图显示出了比PPG模型更频繁的调整和振荡，表明其控制稳定性较低。传统的APF方法，用黑色虚线表示，虽然成功通过了超车，但路径表现出极高的不规则性。这一点从其航线图中可以得到证实，该图显示了极端的急促和高频率的航向变化。消融研究再次提供了对模型组件的洞察。PPG-no-COLREGS模型，用粉色虚线表示，选择了左侧超车方式。尽管COLREGs允许在安全的情况下从任一侧超车，但所选择的路径明显效率较低，且路径弯曲度更大，这表明其策略不够最优。此外，PPG-no-LOS模型，用灰色实线表示，表现出明显的不稳定性，其轨迹不连续，图18中的航线图显示了不规则的、阶梯式的转向。这一结果进一步证明了LOS机制对于稳定路径跟踪和航线恢复的重要性。

图19和图20中成功PPG模型的指标分析证实了其受控的性能。图19显示，相对距离从最初的12276.2米减少到第652步时的最小值2285.2米。此时，TCPA变为负值，接近速度稳定在一个负值，表明超车是安全的。图20显示，碰撞风险在最接近点达到0.75，然后迅速下降。这一演变表明PPG代理在执行稳定、高效且合规的超车机动时能够有效管理风险。

5.3.2. 多船环境与障碍物
在典型的两船场景评估之后，环境复杂性被增加，以进一步验证模型在更苛刻情况下的决策能力。构建了一个高密度模拟环境，其中包含三个TS（船舶）和六个形状不规则的固定障碍物。该场景旨在严格测试代理同时应对动态和静态危险的能力。所有船舶和障碍物的具体初始参数详细列在表8和表9中。在这个高级测试中，进行了比较实验，将提出的PPG模型与SAC算法和传统的APF方法进行了基准测试。

表8. 多船环境中的船舶参数。
| 项目 | 课程（°） | 速度（kn） | 初始位置 |
|------------|---------|---------|--------------|
| OS | 12 | 1262 | (1262, 1276.3) |
| TS1 | 22 | 1225 | (2081, 2081.7) |
| TS2 | 34 | 12 | (1583, 2236.2) |
| TS3 | 33 | 12 | (1851, 3345.75) |
| ... | ... | ... | ... |

表9. 多船环境中的障碍物参数。
| 项目 | 形状 | 位置 |
|------------|---------|-------------|
| Obs1 | 七边形 | (1192, 1475) |
| Obs2 | 圆形 | (1887, 7576.3) |
| Obs3 | 三角形 | (1475, 1238.2) |
| Obs4 | 六边形 | (1979, 1614.3) |
| Obs5 | 矩形 | (1271, 1799) |
| Obs6 | 圆形 | (1674, 1993.7) |

图21中的结果显示了基线方法在这种高密度危险环境中的局限性。传统的APF方法，用黑色虚线表示，未能完成导航任务。其轨迹显示代理陷入了局部最小值，这是APF方法已知的问题。导航失败是由于Obs1、Obs3和TS3之间的相互作用产生的相互排斥力所致。因此，代理表现出不规则的振荡，无法找到通往目标的可行路径。

图21中用橙色虚线表示的SAC算法成功到达了目的地。然而，其性能被认为较差，这体现在导航路径的效率较低上。图21中的相应航线图显示了显著的不稳定振荡，表明航向控制不稳定。相比之下，用蓝色线表示的PPG模型在复杂场景中导航时表现出更高的稳定性和效率。OS执行了一个平滑的向右转动作，从TS2和TS3后方通过，然后在大约第300步时将航向调整到左侧，以避开Obs1。代理再次向左转，继续其航线，并依次安全地通过了Obs3和Obs6，最终到达目的地。这一场景提供了有力证据，表明所提出的方法可以在复杂的多船场景中保持COLREGs的合规性；因此，成功解决了碰撞避免责任动态变化的情况。如图21所示，TS2和TS3从右侧前方同时接近。OS没有被视为一般的障碍物避免问题，而是根据规则15（交叉情况）被正确识别为让路船。由于第4.1.3节中定义的受限动作集，避免了向左转，执行了一个合规的、连续的向右机动，从而从TS2和TS3后方通过。这表明COLREGs的约束不仅仅是为了基本的两船场景而记忆的，而是在高密度、多代理环境中动态评估并严格遵守的。这种控制稳定性的差异直接影响了导航风险，如图22所示。图22（b）中的PPG模型风险曲线显示了两个主要且管理良好的风险峰值。第一个峰值出现在第193步，与TS1、TS2和Obs2的相遇有关；第二个峰值出现在第778步，由于接近Obs5和Obs6。相比之下，图22（d）中的SAC模型风险曲线波动性更大。尽管SAC代理也避免了碰撞，但其不稳定的轨迹导致风险曲线特征为持续且剧烈的振荡。这种波动性是不可取的，因为它表明代理频繁进入和退出高风险状态，可能影响自主决策的可靠性和安全性。这一比较证实了PPG框架在导航复杂多危险环境中的性能提升，具有稳定的控制和更可预测的风险缓解能力。

5.3.3. 真实世界导航场景
为了进一步验证训练模型在实际导航中的有效性，本研究使用了真实的水深数据和多船相遇场景中的实际船舶轨迹数据进行模拟建模。水深数据和真实轨迹数据分别显示在图23（a）中。在导航环境建模过程中，水深小于5米的区域被指定为不可航行区域。此外，使用凸包算法处理这些不可航行水域，这些水域由不规则多边形表示。基于水深数据的虚拟环境模型显示在图23（b）中。船舶的初始状态和模型环境中障碍物多边形的顶点坐标分别详细列在表10和表11中。

图23（a）和图23（b）分别展示了相对数据和导航环境建模的情况。表10和表11详细列出了真实导航环境中的船舶参数和障碍物坐标。

为了进一步验证训练模型在实际导航中的有效性，本研究使用了真实的水深数据和多船相遇场景中的实际船舶轨迹数据进行模拟建模。图23（a）展示了水深数据和真实轨迹数据。在导航环境建模过程中，水深小于5米的区域被指定为不可航行区域。图23（b）显示了基于水深数据的虚拟环境模型。表10和表11分别详细列出了船舶的初始状态和模型环境中障碍物多边形的顶点坐标。

图24展示了提出的PPG模型在真实多船相遇场景中的稳健和稳定导航。OS最初采用了350度的航向，随后迅速调整到右侧，成功从目标船舶TS3和TS1后方通过。然后在大约第450步时执行了向左转，以恢复预定航线。在大约第800步时，OS成功导航了与TS2的最近相遇，并以稳定的航向继续前进。图24中的PPG模型航线图证实了这一机动过程中航向变化的平滑和果断性。

此外，这一真实世界场景进一步验证了该框架处理动态责任切换的能力。最初，OS假设了与紧密聚集的TS3和TS1相关的让路角色（规则15），并执行了一个果断的向右避让机动。随着场景的发展，在较晚阶段（大约第800步）接近TS2时，相对几何环境发生了根本性的变化。状态评估无缝更新，随后的相遇过程中没有触发任何违反规则的行动。通过这种连续、顺序地遵守COLREGs的行为，证实了规则约束深深嵌入了学习循环的决策过程中。相比之下，SAC基线模型（用粉色虚线表示）也达到了目的地，但其控制稳定性明显较低。其轨迹更加不规则，需要在初始危险物通过后进行非常大的向左转。图24中的SAC航线图显示了更大的振荡。这种行为在步骤600到1000之间尤为明显，表明其控制策略不够可靠和反应性较差。

图25中的风险曲线显示了PPG模型和SAC模型之间的差异。PPG模型的风险曲线（图25（b）显示了两个明显的风险峰值。第一个峰值出现在与TS1、TS2和Obs2的相遇时（第193步）；第二个峰值出现在第718步，由于接近Obs5和Obs6。相比之下，SAC模型的风险曲线（图25（d）波动性更大。尽管SAC代理也避免了碰撞，但其不稳定的轨迹导致风险曲线特征为持续且剧烈的振荡。这种波动性是不可取的，因为它表明代理频繁进入和退出高风险状态，可能影响自主决策的可靠性和安全性。这一比较证实了PPG框架在导航复杂多危险环境中的性能提升，具有稳定的控制和更可预测的风险缓解能力。

5.3.4. 稳健性和泛化分析
对提出的自主碰撞避免模型的稳定性和可靠性进行了系统评估，评估在复杂的动态环境中进行。该评估使用了一系列为稳健性和泛化分析设计的随机场景。与之前在特定参数场景中的验证不同，本节旨在通过引入随机扰动来统计评估模型的综合性能。这种方法允许更全面地检查模型的泛化能力和其在工程应用中的潜力。实验基于之前验证章节中的场景，并通过增加更多动态和静态障碍物来提高环境复杂性。首先，使用包含3个TS和3个障碍物的基础场景进行了稳健性测试。这一复杂度水平在模型的训练范围内。目的是测试模型在面对初始状态的随机扰动时的性能稳定性。其次，测试了模型对未知、更密集环境的泛化能力。构建了两个新的场景，复杂度超出了训练范围，包括一个包含4个TS和4个障碍物的场景，以及一个包含5个TS和5个障碍物的最大复杂度场景。PPG、SAC、PPO、DDPG和APF基线方法在这三个场景中各自独立测试了100次。在每次测试中，对OS的初始位置、航线和速度以及所有TS和障碍物的基线设置应用了小的随机扰动。核心评估指标是碰撞避免成功率和最大风险值。成功率定义为模型在100次测试中成功到达目标且未发生碰撞的百分比。最大风险值报告为每次成功测试中遇到的最高风险的平均值和标准差。该指标用于评估模型的风险控制水平和稳定性。不同复杂场景下所有算法的测试结果如表12所示。表12. 不同算法在随机场景中的性能比较。

算法 | TSs数 | 观测数 | 成功率（%） | 最大风险 | 成功率（%） | 最大风险 | 成功率（%） | 最大风险 | PPG |
|------|-------|--------|---------|---------|---------|---------|---------|---------|
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| | | | | | | | | |
| |