基于改进的PPO算法的无人机与水下无人艇协同避碰决策方法

《Ocean Engineering》：Decision-making for UAV–USV cooperative collision avoidance based on an improved PPO algorithm

　　•基于KL散度的回滚裁剪机制能够提升PPO策略更新的效果与样本效率。•跨模态注意力机制可将无人机图像与水下无人艇的LiDAR数据融合，从而减少多源感知中的空间差异。•多维度奖励函数综合考虑了避碰、海上避碰规则约束以及无人机与水下无人艇之间的协作误差。

引言
随着智能航运与海洋自主系统的发展，水下无人艇在海洋环境监测、海上搜救和水文勘测等领域展现出巨大应用潜力（Du等人，2022；Xie等人，2020）。对于水下无人艇的安全运行而言，自主导航与避碰功能离不开高精度的环境感知能力以及实时决策能力（Li等人，2025a；Xiang等人，2025）。传统的避碰算法往往存在路径规划效率低、泛化能力弱，以及难以适应复杂海洋环境等问题。此外，水下无人艇的 onboard感知能力也存在局限——由于LiDAR和摄像头等传感器的安装高度较低，在存在密集或间距较近的障碍物时，常常会出现视觉遮挡现象。同时，LiDAR信号衰减也会进一步降低对远处障碍物的检测能力（Villa等人，2020）。这些限制已成为阻碍水下无人艇自主避碰决策能力提升的关键瓶颈（Jin和Er，2022；Xu和Soares，2026；Zhang等人，2025）。

在水下无人艇避碰算法方面，传统方法仍存在诸多缺陷。A*算法（Richards等人，2019）在离散环境中生成最优路径的效果较好，但其较高的计算复杂度使其难以在动态的海洋环境中实现实时应用。RRT*算法（Zhang等人，2023a）虽具有概率完备性和渐进最优性，但生成的路径在动态场景中往往缺乏足够的平滑性与适应性。人工势场法（APF方法，Lee等人，2019）和动态窗口法（DWA，Wang等人，2025）因计算简单且实时性能较好而被广泛使用，但二者都容易陷入局部最优解。另外，速度障碍法（VO方法，Zheng等人，2024）通常需要较高的计算成本，难以满足复杂导航场景下的实时需求。总体而言，传统算法严重依赖人工设计的先验规则和固定模型参数，这使得它们在复杂且随时间变化的航行环境中，环境适应能力与泛化能力都较为有限。这些缺陷阻碍了水下无人艇在实际海洋环境下实现可靠的自主避碰功能。为克服这些限制，许多研究将传统避碰策略与智能优化算法相结合，以提升整体性能（Wang等人，2018）。有研究将A*算法与DWA结合，通过迭代优化航点并构建虚拟安全区域，实现了水下无人艇在复杂水域中的有效避障（Li等人，2024a）。还有研究采用粒子群优化对DWA进行改进，通过引入非线性递减的惯性权重与自适应学习因子，动态调整算法参数以缩短导航路径（Zhu等人，2021）。另有研究将Dijkstra算法与蚁群优化相结合，去除冗余路径节点，降低水下无人艇的实际导航成本。尽管这些混合方法已取得不错效果，但它们通常未能充分考虑海上避碰规则约束与环境干扰因素。

得益于人工智能的快速发展，深度强化学习因其强大的自主决策能力，被广泛应用于游戏玩乐、运动控制等各类决策任务中（Mnih等人，2015；Silver等人，2016）。作为一种端到端的决策范式，深度强化学习通过智能体与外部环境的持续交互来实现策略的学习与更新，因此能够很好地适应高度动态、不确定且复杂的场景。正因如此，深度强化学习逐渐成为水下无人艇自主避碰的重要技术手段（Shen等人，2019；Woo和Kim，2020；Wu等人，2020）。现有的深度强化学习方法大致可分为基于价值函数的方法与基于策略梯度的方法两类。基于价值函数的深度强化学习方法更适用于动作空间为离散值的任务（Guan等人，2023）。有研究采用Q学习算法实现水下无人艇在多种工况下的自主避碰，还有研究使用深度Q网络算法解决欠驱动水下无人艇的避碰问题（Cheng和Zhang，2018）。相比之下，基于策略梯度的深度强化学习方法在处理连续动作空间时更具优势（Xu等人，2022）。有研究通过引入优先级经验回放机制改进深度确定性策略梯度算法，该机制通过为采样经验动态分配权重，加快了模型收敛速度（Chun等人，2021）。还有研究通过加入碰撞风险评估模块对近端策略优化算法进行改进，从而为水下无人艇实现更安全、更合理的路径规划。奖励函数是影响深度强化学习模型训练效果与决策合理性的关键因素。有研究将人工势场法融入深度Q网络的奖励函数中，利用虚拟力场约束引导水下无人艇执行有效的避碰操作（Li等人，2021）。另有研究将互速度障碍模型嵌入PPO的奖励模块中，以提高水下无人艇在动态且复杂的海洋环境中的实时决策能力（Xue等人，2023）。同时，为符合海上航行规则并确保航行合规，现有研究还将海上避碰规则约束纳入奖励函数设计中（Lu，2025；Zhang等人，2023b）。还有研究基于部分可观测马尔可夫决策过程构建了水下无人艇的避碰决策模型，并引入符合海上避碰规则的奖励机制，以解决奖励信号稀疏的问题（Yao等人，2025）。另有研究将短距离连续时间约束纳入符合海上避碰规则的奖励函数中，从而实现水下无人艇的规则遵循型自主导航。

实际的海洋航行环境存在较强的干扰因素且信息具有部分可观测性。风、波浪、海流等环境干扰，再加上 onboard传感器的固有局限性，往往会导致环境感知不完整，进而使得水下无人艇的避碰决策出现偏差或无法达到最优效果。为解决环境观测数据不足的问题，现有研究将时间特征提取与强化学习相结合。循环神经网络被引入以克服静态特征提取的局限性，通过利用连续的环境观测数据实现有效的避障（Singla等人，2021；Hao等人，2024）。还有研究在PPO算法中将传统的多层感知器替换为门控循环单元作为特征提取网络，这一改进有效地捕捉了导航环境中的时间相关性与时序依赖关系，从而提升了模型的收敛稳定性与泛化能力。不过，尽管循环神经网络在时间特征建模方面表现良好，但其决策输出仍高度依赖于水下无人艇获取的环境感知数据。

在水下无人艇的环境感知方面，目前大多数系统主要依靠LiDAR来进行环境感知与障碍物检测。虽然基于LiDAR的感知方式能够在常规导航场景中实现可靠的避碰功能，但它也存在视野受限、易受障碍物遮挡，以及在复杂海洋环境干扰下性能下降等固有缺陷（Sun等人，2024；Xie等人，2024）。为弥补单一水面平台的感知能力不足，近期研究提出了无人机辅助的协同感知方案。无人机能够提供高空区域的观测数据以及更全面的环境信息，与水下无人艇的长续航能力相结合，有助于完成更为复杂的任务（Li等人，2024b）。这种空海跨域协作能够弥补单一平台在感知范围、任务效率与环境适应性方面的不足（Hu等人，2025；Qu等人，2025）。有研究利用无人机搭载的视觉图像帮助水下无人艇在导航过程中提升环境感知能力（Deng等人，2025）。还有研究利用无人机进行大范围的水面巡查，为水下无人艇的水面清洁作业及动态避障提供支持。不过，上述大多数研究都将无人机视为独立的外部感知单元，仅以单向方式传输环境信息，未能将多源感知数据深度整合到水下无人艇的决策与控制框架中。多模态特征融合技术的发展有助于克服单传感器系统的性能局限与感知瓶颈（Huang等人，2026；Wang等人，2023）。Wang等人（2023）基于无人机视觉信息构建了空海协同搜救框架，通过结合卷积神经网络与空间图结构来优化特征提取，从而提升了目标定位与环境感知的精度（Li等人，2025b）。还有研究采用堆叠式跨域自注意力层来增强视觉与LiDAR数据的感知能力，进而提升智能车辆的避碰决策性能（Cui等人，2025）。另有研究提出了基于Transformer的架构，用于实现LiDAR点云观测数据与离散导航状态信息的跨模态融合。尽管现有的多模态协同框架已取得一定进展，但在降低无人机与水下无人艇之间的协作误差的同时保持避碰策略的效率，仍是当前研究面临的重要挑战。

为解决上述问题，本文提出了一种基于PPO的无人机与水下无人艇协同避碰决策方法。本研究的主要贡献如下：
(1) 在PPO算法中采用KL散度作为裁剪触发准则，而非仅仅依赖概率比。此外还引入了回滚机制，对概率比施加更强约束，从而提升了PPO模型的训练稳定性与样本效率。
(2) 设计了一种跨模态交叉注意力融合机制，实现无人机视觉图像与水下无人艇LiDAR数据在特征层面的融合。消融实验表明，将融合后的跨模态特征作为深度强化学习的输入，能够有效提升避碰决策的性能。
(3) 为自主导航与避碰任务设计了面向任务的奖励函数，同时加入了协作误差项，以进一步提升水下无人艇的航行安全性，并促进其遵循海上避碰规则开展避碰行为。

本文的其余结构如下：第二节介绍相关基础知识，第三节详细阐述所提出的方法，第四节为实验部分，第五节为结论。

片段摘录
无人机-水下无人艇的数学模型
为准确描述无人机与水下无人艇的运动特性，如图1所示，建立了协同参考坐标系，其中OG?XGYGZG、Oa?XaYaZa和Os?XsYsZs分别代表世界坐标系、无人机机体固定坐标系以及水下无人艇船体固定坐标系。无人机与水下无人艇的数学模型如下：
{max¨a=T(sinψasin?a+cosψasinθacos?a)?kdxx˙amay¨a=T(sinψasinθacos?a?cosψasin?a+)?kdyy˙amaz¨a=Tcosθacos?a?mag?kdzz˙aIax?¨a=τ??

改进后的PPO算法
PPO是一种基于策略的深度强化学习算法，其核心特点在于引入了裁剪机制，用于限制过度的策略更新，从而控制参数更新步长并维持训练稳定性。在本研究中，对原始PPO算法的裁剪机制进行了两项改进。首先，将裁剪触发准则从概率比阈值违反改为KL散度阈值违反，这种方式能够提供更……

仿真设计
为验证所提出方法的有效性，本文设计并开展了多组包含模型训练与验证的仿真实验。仿真所用水下无人艇与无人机的模型参数参见相关文献（Hu等人，2025）。与环境干扰相关的设置则参考了其他文献（Bingham等人，2019；Meng等人，2022）。实验所用的仿真环境是基于OpenAI Gym框架构建的，编程语言为Python 3.9。

结论
本文提出了一种基于PPO的无人机与水下无人艇协同导航与避碰方法。在该方法中，通过双交叉注意力机制深入融合无人机捕获的视觉特征与水下无人艇获取的LiDAR特征，再将得到的多模态表示作为输入传递给基于PPO的策略网络。同时，通过对PPO的传统裁剪策略进行改进，改用KL散度作为裁剪准则，从而提升了该算法的性能。