AC-DiffDWA：采用具有可微分动态窗口方法的演员-评论家（Actor-Critic）算法进行无人水面船只路径规划

《ADVANCED ENGINEERING INFORMATICS》：AC-DiffDWA: Unmanned Surface Vehicle path planning using actor–critic with differentiable dynamic window approach

　　恒珍·胡|生曲|志远·徐
大连海洋大学，中国大连，116023

摘要
在动态环境中，无人水面船只（USVs）的自主导航迫切需要先进的智能决策支持系统。当前的一个主要挑战是将运动学先验知识与深度强化学习（DRL）策略高效地结合在一起。本文提出了一种新颖的混合专家系统框架——AC-DiffDWA。该框架引入了一种新的“可微规划先验”范式，用于构建专门针对路径规划的领域特定DRL框架。其核心思想是将传统动态窗口方法（DWA）的轨迹评估逻辑转换为可微模块（Diff-DWA），并将其作为可微规划先验深度集成到Actor-Critic架构中。这种设计使Diff-DWA能够直接指导策略学习过程，实现运动学约束和安全要求的深度融合。同时，该框架结合了图注意力网络（GAT）来处理动态障碍物之间的复杂交互，并利用孔洞空间金字塔池化（ASPP）来提高环境感知和状态评估的准确性。仿真结果表明，与HR-DDPG相比，AC-DiffDWA在复杂的多船相遇场景中实现了93.6%的成功率，同时加速了收敛速度并减少了88.5%的角加速度。此外，与可微的AC-MPC基线相比，敏感性分析显示其具有更强的鲁棒性和更低的推理延迟。因此，AC-DiffDWA为复杂动态环境中的自主USV导航提供了一种高效且可靠的智能系统解决方案。

引言
为了确保无人水面船只（USVs）在复杂动态海洋环境中的自主导航，路径规划算法必须能够有效避开障碍物、适应环境变化并满足运动学约束。将经典规划中的先验知识与深度强化学习（DRL）的自适应学习能力深度结合是提高USV自主导航性能的关键，这也是当前研究的核心挑战。

经典规划方法是USV导航领域的基础技术，包括全局搜索算法（如A* [1]和RRT [2]）、局部障碍物避让策略（如动态窗口方法（DWA）[3]和人工势场（APF）[4]，以及优化技术（如粒子群优化（PSO）[5]和遗传算法（GA）[6]）。由于经典规划方法基于预定义的规则进行决策，因此它们具有很强的可解释性，并能严格保证系统约束。然而，这些方法在处理高度动态环境时缺乏适应性，也无法从数据中学习复杂行为。它们的非可微决策逻辑阻碍了与基于梯度的DRL框架的深度集成。

相比之下，作为强大的数据驱动范式，DRL近年来已成为USV运动控制领域的研究热点。DRL通过代理与环境之间的交互自主优化导航策略，而无需精确的环境模型。基于价值函数的DRL方法（例如DQN）是基本的DRL技术。例如，Lee等人[7]提出了一种基于深度Q网络（DQN）的点对点路径规划方法。通过为可通行区域和受限区域设置奖励和惩罚策略，并使用Douglas–Peucker算法优化航点，他们生成了更安全、更高效的路径。Shen等人[8]设计了一种基于深度学习的多船自动碰撞避免算法，整合了船舶机动性、人类经验和导航规则。然而，基于DQN的方法通常输出离散动作，限制了其在精确船舶操控中的应用。Deraj等人[9]使用DQN进行船舶路径跟踪，并通过仿真验证了其在风况下的鲁棒性。相关研究[10]、[11]、[12]表明，DQN可能导致导航控制振荡，而适合连续动作空间的深度确定性策略梯度（DDPG）可以实现更平滑的控制效果。

为了处理连续动作空间，研究重点转向了基于策略梯度和Actor-Critic（AC）架构的DRL算法。研究人员对AC架构在USVs中的应用进行了各种改进。Jose等人[13]引入了影响比率（IR）控制因子，实现了多种DRL平滑技术的自适应调整，以减少路径跟踪过程中的能量消耗和抖动。Zhong等人[14]设计了一个复合状态空间，解决了由于USVs大惯性引起的非马尔可夫问题，并构建了一个动态奖励函数，以加速收敛并避免局部最优解，从而获得更好的控制性能。Zhang等人[15]提出了一种分层解耦的DRL方法，以应对多船任务规划的复杂性。通过将任务分解为分配和碰撞避免子模块，并利用后继特征和迁移学习等技术，该方法为不同层次级别的决策网络提供了训练和集成机制。Wang等人[16]专注于欠驱动USVs的路径跟踪挑战。通过将LSTM和连续航点跟踪机制集成到AC框架中，他们确保了规划路径的运动学可行性。Xue等人[17]通过改进决策评估模型和假设轨迹计算，解决了高密度障碍物场景下的路径规划问题，实现了更快的策略学习和优化障碍物避让策略。

同时，为了解决AC架构的训练效率和收敛问题，研究人员探索了各种方法。Xu等人[18]提出了一种路径规划和动态碰撞避免（PPDC）算法，以实现符合国际海上防碰撞规则（COLREGs）的动态碰撞避免。该方法通过建立风险评估模型、设计多任务复合奖励函数和引入累积优先采样机制，提高了基于DDPG过程的训练效率和决策安全性。Wei等人[19]通过构建多个经验池和设计引导奖励函数，增强了DDPG在未知环境中的收敛速度和障碍物避让能力。为了解决多船协作中的稀疏奖励问题，Wang等人[20]提出了一种改进的DDPG编队控制策略。通过集成内在好奇心模块（ICM）和优先经验回放（PER）机制，他们提高了经验利用率和加速了学习速度。尽管AC架构具有广泛的应用前景，但其通用设计在应用于特定领域（如USV导航）时仍面临核心挑战，包括样本效率低、安全探索困难以及运动学先验知识整合不足。

为了结合规划和学习方法的优势，研究人员提出了混合策略以提高DRL在船舶导航中的有效性。例如，Patel等人[21]基于DWA生成了可行的速度集，为DRL代理设计了低维观测空间，从而解决了DRL策略中动态可行性不足的问题。Ding等人[22]将DRL与模型预测控制（MPC）相结合。在路径跟踪任务中，他们使用DDPG生成初始控制指令，然后通过MPC实时优化，通过LSTM网络和状态预测池提高了时间处理能力和收敛速度。Lou等人[23]基于DWA和速度障碍（VO）原理为DDPG设计了双层激励奖励函数，提高了船舶碰撞避免的安全性和路径规划效率。Lou等人[24]通过结合VO方法和径向形态空间进行训练，实现了动态障碍物的碰撞预测。Yang等人[25]提出了一种基于DRL和VO的类人碰撞避免方法，提高了规划路径的平滑性，同时确保了有效的碰撞避免。Wu等人[26]提出了一种人工势场引导的双深度Q网络（APG-DDQN）框架，将模态感知人工势场（MA-APF）算法与DRL结合，提高了路径规划质量。Deshpande等人[27]提出了一种将DDPG策略与差分博弈（DG）策略结合的方法，利用DG算法增加内存缓冲区中成功事件的数量，从而促进更快的策略学习。在Fan等人[28]提出的分层框架中，概率路线图（PRM）提供了全局路径先验，以避免局部最小值，而DDPG在这些先验的约束下学习控制策略，生成了更短、更平滑的局部最优动作序列。Li等人[29]使用APF生成的初始安全路径初始化经验回放缓冲区，使代理能够绕过低效的随机探索阶段，有效提高了算法的收敛速度和最终路径的质量。Chen等人[30]通过将互易速度障碍（RVO）方法与近端策略优化（PPO）算法结合，提高了面对动态障碍物时的碰撞避免效率。此外，关于多智能体协作决策的整合，Yin等人[31]提出了一种动态自适应优先级引导（DAPG）策略。该策略将多智能体强化学习（PSSAC）与多源信息融合策略（MIFS）结合，提高了USVs在感知受限环境中的碰撞避免适应性，并确保符合COLREGs。在此基础上，为了解决目标分配和路径规划这一更复杂的动态耦合问题，提出了基于多智能体双延迟深度确定性策略梯度（MATD3）的分布式实时决策算法[32]，通过联合优化框架提高了多USV系统的安全性和协作任务完成率。

然而，这些方法通常处于松散耦合的状态。规划器作为外部模块提供奖励信号、生成候选集或在分层架构中提供指导，未能在优化层面深度耦合规划逻辑和学习策略。这一限制的根本原因是，经典规划器的评估逻辑难以转换为适合DRL端到端梯度优化的格式。因此，DRL策略学习仍然主要依赖于稀疏或间接的奖励信号，难以充分利用规划先验知识来指导探索过程并加速收敛。

近年来，使规划过程可微并将其嵌入深度学习框架（即“可微规划”）已成为该领域的重要研究方向。现有方法主要分为三类。第一类是基于可微优化的控制方法[33]。这些框架通过隐函数定理或KKT条件在网络末端嵌入优化求解器，确保输出指令满足显式系统动力学和边界约束，因此在复杂控制任务中表现优异。第二类是可微采样（Diff-Sampling）策略[34]、[35]。这些研究使用神经网络学习参数化分布来指导规划器的采样搜索，而神经网络和经典规划器保持分离。这种分离设计保持了经典规划器的算法完整性，并有效提高了样本生成效率。第三类关注可微树搜索和符号逻辑[36]。通过构建搜索树结构并使用符号指导，这些方法解决了长视野任务中奖励稀疏和探索无效的问题。总体而言，现有的可微范式通常将规划器视为网络末端的后处理器或独立的分布生成器。将连续运动学约束作为内置组件深度集成到策略梯度计算过程中，而不显著增加在线推理计算开销，仍然是一个关键未解决的问题。

本研究认为，架构创新是实现规划逻辑和学习策略深度耦合的关键。因此，本文引入了一种称为“可微规划先验”的新范式。该范式使得可以开发出一种新颖的混合专家系统，在这种系统中，经典规划器的符号逻辑可以内在地指导学习代理的梯度优化过程。该范式的核心思想是将经典规划器（如DWA）的评估逻辑转换为可微格式，使规划器作为内生模块嵌入到DRL框架中，并直接参与端到端梯度优化过程。这一范式的最终目标是将主要依赖数据驱动方法的DRL从一个通用学习框架发展为“领域特定DRL架构”。这样的架构可以深度整合和利用领域特定的结构化知识，从而实现更快的学习速度和更优越的全局策略。

基于这种新颖的“可微规划先验”范式，本文进一步设计和实现了专门针对路径规划的AC-DiffDWA框架。该框架采用基于深度确定性策略梯度（DDPG）的Actor-Critic（AC）架构。据我们所知，这是第一个针对路径规划的领域特定DRL架构的实现。其核心创新——可微动态窗口方法（Diff-DWA）模块——成功地将传统DWA用于轨迹评估和速度空间选择的核心逻辑转换为完全可微的格式。