不确定场景下自主船舶动态避碰的分层强化学习控制与泛化性能研究

本文提出一种基于分层强化学习（HRL）框架的自主船舶动态避碰控制方法，通过高层全局意图规划与低层精细舵控的结合，显著提升策略可解释性、稳定性与行为一致性；引入多维不确定性建模机制（如初始状态与障碍行为模式随机化），增强策略在动态环境中的泛化能力与适应性，为智能航运提供高性能避障解决方案。

　　

Reference coordinate system

如图1所示，本研究定义了地理坐标系 o-xyz 与船体坐标系 o-_xbybzb，用于描述船舶姿态 η = [x, y, ψ]^T 和运动状态 V = [u, v, r]^T。船体坐标系固定于船舶重心位置（x_G, 0, 0），总速度 U = √(u² + v²)，漂角 β = tan^?1(?v/u) 表示速度矢量与船首向的夹角。

Hierarchical Reinforcement Learning Architecture

本研究提出一种分层强化学习（HRL）框架，通过层次化结构将复杂长时序任务分解为不同抽象层级的子任务。高层策略负责低频全局动作或子目标决策，而低层策略在高层级指令指导下执行精细化控制。

本研究采用的HRL架构如图所示（具体结构略），其核心在于通过分层协同优化实现全局导航意图与局部避障响应的协调。

State Space Design

高层智能体的状态空间设计旨在宏观表征全局环境，支持生成粗粒度舵令指令。状态输入主要包括本船状态变量 (x, y, ψ)、至目标点距离 d_target、障碍船相对于本船的相对位置 (x^rel, y^rel)、船间距离 D 以及碰撞风险指标（CRI）。整合这些特征后，高层状态表示为：

s^high = [x, y, ψ, d_target, x^rel, y^rel, D, CRI]

Results and Analysis

本节从训练过程、避障性能和典型场景行为三个维度全面分析所提出的分层强化学习（HRL）策略在动态船舶避障中的表现。为突显分层设计的性能优势，研究对比了三种基线方法：（1）经典单层强化学习算法近端策略优化（PPO）；（2）基于双延迟深度确定性策略梯度（TD3）的单层方法；（3）结合规则引擎的混合架构。

Conclusion

本研究提出了一种基于分层强化学习的自主船舶动态避障策略，适用于复杂不确定环境下的导航任务。该框架通过解耦高层全局决策与低层舵控动作，使智能体能够有效应对初始条件不确定性和障碍物行为多变性的挑战。

在四种典型COLREGs遭遇场景中的对比实验表明，HRL在策略稳定性、收敛速度、避障成功率和泛化能力方面均一致优于单层架构。