基于LSTM增强的深度强化学习用于船舶无模型动态定位

《Ocean Engineering》:LSTM-augmented deep reinforcement learning for model-free dynamic positioning of ships

【字体: 大 中 小 】 时间:2026年10月23日 来源:Ocean Engineering 6.3

编辑推荐:

   **摘要要点** - PPO集成了运动控制与单个推进器指令生成 - LSTM预测漂移为PPO提供有界的虚拟参考校正 - 相较于PPO,最大位置误差和航向RMSE分别降低了高达72%和52% --- ## 引言 动态定位(DP)系统使船舶和海上平台能够利用自身的推进系统保

  

**摘要要点**
- PPO集成了运动控制与单个推进器指令生成
- LSTM预测漂移为PPO提供有界的虚拟参考校正
- 相较于PPO,最大位置误差和航向RMSE分别降低了高达72%和52%

---

## 引言

动态定位(DP)系统使船舶和海上平台能够利用自身的推进系统保持指定的水平位置和航向,因此对于海上钻井、重型起重、水下安装及其他运动敏感作业至关重要。DP控制器必须在考虑执行器限制的同时抑制风、浪和流等干扰。传统的基于模型的方法,包括比例-积分-微分(PID)控制、反步法和滑模控制,已被广泛研究(Fossen和Grovlen, 1998; S?rensen, 2011; Song等, 2024)。尽管这些方法提供了成熟的分析框架,但其性能通常依赖于船舶和干扰模型的准确性。

模型预测控制(MPC)已被引入DP系统中,以在滚动时域框架内处理运动预测和执行器约束。Veksler等人为船舶DP展示了受约束的MPC(Veksler等, 2016),而基于管的MPC则被用于提高对有限环境干扰的鲁棒性(do Nascimento等, 2019)。非线性MPC也被应用于在单一优化问题中整合运动控制和推力分配(B?rlund等, 2020)。这些方法提供了系统的预测和约束处理能力,但需要显式的预测模型和反复的在线优化。

基于观测器的DP提供了另一种干扰抑制方法。由于低频船舶运动和缓慢变化的环境载荷无法直接获取,观测器通常被用于波浪滤波、状态重构和干扰估计。Fossen和Strand开发了一种被动非线性观测器,用于低频运动和环境偏差估计(Fossen和Strand, 1999),随后引入了时变观测器增益以改善瞬态估计性能(V?rn?等, 2017)。然而,观测器性能仍然依赖于假设的船舶和干扰结构以及所选的调参参数。

在传统DP架构中,运动控制器计算期望的纵荡力、横荡力和艏摇力矩,而独立的推力分配模块将这些需求分配给冗余执行器。经典和优化方法已解决了推力最小化、奇异构型、执行器饱和、速率约束和禁止方位扇区等问题(S?rdalen, 1997; Johansen和Fossen, 2013)。尽管集成的MPC公式可以结合运动控制和推力分配,但它们仍然依赖于船舶模型和在线数值优化。

在这些基于模型的发展并行推进的同时,数据驱动的船舶运动预测也引起了越来越多的关注。长短期记忆(LSTM)网络非常适合从历史运动数据中提取非线性时间关系。代表性研究调查了实时船舶运动预测的历史输入窗口选择(Liu等, 2020)、不同海况下的多尺度注意力LSTM预测(Zhang等, 2021),以及使用实验波浪和运动数据进行半潜式平台运动神经预测(Guo等, 2021)。这些研究展示了有用的短期预测能力,但主要将预测精度作为独立任务进行评估,而非将预测的水平漂移转化为DP的闭环补偿信号。

深度强化学习(DRL)提供了一种替代方案,通过与环境交互直接学习非线性控制策略。DRL已被应用于不确定性海洋运动控制问题(Martinsen等, 2020; Li等, 2025),基于PPO的DP展示了从船舶观测到单个推进器指令的端到端映射(?vereng等, 2021)。混合强化学习控制器和自适应动态规划方法也被研究用于提高鲁棒性并处理不确定或不可测量的状态(Yu等, 2025; Lee等, 2020; Gao等, 2021b; Gao等, 2021a)。然而,大多数现有的基于DRL的DP策略仍然是主要反应式的,依赖于瞬时或有限历史反馈。在没有显式在线预测机制的情况下,它们对未曾见过的时间变化波浪和流致漂移的主动补偿能力仍然有限。

因此,可以识别出三个相关的研究空白。第一,基于MPC和观测器的方法提供了预测或干扰估计,但需要显式的船舶、干扰或观测器模型。第二,基于LSTM的船舶运动研究很少将预测的水平漂移转化为闭环DP的实时参考校正。第三,尽管端到端的DRL可以整合运动控制和单个推进器指令生成,但对不可测量环境漂移的在线预测补偿尚未得到充分研究。

带观测器的MPC已经提供了预测和干扰补偿,集成的非线性MPC也可以结合运动控制和推力分配(Veksler等, 2016; B?rlund等, 2020)。所提出的框架采用了不同的计算架构:LSTM预测的位移被转化为有界的虚拟参考校正,随后PPO策略直接生成单个推进器指令。这种"预测-策略"接口在不进行显式环境力重构、在线水动力模型评估或反复滚动时域优化的情况下提供了前瞻性补偿,同时保留了非线性数据驱动策略的灵活性,以便未来扩展,如在线自适应和迁移学习。

为了解决这些空白,本文提出了一种基于PPO的、增强在线自适应LSTM运动预测器的动态定位控制器。

术语"无模型"指的是控制器端的策略:在线控制律不显式评估船舶水动力模型或解析状态转移函数。主要贡献总结如下:

- **端到端基于PPO的DP控制。** 统一策略直接将历史增强的船舶观测映射到单个推进器指令,在在线控制律中整合运动控制和推力分配,不依赖显式的水动力模型。采用课程学习以提高收敛性和鲁棒性。
- **预测-控制耦合。** 在线自适应LSTM预测器从历史运动和控制数据中估计短期船舶漂移。该预测被转化为反向的虚拟参考校正,随后转化为提供给PPO控制器的体固跟踪误差。
- **高保真对比验证。** 该方法在基于物理的仿真平台上进行训练和评估。与基线PPO控制器和传统的LPF-PID-TA基准在多个波向下进行了对比,并进行了涉及环境突变的瞬态测试。

---

## 章节片段

### 船体动力学与推进器系统

本研究考虑配备动态定位系统的重型运输船(HTV)的水平面纵荡、横荡和艏摇动力学。采用两个右手坐标系:一个地固惯性系和一个以船舶重心(CoG)为原点的体固坐标系。3-DOF运动学和刚体动力学方程如下:

$$\dot{\boldsymbol{\eta}} = \mathbf{R}(\psi)\boldsymbol{v}, \quad \mathbf{M}_{RB}\dot{\boldsymbol{v}} + \mathbf{C}_{RB}(\boldsymbol{v})\boldsymbol{v} = \boldsymbol{\tau}_{env} + \boldsymbol{\tau}_{ctrl}$$

其中 $\boldsymbol{\eta} = [x, y, \psi]^\top$ 和 $\boldsymbol{v} = [u, v, r]^\top$ 分别表示地固坐标系下的位置/航向向量和速度向量。

---

### 基于深度强化学习的控制架构设计

如2.2节所定义,所提出的PPO控制器在策略执行层面是无模型的:它在不显式评估船舶动力学、水动力系数、环境载荷模型或解析状态转移函数的情况下生成单个推进器指令。

由于缓慢变化和波浪诱导的环境干扰状态无法直接观测,集成预测-控制问题被表述为部分可观测马尔可夫决策问题。

---

### LSTM运动预测-控制集成系统的构建

在动态定位控制中,控制器依赖位置误差反馈。虽然风载荷可以通过前馈直接补偿,但波浪和流载荷需要预测方法。鉴于LSTM在时间序列预测中长期依赖关系捕获方面的能力,本研究开发了一种基于LSTM的运动预测器来预报船舶漂移,从而增强DRL控制器的干扰抑制能力。

---

### LSTM增强型控制器的性能评估

本节评估PPO训练过程、LSTM预测精度、稳态定位性能以及环境突变下的瞬态响应。与基线PPO控制器和传统的LPF-PID-TA基准进行了对比。通过LSTM校正虚拟参考的演变进一步考察了预测-控制机制。

---

## 结论

本研究开发了一种预测增强的动态定位控制器,该控制器将端到端PPO策略与在线自适应LSTM运动预测器相结合。PPO策略从历史增强的信息状态直接生成单个推力和方位指令,而预测的短期船舶漂移被转化为反向的虚拟参考校正。这种预测-控制耦合用前瞻性校正补充了瞬时误差反馈。

---

### CRediT作者贡献声明

- 胡长军:撰写——初稿,软件,形式分析
- 石全:方法论,调查研究
- 李鑫:监督
- 郭小仙:监督

### 利益冲突声明

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

**作者:** 胡长军 | 石全 | 李鑫 | 郭小仙
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号