基于事件触发强化学习的舵故障船舶航向鲁棒跟踪控制

《Journal of Marine Science and Engineering》：Event-Based Robust Reinforcement Learning Course Tracking for MSVs with Actuator Faults

　　

摘要：本文研究了利用强化学习（reinforcement learning, RL）和动态事件触发机制（dynamic event-triggered mechanism）解决舵故障下水面船舶（marine surface vehicles, MSVs）的鲁棒航向控制问题。研究人员设计了一种基于强化学习的容错优化跟踪控制方案。首先，建立了一个通用的执行器故障模型。其次，将内部和外部扰动以及故障动态聚合为集总不确定性（lumped uncertainties），并构建了一个故障观测器来估计和补偿该集总不确定性项。然后，为MSV系统构建了一个跟踪代价函数，并采用仅含单一评价网络（single critic network）的强化学习框架来逼近值函数并生成基于学习的补偿输入。最后，在控制层和执行层之间实施了一种动态事件触发机制，以减少执行器的触发频率。利用Lyapunov稳定性理论证明了闭环系统内所有信号是一致最终有界的（uniformly ultimately bounded）。仿真结果验证了所提出的控制方案实现了良好的整体性能。

论文解读：基于事件触发强化学习的舵故障船舶航向鲁棒跟踪控制

1. 研究背景与问题提出

水面船舶在执行远距离运输、环境监测、海上巡逻等任务时，对自主导航能力的要求日益提高。航向自动控制是船舶运动控制的基本功能之一，其核心在于使船舶能在持续变化的工况下维持或跟踪预设的航向指令。然而，船舶操舵动力学具有大惯性、强非线性、水动力系数不确定等特点，且持续受到风、浪、流等环境载荷的干扰。此外，舵机长期运行可能导致效率损失、偏置或其他执行器异常，这会进一步恶化航向跟踪精度，甚至威胁航行安全。同时，频繁的舵叶动作会增加舵机活动量、机械磨损和不必要的控制开销。因此，一个理想的航向控制系统不仅需要保证跟踪精度和对不确定性及执行器故障的鲁棒性，还需兼顾控制性能与执行器利用率。

现有研究虽在自适应控制、神经网络控制等方面取得了进展，但仍存在不足。多数传统控制策略主要从稳定性和跟踪误差角度出发，未通过性能准则显式表征跟踪精度与控制能耗之间的权衡。强化学习提供了一种求解非线性最优控制的替代路径，但传统的actor-critic结构需同时调整策略网络和价值网络，增加了结构复杂性。此外，针对执行器故障的容错控制、优化调节与事件触发机制往往被分开处理，缺乏一个统一的、结构紧凑的控制框架。因此，本研究旨在开发一种能够同时应对舵故障、集总不确定性、优化航向跟踪性能并降低执行器更新频率的综合控制方案。

2. 研究方法概述

研究人员提出了一种基于事件触发的鲁棒优化航向跟踪方案。关键技术方法包括：

1. 1.
   执行器故障建模：建立了包含效率损失因子和加性故障信号的通用舵故障模型。
2. 2.
   集总不确定性观测器：将内部不确定性、外部扰动和故障动态聚合成集总不确定性项，并设计辅助观测器对其进行在线估计与补偿。
3. 3.
   单评价网络强化学习：构建面向跟踪的性能指标函数，仅采用一个评价网络（critic network）来近似值函数，并直接从值函数的梯度推导出近似最优补偿控制输入，从而避免了独立的actor网络，简化了学习架构。
4. 4.
   动态事件触发机制：在控制器与舵执行器之间插入动态事件触发条件，只有当触发条件满足时，才将连续生成的优化指令传输给执行器，以此减少不必要的舵面更新和执行频率。

3. 研究结果

Case 1（中等程度故障）：

• •
  航向跟踪性能：实际航向紧密跟随期望曲线。
• •
  艏摇角速度响应：仅在指令变化附近出现短暂瞬态，稳态期间接近零。
• •
  航向跟踪误差：误差在指令变化点短暂波动后迅速收敛至零附近。
• •
  舵控制输入：受限的舵角输入保持在预设范围内。
• •
  集总不确定性估计：观测器估计值与真实值在整个仿真区间内几乎重合。
• •
  事件触发机制表现：触发时刻非均匀分布，累计更新次数低于时间触发方式。
• •
  自适应参数与评价网络权重：两者均保持有界并收敛。

Case 2（更高程度故障）：

• •
  航向跟踪性能：大部分时间内可完成跟踪，但在约1000秒处出现明显更大的瞬态偏差。
• •
  艏摇角速度与跟踪误差：伴随较大的瞬态偏移。
• •
  舵控制输入与自适应参数：同样出现较大幅度的暂态波动，随后恢复至先前水平。
• •
  集总不确定性估计：观测器仍能跟踪集总不确定性的主要变化。
• •
  事件触发机制表现：更新仍然保持间歇性。
• •
  误差曲面收敛：两种情况下，误差轨迹均呈向内螺旋趋势，最终收敛至原点邻域，但Case 2的中间偏移更大。

定量对比：

• •
  在Case 1中，所提控制器的航向均方根误差（RMSE）为0.386°，而时间触发控制器为0.215°。
• •
  在Case 2中，所提控制器的航向RMSE为3.613°，时间触发控制器为3.401°。
• •
  与文献[14]的方法相比，在相同测试设置下，所提方案在航向RMSE和计算时间方面表现更优。

4. 讨论与结论

讨论部分：

• •
  理论保证：Lyapunov分析证明了闭环信号的一致最终有界性，事件触发分析通过推导正的最小触发间隔排除了Zeno行为。
• •
  数值性能与权衡：仿真表明，事件触发实现减少了更新活动，但未能达到时间触发控制器更低的RMSE，揭示了跟踪精度与执行器更新频率之间的折衷。
• •
  实际应用性：当前证据仅限于基于“玉龙”号航向动力学模型的数值仿真，未进行硬件在环或实船实验验证。研究未涉及不同船型、海况下的性能，也未考虑舵机速率限制、传感器噪声、通信延迟等实际约束。
• •
  局限性：本研究局限于单一船舶模型的数值仿真，未进行全面的参数灵敏度分析，也未验证完全执行器失效等极端故障场景。

结论部分翻译：

本文针对存在不确定非线性动力学、环境扰动和舵故障的水面船舶，开发了一种基于事件的鲁棒航向跟踪方案。内部不确定性、外部扰动和执行器故障效应被收集为一个集总项，并通过观测器重构。随后，利用一个面向跟踪的性能指标和单评价网络强化学习结构来生成基于学习的补偿输入，无需引入独立的actor网络。此外，在控制器和舵执行器之间放置了一个动态事件触发机制，使得计算出的指令仅在满足触发条件时才被传输。在所陈述的有界性、逼近、激励和控制权限假设下，Lyapunov分析确立了闭环信号的一致最终有界性，并且导出的最小触发间隔正下界排除了Zeno行为。