基于强化学习的故障容忍编队控制技术，用于无人机（UAV）与自主水下航行器（AUV）在预设性能要求下的追赶-规避博弈

《ISA Transactions》：Reinforcement learning-based fault-tolerant formation-surrounding control for UAVs-AUVs pursuit-evasion games under prescribed performance

　　提出的基于强化学习的容错编队环绕控制框架适用于异构无人机-自主水下航行器（UAV-AUV）系统，该框架不仅有效解决了异构多智能体系统的六自由度协同控制问题，还增强了无人系统的鲁棒性。开发了一种预定义时间观测器，能够在规定的时间内估计扰动和执行器故障，同时放宽了对扰动和故障界限的假设。提出了一种新型的神经网络（NN）更新法则，其实现结构更简单，并放宽了对持续激励和有限激励的假设。

引言
无人无人机（UAV）和自主水下航行器（AUV）已广泛应用于多智能体追逐-规避（MPE）场景，如海洋监视、目标包围和导弹拦截[1]。异构UAV-AUV系统可以利用不同平台的互补能力，从而提高MPE任务中的协同性能。现有的MPE问题协同控制方法主要包括共识算法、编队控制和环绕控制。然而，这些传统方法通常缺乏动态决策和优化能力。此外，涉及多个UAV和AUV的MPE博弈往往会导致复杂的Hamilton-Jacobi-Isaacs（HJI）方程[2]。已经开发了多种方法来解决这些方程，包括微分博弈理论、极小极大策略和强化学习（RL）。现有方法主要针对同构多智能体系统，不能直接扩展到异构多无人机系统。此外，实际无人系统经常受到执行器故障和外部扰动的影响[3]，这进一步复杂化了异构UAV-AUV追逐-规避博弈的最优控制策略设计。

受自然界群体智能的启发，近年来对多个无人系统的协同控制给予了广泛关注[4,5]。现有研究探讨了各种协同控制问题，包括共识控制、编队控制[6]、环绕控制[7]和MPE博弈[8]。针对具有未知时变延迟的多UAV系统，进一步研究了基于观测器的共识跟踪方法[9]。最近的研究深入探讨了航空航天和海洋车辆的容错控制。自适应滑模控制、RL和基于观测器的容错控制（FTC）方法被开发出来，用于处理AUV和非线性欧拉-拉格朗日系统中的执行器故障、不确定性和扰动[10]。在[10]中，通过使用分布式观测器和虚拟执行器开发了一种用于线性参数变多智能体系统的容错共识控制方案来补偿执行器故障。然而，大多数现有研究关注的是同构多智能体系统（MAS），而异构MAS的协同控制仍相对较少。与同构系统相比，由不同平台组成的异构无人系统可以通过利用其互补特性完成更复杂的协同任务[11,12]。

在异构系统中，UAV-AUV的协同控制因其在海事救援、巡逻任务和军事行动中的广泛应用而受到越来越多的关注[13,14]。UAV在广域感知和快速机动性方面具有优势，而AUV则表现出强的环境适应性和载荷能力[15,16]。因此，UAV-AUV协作提供了一个有效的跨领域操作框架。关于异构UAV-AUV的现有研究主要集中在轨迹跟踪和编队协调上。例如，在[17]中采用了非线性模型预测控制来解决UAV在移动无人水面航行器（USV）上的跟踪和着陆问题，而在[18]中提出了一种用于UAV-USV协作系统的分布式模型预测编队控制策略。

尽管上述方法可以保证闭环稳定性和协调性能，但它们大多强调稳态性能而忽视了瞬态性能约束。为了解决这个问题，已经广泛研究了规定性能控制（PPC），以同时保证瞬态和稳态跟踪性能[19,20]。在[21]中，为受性能约束的无人水面航行器开发了一种基于数据驱动的RL的PPC方案。在[22]中提出了一种基于视觉的PPC方法用于处理执行器饱和的UAV目标跟踪。在[23]中提出了一种基于视觉的PPC方法用于处理执行器饱和的UAV目标跟踪。在[24]中，为固定翼多UAV编队控制开发了一种基于RL的容错PPC策略，以应对执行器故障。此外，在[23,25]中研究了基于PPC的异构UAV-USV系统的协同控制方法。在[26]中，进一步提出了一种基于PPC的预定时间跟踪控制策略，适用于存在执行器故障的四旋翼UAV。然而，这些研究主要关注协同跟踪或编队问题，而不是竞争性追逐-规避博弈。

最近，由于MPE博弈的强动态交互和决策特性，越来越多的关注被投入到MPE博弈问题中。MPE博弈的主要挑战之一在于求解HJI方程，对于非线性系统来说，这通常难以通过解析方法解决[27]。现有的解决MPE博弈的方法主要包括微分博弈理论[28]、RL[29]和编队环绕控制（FSC）[30]。在[31]中，通过将耦合的HJI方程转换为代数Riccati方程，为线性多智能体博弈开发了一种自适应纳什均衡解。然而，[27,32]中的方法主要适用于线性系统。为了处理非线性MPE问题，在[31,33]中开发了基于RL的方法来近似求解HJI方程。此外，在[34]中提出了一种具有碰撞避免约束的基于RL的时变FSC策略，适用于多旋翼UAV。对现有MPE博弈研究的回顾表明，针对多约束条件下异构多UAV-多AUV系统的追逐-规避问题仍然研究不足。

现有的MPE博弈研究主要集中在同构线性MAS上，而对异构非线性MAS的研究较少。受此启发，本文研究了在受到外部扰动、规定性能约束和执行器故障影响的异构UAV-AUV的MPE博弈问题。主要贡献总结如下：
(1)开发了一种预定义时间观测器，可以同时估计执行器故障和外部扰动。与现有观测器[26,35,36]相比，所提出的方法避免了奇异性问题，并不依赖于先验的扰动界限信息。
(2)与现有的基于RL的同构UAV系统协同控制方法不同，本文为具有规定性能约束的异构UAV-AUV开发了一种基于RL的容错环绕控制策略，确保所有闭环状态保持在预定义的界限内。此外，所提出的规定性能控制器消除了参考文献[23,25,26]中采用的限制性初始状态假设。
(3)提出了一种新型的神经网络权重更新法则，简化了RL实现结构，并放宽了现有基于RL的控制方法[31,37]所需的持续/有限激励条件。此外，设计了一种动态可调的学习率，以提高神经网络权重的收敛性能。

本文的其余部分安排如下：
第二节介绍预备知识、图论、异构UAV-AUV的动态模型以及追逐-规避博弈的问题构思。第三节介绍了预定义时间观测器的设计以及基于RL的容错规定性能编队环绕控制策略，并进行了相应的稳定性分析。第四节提供了MATLAB/Simulink和MATLAB/Simscape仿真结果，以验证所提方法的有效性和鲁棒性。最后，第五节总结了本文并讨论了未来的研究方向。

图论
本文研究了由多个追逐者和逃避者组成的多智能体系统的追逐-规避博弈。集合P={1,…,N}和E={1,…,M}分别表示追逐者和逃避者。图组GP=(VP,?P)定义为追逐者之间的通信拓扑结构，其中VP={vP1,…vPN}是顶点集，符号?P?VP×VP是边集。追逐者的邻接矩阵表示为AP=[aik]∈?N×N，其中aik=1如果(vPk,vPi)∈?P，否则aik=0。设LP=DP?AP。

主要结果
本节将讨论在存在执行器故障、外部扰动和规定性能约束下的异构UAV-AUV的MPE博弈问题。开发了一种预定义时间观测器，用于估计对闭环系统（CLSs）稳定性产生负面影响的综合扰动项，包括执行器故障和扰动。然后，提出了一种基于预定义时间观测器的容错编队环绕控制策略。

仿真
本文开发了一种基于RL的规定性能容错FSC方案。采用了两阶段仿真框架进行验证。首先，在MATLAB/Simulink中建立了二阶UAV-AUV动态模型来评估控制性能。然后，构建了基于MATLAB/Simscape的3D可视化模型以进一步验证所提策略的有效性。异构多智能体的通信拓扑结构如图4所示。

结论
本文研究了在存在执行器故障、扰动和规定性能约束下的异构多UAV-AUV的追逐-规避博弈问题。首先开发了一种预定义时间综合扰动观测器，用于在预定收敛时间内估计由执行器故障和外部扰动引起的综合扰动。在此基础上，提出了一种基于RL的规定性能容错编队环绕控制策略。

作者贡献声明
Hang Xiong：撰写——原始草案、可视化、验证、方法论、形式分析、数据整理。
Ying Zhang：撰写——审稿与编辑、监督、资源管理、项目管理、调研、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢
本研究部分得到了国家自然科学基金（项目编号52671429）、上海市自然科学基金（项目编号25ZR1401159）、上海市科学技术委员会2025年关键技术研发计划“新一代信息技术”项目（项目编号25511103902）、复旦大学智能信息处理重点实验室（项目编号IIPL-2025-RD5-01）以及浙江省自然科学基金的支持。