无人机-水下无人艇多智能体系统的分布式最优编队控制：基于FEWNN的具有自适应预设性能的强化学习方法

《Ocean Engineering》：Distributed optimal formation control for UAV-USV multiagent systems: A FEWNN-based RL approach with self-adjusting prescribed performance

　　刘海涛|黄慧婷|田学红|麦庆群中国湛江广东海洋大学机械工程学院，邮编524088

摘要
本文针对无人机-无人水面艇系统的分队跟踪控制问题，设计了一种基于模糊Elman小波神经网络的自适应性能约束强化学习最优控制器。首先，构建了自适应性能约束函数，用于限制跟踪误差并动态调整误差约束边界，从而在避免奇异性的同时确保跟踪误差保持在期望范围内，解决了传统固定边界性能约束控制的局限性。其次，提出了一种融合Elman神经网络动态记忆特性的FEWNN结构，用以近似处理累积不确定性，并将其嵌入强化学习策略中以求解哈密顿-雅可比-贝尔曼方程。与传统的径向基函数神经网络相比，该结构具备更强的函数逼近能力。再次，设计了基于强化学习且具有自适应性能约束的最优分队控制器，相较于缺乏性能约束的传统最优控制方法，该控制器不仅能实现最优控制，还能保证系统的稳态性能和精确轨迹跟踪。最后，通过李雅普诺夫稳定性理论及数值仿真验证了所提算法的有效性。

引言
近几十年来，多智能体系统得到了广泛研究，尤其在柔性航天器、机器人及电力系统等领域，得益于其在分布式协作、网络化控制以及复杂任务处理方面的优势，合作控制技术取得了显著进展（Du等人，2024b；黄等人，2025；刘等人，2024）。由于多智能体技术具备强大的鲁棒性与灵活性，多架无人机与多艘无人水面艇已被广泛应用于工程领域：无人机具有视野广阔但续航时间有限的优点，而无人水面艇则具备较大的载重能力和较长续航时间，但探测范围相对有限（陈等人，2025；刘等人，2023c；邵等人，2019；张等人，2025）。此外，无人机-无人地面车系统作为典型的异构多智能体系统，能够进一步提升系统性能与操作灵活性（谭等人，2025a）。鉴于无人机-无人地面车系统与无人机-无人水面艇系统都具备类似的异构特性，将二者结合形成异构多智能体系统，有望通过无人机实现灵活的空中监测，再借助无人水面艇提供持续的海上作业能力，从而协同提升工程作业效率。无人机-无人水面艇异构多智能体系统在海洋环境监测、灾害救援及海洋测绘等工程应用中已展现出出色的协同能力（陈等人，2025；李等人，2025；徐等人，2024）。然而，在复杂多变的海洋环境中，由于系统间的异质性，为这类系统设计分队控制器面临诸多挑战。

为在复杂环境中实现无人机-无人水面艇系统的分队控制，核心目标是确保分队的精确维持与轨迹跟踪。目前已有大量学术研究致力于分队控制领域，其中领导者-追随者策略因其简单可靠的特点而被广泛采用，成为各类分队控制方法中最受欢迎的一种（Suryendu和Subudhi，2020）。有研究为多艘无人水面艇设计了固定时间分布式分队控制器，并运用领导者-追随者策略来实现预设的分队形态（李等人，2024b）。还有研究提出了融合固定时间性能约束的分布式鲁棒学习控制策略，用于实现无人水面艇的分队控制（段等人，2024）。为在未知动态扰动与海洋干扰条件下实现无人水面艇系统的分队跟踪控制，有研究分别为虚拟领导者与追随者无人水面艇设计了新型固定时间速度控制器及简洁控制器（黄等人，2023）。另有研究提出了固定时间滑模控制算法，使无人机-无人水面艇系统在保持特定分队构型的同时实现轨迹跟踪（刘等人，2023b）。尽管上述方法能够有效实现特定的分队构型，但在复杂海洋环境中的实际应用仍面临诸多困难。尤其是在狭窄通道等受限区域航行时，传统刚性分队模式由于其几何结构限制，可能无法适应动态环境的变化。因此，为无人机-无人水面艇系统的分队控制框架引入分队重构机制具有重要的研究价值。

此外，由于海洋环境的复杂性与多变性，无人机-无人水面艇系统的瞬态性能与稳态性能也需得到充分考虑，以便快速响应外部环境的变化。性能约束控制的优势在于能够使系统保持良好的响应速度与稳定性，这种控制方法在众多工程应用中得到了广泛应用（孙等人，2022）。在无人机跟踪控制领域，已有研究将性能约束纳入容错控制器中，以实现位置误差与姿态误差在期望范围内的收敛（田等人，2025）。还有研究提出了融合性能约束的分布式定时间控制方法，用于限制分队误差，进而提升无人水面艇的瞬态性能（杨等人，2023）。需要注意的是，现有文献中采用的性能约束函数缺乏自适应机制，这可能在无人机-无人水面艇系统进行分队重构时引发瞬态峰值误差及奇异值问题。为同时保障系统安全性与动态性能，有研究提出了基于分层安全强化学习与性能约束控制的方案，用于实现互联的领导者-追随者无人机-无人地面车系统的安全导航与精确跟踪（谭等人，2025b）。为克服传统性能约束函数在灵活性方面的不足，有研究针对输入饱和的非线性系统提出了柔性性能约束控制方法（姚等人，2024）。另有研究提出了自适应固定时间性能约束函数，用于解决输入饱和问题（刘等人，2025c）。鉴于本研究旨在解决无人机-无人水面艇系统的安全与性能约束问题，因此有必要设计一种自适应性能约束函数，以提升系统的响应能力。

虽然之前的研究已经考虑了无人机-无人水面艇系统的性能问题，且现有的性能约束滑模控制方法也能实现精确的轨迹跟踪（赵等人，2022），但在长期海上任务执行过程中，能量效率优化仍是该系统需要重点研究的课题。最优控制理论是一种先进的控制策略，通过优化控制器来最小化成本函数，从而实现系统能耗的最优化控制（翁等人，2023）。在最优控制问题的研究中，求解哈密顿-雅可比-贝尔曼方程往往涉及极高的计算复杂度。强化学习策略与自适应动态规划方法在解决该方程及复杂最优控制问题方面展现了显著效果（刘等人，2025a；唐等人，2025）。有研究采用仅评价器结构的方案，实现了非线性离散系统的全局最优跟踪控制（王等人，2025）。还有研究设计了基于演员-评价器架构的强化学习框架，利用自适应神经网络标识符迭代逼近全局最优策略与成本函数，从而获得接近最优的解决方案（王等人，2021a）。另有研究为多个航天器系统实现最优姿态一致性控制，设计了基于演员-评价器神经网络结构的强化学习模型，并提出了基于神经网络的定时间控制器，该控制器采用了优化算法（陈等人，2023）。还有研究结合反步法设计了一种优化控制方法，用于训练自适应参数并实现欠驱动水面舰艇的最佳跟踪控制，同时通过强化学习框架下的演员-评价器神经网络解决了哈密顿-雅可比-贝尔曼方程（陈等人，2024）。不过，上述研究大多忽视了系统的瞬态性能，且传统的径向基函数神经网络缺乏反馈功能。

另外，在复杂的海洋环境中，无人水面艇系统会持续受到海洋流场扰动、风浪载荷以及其他水动力相互作用等动态环境因素的共同影响。当这些外部扰动超过临界阈值时，可能会引发轨迹偏移、任务中断等风险。因此，有必要研究外部扰动对系统的影响。目前已有多种抗扰动控制方法被提出，如H∞控制（刘等人，2023a）、混合H2/H∞控制（谭等人，2025c）以及神经网络控制方法（徐等人，2025）。神经网络技术在复杂运算、自适应学习以及函数求解方面具有显著优势。有研究设计了一种径向基函数神经网络，用于近似未知动态特性，包括模型不确定性与时变外部扰动，进而为分队控制中的控制器提供补偿机制（徐等人，2025）。还有研究为多艘无人水面艇系统的路径跟随控制，将神经网络技术引入周期性事件触发控制器中，用于估计累积扰动（何等人，2023）。FEWNN是一种新型的神经网络结构，它融合了小波函数、模糊逻辑以及Elman神经网络的特性，能够高效处理未知函数，同时具备参数变化补偿与历史数据存储功能（Sheikhlar等人，2022）。对于无人机-无人水面艇系统而言，在实现最优控制的同时，必须充分考虑系统的瞬态性能与稳态性能。为在复杂环境中实现无人机-无人水面艇系统的分队最优控制，应设计基于FEWNN的最优控制方法，用于求解哈密顿-雅可比-贝尔曼方程并提升系统的抗干扰能力。

基于以上分析，本文设计了一种基于FEWNN的强化学习最优控制器，该控制器具备自适应性能约束功能，可用于无人机-无人水面艇系统的分队跟踪控制。所提方法同时解决了具有自适应性能约束的最优控制问题、分队重构问题以及累积不确定性处理问题，能够在复杂海洋环境中保障系统的稳定性与鲁棒性。本文的主要贡献如下：
（1）为无人机-无人水面艇系统设计了自适应性能约束函数，用于限制分队跟踪误差。该函数能够动态调整误差约束边界，同时避免在分队重构过程中出现奇异性问题，从而解决了传统固定边界性能约束控制的局限性。
（2）提出了一种FEWNN结构，用于处理累积不确定性，并将其融入强化学习策略中以求解哈密顿-雅可比-贝尔曼方程，进而实现无人机-无人水面艇系统的最优控制。该FEWNN结构继承了Elman神经网络的动态记忆特性，显著提升了函数的逼近能力。
（3）设计了一种基于强化学习且具有自适应性能约束的最优分队控制器。与缺乏性能约束的传统最优控制方法相比，该控制器不仅能够实现最优控制，还能保证系统的稳态性能与精确轨迹跟踪。

本文的结构如下：第2节阐述研究问题。第3节介绍基于FEWNN的强化学习最优分队控制器的设计方案。第4节展示所提控制器的仿真实验结果。第5节总结本文的研究结论。

术语说明
图论
用图Ξ=(Θ,S,A)来描述智能体之间的通信关系，其中Θ={Θ1,?,Θn+m}表示节点集合，S={(Θi,Θj):Θi,Θj∈Θ,i≠j}?Θ×Θ表示边集，A=[aij]∈R(n+m)×(n+m)表示邻接矩阵。当(Θi,Θj)属于边k时，aij的值为正，否则为0。定义矩阵B=diag(b1,b2,?,bn+m)，若节点i与领导者相连，则bi的值为1，否则为0。定义矩阵D=diag(d1,d2,?,dn+m)，其元素di的计算方式为di=∑i=1N1+N2aij。矩阵k与H分别由D?A和k+B构成。

主要研究成果
本节提出了一种分布式自适应状态观测器，用于估计虚拟领导者的状态信息，这对于实现精确的轨迹跟踪至关重要。在复杂的海洋环境中，无人机-无人水面艇系统的固定分队形态难以在狭窄通道中顺利航行。通过结合自适应性能约束函数与最优控制理论，设计了分布式最优分队控制器，并引入FEWNN结构，在强化学习策略中求解哈密顿-雅可比-贝尔曼方程，实现对系统行为的精准描述。

仿真分析
为验证所提控制方法的有效性，本节给出了一个仿真示例。该无人机-无人水面艇系统采用由两架无人机、四艘无人水面艇及一艘虚拟领导者组成的分队形式，其通信拓扑结构如图5所示。仿真中采用了无人机（Cheng等人，2021）与无人水面艇（Skjetne等人，2004）的动态模型，相关模型参数可见于（刘等人，2025b）。无人机-无人水面艇系统初始的期望形态为……

结论
为在复杂环境中实现稳健的分队跟踪控制，本文专门为无人机-无人水面艇系统设计了一种新型分布式最优控制器，该控制器整合了FEWNN、强化学习技术以及自适应性能约束功能。本研究针对跟踪难题展开研究，采用了受自适应性能约束的最优控制方法、编队重配置策略，以及应对集中不确定性的机制。首先，编队中的每个跟随者都会获得相应的虚拟CRediT作者贡献声明：刘海涛负责写作——审稿与编辑、写作——初稿、方法论、概念设计；黄慧婷负责写作——审稿与编辑、写作——初稿、方法论、概念设计；田学红负责监督与调研；麦庆群负责监督与调研。

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
本研究得到了广东省基础与应用基础研究基金[项目编号2024A1515011345]、广东省教育厅重点项目[项目编号2023ZDZX1005]、广东省普通高校创新团队项目[项目编号2024KCXTD041]、国家自然科学基金[项目编号52571405、62171143]以及湛江市科技规划项目[项目编号2021A05023]的支持。