分布式固定翼无人机编队的自适应最优控制：预定义时间收敛性与演员-评论家学习的集成

《Neurocomputing》：Adaptive optimal control for distributed fixed-wing UAV formations: Integration of predefined-time convergence and actor-critic learning

提出一种融合预定义时间估计机制的actor-critic强化学习最优控制框架，解决固定翼多无人机 Formation 控制中模型不确定性与外部扰动问题，通过分布式跟踪控制框架和扰动观测器抑制干扰，硬件在环实验验证了方案在用户指定时间内实现最优性能和系统稳定性。

　　本研究提出了一种新颖的预定义时间最优编队控制方案，专门针对受到模型不确定性和外部扰动影响的固定翼多无人机系统。该方案的核心创新在于将预定义时间估计机制整合到一个Actor-Critic框架中，从而确保系统在用户指定的时间内实现最优性能与稳定性。这种整合方式不仅克服了传统强化学习（RL）算法依赖投影算子进行独立更新所带来的局限性，还为实际应用中对控制时间的精确预测提供了保障。研究进一步设计了一个改进的分布式编队跟踪控制框架，该框架在保持相对位置关系的同时，还能够实现与领航机的航向同步。此外，研究还引入了一种改进的扰动观测器，用于抑制复杂扰动在相对运动模型中的传播效应。通过专门构建的硬件在环（HIL）测试平台进行实验验证，结合商业飞行控制器与实时模拟器，结果表明所提出的控制方案在复杂飞行环境中具有显著的优越性和有效性。

固定翼无人机编队控制是当前研究的一个热点领域，因其在空地协同、协同探测、通信、搜救（SAR）和目标包围等任务中的广泛应用而受到广泛关注。相较于传统的集中式控制方法，分布式控制框架因其通过局部信息交换实现全局一致性而展现出更强的可扩展性。特别是在固定翼无人机编队中，由于其严格的空气动力学约束（如最低空速要求）、非完整约束以及三维空间中的严格协调需求，使得编队控制面临独特的挑战。已有研究尝试通过不同的方法解决这些问题，例如，有研究开发了一种基于旋转平移不变性的编队控制器，适用于具有非完整约束的固定翼无人机模型；另一项研究则提出了一种结合分布式观测器和鲁棒控制屏障函数的安全保障控制框架，用于在速度约束下实现固定翼无人机的编队跟踪；还有一项研究设计了一种基于反步法的协同引导控制律，通过Lyapunov分析证明了其稳定性。然而，这些方法在处理外部扰动时存在一定的不足，未能充分考虑其对系统鲁棒性和实际应用的影响。

外部扰动在现实无人机运行中是不可避免的，例如风速突变、传感器噪声以及模型不确定性等因素都会对无人机的飞行性能产生显著影响。现有的扰动抑制策略主要包括滑模控制（SMC）、模型预测控制（MPC）以及基于扰动观测器的方法。例如，有研究开发了一种基于滑模控制的质量自适应融合方法，用于应对质量变化带来的扰动；另一项研究则结合了MPC和Standoff算法，设计了一种扰动抑制跟踪控制策略，以同时应对大气扰动和目标机动干扰；还有一项研究提出了一种结合成本导向切换律和扰动观测器的协同控制器，用于在复杂扰动和拓扑结构变化下实现无人机编队的最优控制。然而，尽管这些方法在一定程度上能够缓解外部扰动的瞬时影响，但它们未能有效解决由于模型不确定性导致的稳态误差累积问题，因此无法在复杂飞行环境中保证无人机编队的全局最优性。

为了克服上述问题，研究提出了一种结合鲁棒控制与最优控制方法的混合控制策略。强化学习算法因其在处理复杂系统和非线性问题方面的潜力，成为优化无人机编队控制的一种有前景的手段。已有研究尝试将强化学习应用于多无人机编队跟踪，例如，有研究开发了一种基于前馈-反馈学习的最优控制框架，用于在复杂扰动环境下实现多无人机的编队跟踪；另一项研究则提出了一种事件触发的最优一致性跟踪控制方案，通过在Hamilton-Jacobi-Isaacs（HJI）方程基础上进行策略迭代，解决了多无人机编队跟踪问题。然而，这些方法在实现最优控制时，仅能保证渐近收敛，这在实际应用中可能会受到限制。

为了实现更快的收敛速度和更高的控制精度，研究引入了有限时间收敛方法，将其应用于无人机控制中。有限时间算法能够在较短时间内实现系统的稳定，这对于无人机在动态和潜在对抗性环境中的快速响应和协调至关重要。已有研究尝试将有限时间算法与最优控制相结合，例如，有研究将有限时间算法融入最优控制协议中，并在无人机编队跟踪中进行了验证；另一项研究则提出了一种基于预测器的有限时间滑模最优控制方案，以解决收敛速度的问题；还有一项研究结合了模型引导的强化学习闭合回路算法与有限时间控制方法，以在有限时间内实现无人机编队的精确轨迹跟踪。然而，这些有限时间控制方法的收敛时间上限往往高度依赖于控制参数，使得提前确定收敛时间变得困难。

基于上述研究现状，本文的主要贡献包括以下几个方面。首先，与现有研究中使用切线角进行编队保持不同，本文提出的框架引入了相位角，使得跟随者能够与邻居保持航向同步，同时维持相对位置关系。这种设计使得无人机在重新配置过程中能够快速响应领航机的航向变化。此外，还设计了一种新的扰动观测器，用于抑制复杂外部扰动并减少其在相对运动模型中的传播效应。其次，与现有的有限时间最优控制方案相比，本文提出的方法允许用户预先设定无人机编队的期望收敛时间，这一时间不依赖于系统的初始条件，能够灵活地满足实际任务中对控制时间的预测需求。通过将预定义时间稳定性理论整合到最优控制器中，本文设计了一种能够主动执行用户指定时间约束的控制器，从而确保无人机编队系统在有限时间内实现最优性能。最后，与传统的强化学习算法相比，本文提出的方案实现了Actor和Critic网络的同时在线更新，从而消除了对独立更新过程中持续激励条件的依赖，并降低了计算复杂度。此外，本文还严格证明了基于梯度的强化学习更新过程中估计误差的有界性，这放宽了传统方法中对先验有界权重更新误差的要求，从而克服了传统强化学习算法的局限性。

为了实现上述目标，本文首先引入了图论概念，用于描述多无人机系统中的通信网络。该通信网络包含一个虚拟领航机和若干固定翼无人机，通过图结构可以清晰地表示无人机之间的信息交互关系。节点集合包含了所有无人机，边集合则表示无人机之间的通信连接。邻接矩阵用于描述无人机之间的连接关系，而拉普拉斯矩阵则用于计算系统的全局一致性。如果节点i和节点j之间存在通信连接，则邻接矩阵的相应元素为1，否则为0。此外，研究还定义了跟随者i的邻居集合，以进一步描述无人机之间的交互关系。

在无人机动力学建模方面，本文考虑了一个由多个相同固定翼无人机组成的系统。每个无人机的动力学行为受到多种因素的影响，包括空气动力学特性、控制系统设计以及外部扰动等。通过建立合理的动力学模型，研究能够准确地描述无人机的运动特性，并为后续的控制设计提供理论基础。本文还特别关注了外部扰动对无人机动力学模型的影响，提出了相应的扰动观测器，以有效抑制这些扰动对系统性能的负面影响。

本文的核心部分是预定义时间优化编队控制器的设计。研究采用两步反步法（backstepping）技术，设计了一个能够实现优化控制的框架。该框架结合了Actor-Critic强化学习算法，使得虚拟控制器和实际控制器的设计均能够满足最优性要求。研究通过构建一个总Lyapunov函数候选，用于分析系统的稳定性。Lyapunov函数的构造基于系统的动力学特性，能够有效描述系统的能量变化情况。通过分析Lyapunov函数的导数，研究能够证明系统在预定义时间内实现稳定，并且误差信号能够在有限时间内收敛。

为了验证所提出控制方案的有效性，本文进行了硬件在环（HIL）实验。实验使用了由北京Links公司提供的Links-RT平台，该平台结合了开发计算机、Pixhawk飞行控制器和实时模拟器，能够真实地模拟无人机的飞行环境。实验平台的结构如图4所示，其各组件之间的交互关系如图5所示。研究在MATLAB/Simulink中开发了控制策略，并将其转换为C代码，以便在HIL测试平台上进行实时验证。实验结果表明，所提出的控制方案在复杂扰动环境下能够保持较高的编队精度，并且在预定义时间内实现稳定，验证了其在实际应用中的可行性。

此外，本文还提出了一种改进的扰动观测器，用于抑制外部扰动在相对运动模型中的传播效应。该观测器能够实时估计扰动的大小和方向，并将其从系统的控制输入中分离出来，从而提高控制的鲁棒性。通过将扰动观测器与编队控制相结合，研究能够在不依赖传统先验误差界限的情况下，实现对系统误差的有界估计，进一步提升了控制方案的可靠性。

本文的研究成果不仅在理论上具有重要意义，而且在实际应用中也展现出巨大的潜力。通过将预定义时间稳定性理论与强化学习算法相结合，研究提出了一种能够实现最优控制且具备严格时间约束的框架，为无人机编队控制提供了一种新的解决方案。此外，通过改进的扰动观测器和分布式控制框架，研究有效解决了外部扰动和模型不确定性对系统性能的影响，提升了无人机在复杂环境中的适应能力。实验结果进一步验证了所提出方法的有效性，表明其在实际飞行任务中具有较高的可靠性和实用性。

综上所述，本文提出了一种新颖的预定义时间最优编队控制方案，解决了现有方法在处理模型不确定性和外部扰动方面的不足。通过引入相位角、改进扰动观测器以及结合强化学习算法，研究实现了对无人机编队的精确控制，并确保了系统在用户指定时间内达到稳定状态。这一成果不仅拓展了无人机编队控制的研究范围，还为未来复杂任务中的无人机协同提供了新的思路和方法。