基于零和博弈的实用预定义时间强化学习用于高柔性飞行器鲁棒跟踪控制

《Electronics》：Zero-Sum Game-Based Practical Predefined-Time Reinforcement Learning for Robust Tracking Control of Highly Flexible Aircraft

　　

本文开发了一种基于零和博弈的实用预定义时间强化学习方法，用于高柔性飞行器的鲁棒跟踪控制。首先，将高柔性飞行器的受扰跟踪问题转化为最小-最大最优控制问题，其中控制器最小化无限时域性能指标，而对抗性扰动最大化该指标。然后，使用评判神经网络（Critic Neural Network）在线逼近Hamilton–Jacobi–Isaacs方程的解，并构造分数幂评判更新律，使得评判权重估计误差在用户预定义时间内收敛到有界邻域。严格证明了闭环有界性和评判权重估计误差的实用预定义时间收敛性。进行了多项仿真以验证该控制算法的先进性、有效性和鲁棒性。总体而言，结果表明所提方法为高柔性飞行器的鲁棒跟踪控制提供了一种有效的实用预定义时间学习框架。

高柔性飞行器（Highly Flexible Aircraft, HFA）因其轻质大展弦比机翼和强气动弹性耦合，成为先进飞行控制研究的代表性基准。柔性变形同时改变结构响应与刚体运动，导致强刚柔耦合、显著非线性和建模不确定性，这使得控制器设计极具挑战。已有非线性控制方法（如非线性动态逆、输出反馈、轨迹控制、阵风载荷缓解等）大多依赖较精确的模型，而强化学习（Reinforcement Learning, RL）和近似动态规划（Approximate Dynamic Programming, ADP）可通过系统数据学习价值函数与策略，降低了对漂移动力学的依赖。然而，现有RL控制器仍面临两个关键困难：学习收敛时间无法由设计者显式指定，且外部扰动在学习过程中未被作为最坏情况策略输入处理。零和微分博弈为鲁棒RL提供了自然框架，但已有固定时间结果保守，且不能直接设定实际收敛时间。为此，研究人员开发了基于零和博弈的实用预定义时间强化学习方法，并发表于《Electronics》。

研究人员将HFA的受扰跟踪问题转化为最小-最大最优控制问题：控制器最小化无限时域性能指标，对抗性扰动最大化该指标。利用评判神经网络在线逼近Hamilton–Jacobi–Isaacs（HJI）方程的解，并设计分数幂评判更新律，使评判权重估计误差在用户预定义时间内收敛到有界邻域。通过复合李雅普诺夫分析，严格证明了闭环系统的均匀最终有界性（Uniformly Ultimately Bounded, UUB）以及评判权重估计误差的实用预定义时间收敛性。

主要关键技术方法包括：其一，建立零和微分博弈架构，将鲁棒跟踪问题转化为min-max最优控制问题，得到最优反馈Nash策略；其二，采用评判神经网络参数化最优价值函数，通过在线逼近HJI方程解实现控制策略重构；其三，构造分数幂更新律，结合当前和历史的Bellman残差，并利用历史数据堆栈满足充分激励条件，从而在预定义时间内保证权重估计误差收敛；其四，采用复合李雅普诺夫函数分析评判学习动力学与物理跟踪动力学的耦合稳定性。

研究结果分为四部分。5.1 不同配平点：选取二面角分别为15度和5度的两个配平点，代表较大和较小的弹性变形情形。仿真表明，两组参数下速度、迎角和二面角均能在短暂初始调整后实现有界跟踪，控制输入平滑，评判权重在预定义学习窗口内集中更新并保持有界，Bellman残差也保持在有界范围内。这验证了零和RL策略对模型参数变化具有一定鲁棒性。5.2 与传统方法比较：与传统积分强化学习（Integral Reinforcement Learning, IRL）算法进行对比。结果显示，所提方法具有更快的瞬态响应，能在较短时间内使状态收敛到期望参考值，而传统IRL方法响应缓慢，难以达到稳态目标；所提方法将跟踪误差高精度驱动至零附近，而传统IRL存在持续漂移或偏移；虽然所提方法初期控制幅度较大，但能快速稳定，有效利用控制能量，而传统IRL因控制输入保守导致调节不足。该比较验证了所提方法在收敛速度、稳态精度和瞬态响应质量上的显著优势。5.3 模型不确定性：在系统矩阵中引入匹配不确定性，设置无不确定性、低不确定性、高不确定性和负不确定性四种情形。仿真表明，在所有测试的不确定性水平下，跟踪性能几乎保持不变，命令轨迹与测量轨迹在短暂瞬态后紧密重合，稳态误差可忽略；控制输入有界平滑，无饱和或持续振荡；评判权重收敛到有界值，权重更新增量迅速衰减，Bellman残差下降多个数量级并保持接近零。这证明该方法对建模误差不敏感，具有强鲁棒性。5.4 测量噪声：在测量输出中加入噪声后，跟踪误差仍保持有界，并在短暂瞬态后降至零附近；评判权重呈现有界学习响应，并逐渐接近稳态值。这表明测量噪声不会显著降低所提方法的跟踪性能。

总结讨论部分：论文通过理论证明和系列仿真，系统验证了基于零和博弈的实用预定义时间强化学习框架在HFA鲁棒跟踪控制中的有效性。研究结论可翻译为：本文提出了一种用于高柔性飞行器鲁棒跟踪控制的实用预定义时间强化学习方法。采用零和微分博弈公式对跟踪控制器与最坏情况扰动之间的交互进行建模；引入评判神经网络在线逼近HJI方程的解，并开发分数幂更新律，使评判权重估计误差在指定学习时间内收敛到有界邻域；复合李雅普诺夫分析建立了耦合闭环系统的均匀最终有界性。基于两组HFA参数集的不同配平点实验表明，所提方法能在外部正弦扰动下实现有界跟踪；与传统IRL方法的比较证明了其优越性；模型不确定性实验表明该方法在不同模型不确定性下表现良好。考虑执行器饱和和时间延迟的基于零和博弈的实用预定义时间强化学习控制是未来工作的重要方向。