V型尾翼飞机的深失速动态分析及基于混合策略与约束强化学习的恢复方法

《Aerospace Science and Technology》：Deep-Stall Dynamic Analysis of V-Tail Aircraft and Recovery Using a Hybrid Strategy with Constrained Reinforcement Learning

　　余莉|刘晓雄|徐新龙|谭正|文志永|李妮|郑元石
香港理工大学航空航天工程系，中国香港999077

**摘要**
深度失速是一种极其危险的飞行状态，对飞行安全构成严重威胁。为应对这一挑战，本文研究了一种基于安全性约束的深度失速恢复方法，该方法结合了强化学习与预定时间控制技术。首先，利用俯仰空气动力学分析、分岔理论和相图方法系统研究了V尾飞机的深度失速特性。然后，通过将预定时间的增量控制与惩罚型近端策略优化算法相结合，提出了一种混合强化学习基础的恢复策略。在该策略中，安全性要求被转化为策略约束，确保快速恢复过程符合飞行安全要求。此外，本文还明确考虑了深度失速恢复后的恢复正常飞行状态。采用了完整的六自由度飞机模型，使得副翼与其他控制面能够协同工作，辅助完成俯仰-摇摆恢复动作。通过对比实验评估了该策略的有效性、鲁棒性和泛化能力。结果表明，所提出的恢复策略能够实现快速且安全的深度失速恢复，并且生成的恢复策略与飞行员的操作习惯高度契合，因此特别适合实际工程应用。

**引言**
深度失速是一种特殊的失速后飞行状态。一旦飞机进入这一区域，它将卡在高迎角（AOA）状态，并经历快速的高度下降[1]。与常规失速不同，常规失速通常可以通过升降舵引起机头下俯来恢复，而深度失速的特点是气流严重分离，并在尾部表面形成复杂的尾流，这大大降低了升降舵的效能，无法产生足够的机头下俯力矩来减小迎角。因此，飞机可能陷入高迎角平衡状态，可控性显著下降，恢复变得极其困难[2]。对于V尾飞机而言，方向舵同时负责俯仰和偏航运动的控制。在深度失速期间，主翼产生的分离尾流和强涡流会淹没V尾，导致动态压力和控制效能大幅降低，俯仰和偏航控制能力均大幅削弱，使得飞行控制更加复杂，失速恢复更加具有挑战性。

为了帮助飞行员尽快从深度失速中恢复并提高飞行安全，研究人员付出了巨大努力并进行了大量相关研究。文章[3]首次使用分岔分析方法研究了飞机在高迎角下的动态行为。文章[2]应用分岔理论和非线性频率方法分析了F-16战斗机的深度失速特性，并提供了从深度失速状态中逃逸的机动策略。对于T尾客机，文章[4]、[5]通过频域分岔分析识别了分歧共振频率，从而推导出可能的深度失速恢复机动。文章[6]以Learjet 23D飞机为例，分析了深度失速平衡路径及其动态特性，并提出了一种基于平衡点附近状态演变的实时检测算法。文章[7]开发了一种平方和技术实现稳定恢复，该技术在固定翼飞机上得到了验证。文章[8]通过分岔分析评估了执行器故障对高迎角下飞机稳定性的影响，并设计了一种有限时间规定的深度失速恢复律。在恢复控制方面，文章[9]、[10]分别采用了基于粒子群优化的模糊控制和开关控制来开发恢复控制器。

随着控制技术的快速发展[11]、[12]，强化学习（RL）作为一种人工智能方法，通过代理与环境迭代交互，以奖励或惩罚的形式接收反馈，并不断优化策略以探索和识别复杂决策问题的最优解[13]。因此，RL已在多个领域得到广泛应用，特别是在航空航天领域[14]。文章[14]提出了一种端到端的视觉辅助深度RL方法，用于无人机在移动平台上的降落，无需显式提取状态信息。文章[15]为四旋翼无人机开发了一种级联飞行控制器，结合了深度RL和传统控制，显著简化了超参数调整。文章[16]提出了一种增量RL算法，以提高无人机在干扰环境中的鲁棒性。文章[17]应用了无模型深度RL框架来训练飞行控制策略，提高了飞机对模型误差的鲁棒性和不同飞机之间飞行控制器的互换性[17]。

为了帮助飞行员尽快从深度失速中恢复并提高飞行安全，研究人员开展了大量研究。本文尝试应用惩罚型近端策略优化（P3O）算法来解决上述问题，提供了一种新的视角和潜在的突破性解决方案[23]、[24]。

从结构上看，之前的失速恢复研究[19]、[20]、[21]、[22]主要采用端到端学习策略，其中RL直接生成控制面偏转指令。这种策略将感知、决策和控制集成到一个统一框架中，使代理能够通过互动学习了解失速飞机的特性，并在复杂的深度失速情况下生成有效的偏转指令。尽管端到端RL策略具有潜力，但它也存在一些局限性：
1. **训练复杂性高**：在端到端结构中，RL不可避免地受到角速率和扰动的复杂动态特性的影响。此外，状态空间的复杂性增加了探索负担，通常导致训练时间延长和解决复杂问题时样本效率不佳。
2. **可解释性有限**：由于控制器完全内置于RL策略中且作为黑盒模型，整个控制过程缺乏透明度和可解释性，难以分析或证明其鲁棒性。这对于确保飞行控制系统的安全性和可靠性尤为重要。
3. **对训练环境和数据的依赖性强**：训练环境和数据会影响学习到的策略。在存在不确定性、未建模动态以及训练过程中未遇到的情况时，恢复性能可能会下降，从而影响实际应用中的泛化能力和深度失速恢复的成功率。

本文旨在解决这些基于RL的深度失速恢复中的关键挑战。文献[25]、[26]提出了一种创新解决方案，将RL与非智能控制器结合，以实现更高效和可靠的决策与控制[25]、[26]。在这层架构中，RL负责高级决策，生成指导指令，而传统控制器作为低级执行模块，精确调节系统的动态响应。这种策略不仅显著降低了学习复杂性，提高了策略的可解释性，还增强了稳定性和鲁棒性。

基于以上分析，本文提出了一种基于安全性约束的V尾飞机混合控制策略。该策略将RL算法与增量非线性控制结合，并采用分层框架，有效解决了深度失速恢复的挑战。重要的是，将飞机关键状态的安全性约束引入训练过程，确保学习到的策略更贴合实际恢复要求。这种控制策略不仅有效防止了飞机失控，还进一步提高了恢复过程的安全性、稳定性和合理性。本文的主要贡献包括：
1. 本文利用俯仰空气动力学分析、分岔理论和相图方法，从静态和动态角度深入研究了V尾飞机的深度失速特性，为未来的深度失速恢复研究提供了宝贵参考。
2. 本文提出了一种结合安全性约束的RL和增量非线性控制的混合恢复策略。在此策略中，RL算法用于训练高级恢复策略，而增量控制器负责执行角速率跟踪，实现了恢复决策与飞行控制的完全解耦。这种分层结构不仅提高了策略的可解释性，还显著降低了解决方案的复杂性。据作者所知，这是首次应用非端到端RL方法解决深度失速恢复问题，也为航空航天安全研究提供了一个新的方向和有益的参考。
3. 本文采用P3O算法训练深度失速恢复策略。与之前的研究[27]、[28]相比，所提出的恢复策略在将安全要求转化为策略设计中的状态约束的同时，显著提高了恢复过程的安全性和可靠性。
4. 本文提出了一种具有预定时间（PT）收敛特性的新型增量非线性动态反演（INDI）控制，以提高飞机对干扰和模型不确定性的鲁棒性。与现有的增量控制[29]、[30]、[31]相比，所设计的基于PT的INDI（PTINDI）角速率控制器能确保角速率在用户定义的时间内准确跟踪决策指令，有效加速了恢复控制的响应速度，从而实现更快、更可靠的深度失速恢复。
5. 与现有的深度失速恢复研究[9]、[10]、[27]相比，本文不仅解决了深度失速恢复问题，还明确了恢复后的正常飞行状态。此外，采用了完整的六自由度（6-DoF）飞机模型，而不是传统的仅纵向的3-DoF模型，使得副翼与其他控制面能够协同工作，辅助完成俯仰-摇摆恢复动作，使恢复过程更加真实和具有代表性。

本文的结构如下：第2节建立V尾飞机模型；第3节从三个方面分析深度失速特性；第4节阐述深度失速恢复问题并明确控制目标；第5节设计深度失速混合策略；第6节通过一系列实验验证所提出的策略；第7节对全文进行总结。该飞机的质量（m）为38.25千克，翼面积（S）为0.76平方米，翼展（b）为1.46米，平均气动弦长（cˉ）为0.52米。该飞机配备了副翼（δal,δar）、方向舵（δvl,δvr）、襟翼（δfl,δfr）和发动机。对于副翼和襟翼，深失速特性分析指出，深失速本质上是由于在高迎角（AOA）时俯仰控制能力丧失而引起的一种纵向空气动力现象。因此，本节分析了V型尾翼飞机的俯仰力矩特性，并确定了其深失速状态下的特点。此外，还采用了分岔分析和相图方法来研究其在深失速条件下的静态和动态行为，以更深入地理解深失速的机制及其理论基础。

本文的目标是提出一种基于强化学习（RL）和经典控制方法的深失速恢复混合策略，以实现飞机的深失速安全恢复。飞行状态的动态可以用方程（1）-（4）来描述，其中s=[h,Va,α,β,?,θ,ψ,p,q,r]?表示飞机的状态向量，T和u分别代表推力和控制面的偏转量。在实际应用中，角速率p、q、r通过陀螺仪测量，而姿态角?、θ、ψ则通过其他传感器获取。

深失速安全恢复的主要目标是确保飞机迎角能够成功脱离深失速区域。根据第三部分的分析，设计的基于P3O的策略模块不仅需要将迎角降低到合理的范围内，还需要防止其重新进入深失速状态。在恢复之前，该模块的主要任务是迅速将迎角降至安全范围。

本节全面评估了所提出的深失速安全恢复策略的性能和鲁棒性。在后续的模拟中，所有执行器的动态都使用一阶传递函数G(s)=ka/(s+ka)进行建模，其中带宽ka选为40 rad/s。执行器受到位置限制，范围从-20°到20°，以及速率限制，范围从-60°/s到60°/s。飞机在飞行条件h=1000m和Va=20m/s下进入深失速状态。

本文研究了V型尾翼飞机的深失速安全恢复问题。通过俯仰空气动力分析、分岔理论和相图方法对深失速特性进行了全面分析。随后，提出了一种结合预定义时间增量控制和惩罚性近端策略优化算法的混合策略来解决深失速安全恢复问题。该策略采用了分层框架，实现了对飞机行为的完全控制。

本研究工作得到了国家自然科学基金（项目编号62073266、62273267和52372398）和中国航空科学基金会（项目编号201905053003）的资助。同时，该工作还得到了广东理工大学无人机自主系统研究中心（RCUAS）的支持。

作者声明：作者们声明没有已知的财务利益冲突或个人关系可能影响本文报告的工作。