分层自适应PID调优在敏捷飞行中的应用：一种基于安全约束的强化学习方法 钟天（Zhong Tian） 胡森（Sen Hu） 傅浩（Hao Fu） 朱伟宇（Weiyu Zhu） 张邦楚（Bangchu Zhang）

《Aerospace》：Hierarchical Adaptive PID Tuning for Agile Flight: A Safety-Constrained Reinforcement Learning Approach Zhong Tian, Sen Hu, Hao Fu, Weiyu Zhu and Bangchu Zhang

　　

摘要

多旋翼无人机（UAV）在执行激进机动操作时，其控制性能会显著下降，这主要是由于空气动力学的非线性和耦合效应所致。传统的固定增益PID控制器难以同时满足在广泛飞行范围内的性能和鲁棒性要求。为了解决这一问题，本文提出了一种新的分层安全约束强化学习（RL）框架，用于自适应PID调节：内环采用固定增益，外环利用近端策略优化（PPO）进行在线自适应增益调度，而线性矩阵不等式（LMI）约束则确定了自适应探索的鲁棒参数范围。重要的是，LMI的可行性严格保证了在线性参数变化（LPV）框架内线性化顶点处固定内环参数的理论稳定性。同时，在线外环RL阶段受到安全边界和拉格朗日惩罚机制的保护，这既是一种有效的工程保障，也无需严格的全局稳定性证明。全面的高保真仿真测试表明，与基线固定增益PID控制器相比，所提出的框架在高速阶跃响应中使超调减少了18.5%，并且在100次随机混合轨迹试验中整体平均RMSE提高了15.0%（在高度动态的场景中改进幅度高达40.9%），从而在不同模型变化的情况下依然保持了轨迹跟踪精度和扰动抑制能力的稳定提升。通过将控制理论的硬约束与基于RL的软参数调节无缝结合，所提出的架构为大范围飞行控制提供了一个安全且高度自适应的解决方案，展现了其在工程实践中的强大价值。