基于近端策略优化参数整定的四阶主动扰动抑制控制
《Engineering Applications of Artificial Intelligence》:Fourth-order active disturbance rejection control with proximal policy optimization for parameter tuning
【字体:
大
中
小
】
时间:2026年09月22日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
•提出一种基于PPO强化学习的自动参数调优方法。
•在高阶ADRC系统中实现性能突破。
•揭示高阶控制系统与强化学习之间的耦合关系。
引言
在工业制造和无人机的控制系统中,基于电机转速的周期性负载波动对转速控制构成了显著干扰。近年来,研究人员在多个控制方向上做出了重要贡献
•提出一种基于PPO强化学习的自动参数调优方法。
•在高阶ADRC系统中实现性能突破。
•揭示高阶控制系统与强化学习之间的耦合关系。
引言
在工业制造和无人机的控制系统中,基于电机转速的周期性负载波动对转速控制构成了显著干扰。近年来,研究人员在多个控制方向上做出了重要贡献,以提升永磁同步电机(PMSM)的瞬态性能。然而,随着控制系统性能的提升,对这些系统进行最优参数调优的需求变得日益关键。因此,在解决控制系统参数优化的过程中,本文引入强化学习来应对这一挑战。
关于电机控制瞬态性能的提升,扩张状态观测器(ESO)的研究通过若干关键贡献取得了进展。Li等人(2017)提出了一种切换控制方案,将线性ADRC和非线性主动抗扰控制(ADRC)的优势相结合。通过将非线性ADRC表述为多输入多输出(MIMO)Lurie型系统(Li和Xia,2024),后续工作利用线性矩阵不等式(LMI)建立了绝对稳定性条件。Hao(2022)通过迟滞切换和应用于切换主动抗扰控制(SADRC)的切换反馈律改善了系统跟踪性能。Zhang等人(2021)开发了一种增强的无模型预测电流控制,利用ESO优化了谐波、跟踪误差和动态特性。最后,You等人(2025)引入了一种双层优化策略,将智能算法与ESO相结合,以增强PMSM的鲁棒性。在准谐振抑制方面的研究中,Yang等人(2023)开发了一种固定时间自适应超螺旋谐振控制器,以提高PMSM的鲁棒性和电流平滑度。与此同时,Sun等人(2023)提出了一种增强的级联无模型预测控制方案,可同时抑制周期性和非周期性扰动,从而确保更平稳的转速运行。在自适应技术方面,Wang等人(2024)设计了一种有限时间自适应输出反馈控制器,以处理不确定性并避免复杂性爆炸。Huang等人(2023)采用基于LSTM的深度学习模型预测控制(MPC)并结合自适应梯度下降,在多模态运行中将过冲减少了约10%。Tian等人(2024)提出了一种自适应ADRC用于电流环,可在无需先验知识的情况下抑制不确定的周期性和非周期性扰动。在PMSM磁通控制方面,Zheng等人(2024)通过同相滤波器实现了精确的转子磁通、转速和位置估计,而Li等人(2026)提出了一种高保真实时建模方法,通过磁链数据计算电流导数,从而在实时数字仿真器(RTDS)上实现微秒级仿真。在模型预测和死拍控制研究中,Kawai等人(2023)设计了一种带有电压平滑器的有限控制集预测直接转速控制策略,在不增加计算负担的情况下抑制电流纹波。Zhang等人(2026)提出了一种改进的无模型死拍预测电流控制,用于高性能PMSM电流跟踪。在滑模控制方面,Ding和Liu(2025)将固定时间扰动观测器与非奇异快速固定时间滑模控制器相结合,实现了PMSM的精确且鲁棒的转速调节。Zhang等人(2025)开发了动态收敛的二阶滑模结构,在转速跌落抑制和调节时间方面分别达到了基于扰动观测器控制器性能的约97.3%和86.9%。关于替代控制架构的研究包括Mehrasa等人(2024),他们开发了一种基于新颖动态模型的鲁棒控制方法,以在参数波动下维持PMSM的稳定性。Yu等人(2025)针对螺旋弹簧储能系统中的可变扭矩和惯性问题,采用增量反步控制器提高了跟踪精度和转速响应。Megrini等人(2024)提出了一种采用扩展卡尔曼滤波器(EKF)的无传感器磁场定向控制方案,以实现快速准确的转速估计。
在强化学习用于系统优化方面,各种方法已被开发用于不同的应用。Cui等人(2024)设计了一种深度强化学习(DRL)超启发式方法,利用已有的低层启发式算法缩小搜索空间。为解决自主避障问题,Lou等人(2025)提出了一种基于深度确定性策略梯度(DDPG)的新颖预测-决策避障模型。在多机器人协调方面,Fu等人(2025)创建了用于编队和避障的深度强化学习分层控制框架,而Zhu和Hayashibe(2023)实现了基于子目标的策略以实现安全导航。Zhou等人(2026)开发了一种基于关键路径和点突变的新型搜索算法(SACP),有效平衡了全局探索与局部开发。在控制系统中,Wan等人(2025)将强化学习应用于有限控制集MPC,性能与传统方法相当;Ran和Xie(2022)使用并行学习观测器处理不确定漂移系统。Yang等人(2022)提出了一种基于双深度Q网络(Double DQN)的方法,为全球路径规划问题提供了新的解决方案。算法进展包括Wang等人(2020)通过策略迭代误差分析实现的加速方法,以及Lee等人(2015)用于非线性最优控制的积分强化学习框架。Shen等人(2026)将高斯混合模型(GMM)正则化与对比学习相结合,从声发射信号中提取低维、有判别力的潜在特征,用于磨损预测。在专业领域方面,Yang等人(2019)通过离策略强化学习和Riccati解法实现了鲁棒控制;Zhang等人(2022)将滑模控制与数据驱动强化学习相结合,用于受攻击系统;Yu和Zhao(2024)提出了用于量子控制的基于事件的强化学习;Yan等人(2022)将量子机器学习与多智能体强化学习相结合,用于微电网频率调节。
基于上述研究发现,为解决PMSM在周期性负载扰动下的转速波动问题,本研究采用四阶ADRC(4th-ADRC)作为转速控制器以增强控制性能。此外,整合带有PPO智能体的强化学习,以克服此类高阶非线性系统中参数优化的挑战。因此,本研究的主要贡献如下:
(1)在4th-ESO的基础上,采用带有PPO智能体的强化学习对4th-LESO和4th-NLESO的参数进行调优,适应不同的步长和跟踪信号。此过程针对每种观测器类型产生了旨在最小化积分误差的最优参数配置。
(2)基于两种不同的ESO架构,设计了采用磁场定向控制(FOC)的电机控制算法,即4th-NLADRC和4th-LADRC。其控制性能在周期性负载扰动条件下得到了验证。
章节摘要
**四阶ADRC算法**
在ADRC框架中,ESO的阶数从根本上决定了可在无结构失配情况下估计的总扰动的最高导数阶数。对于缓变或准静态扰动,低阶ESO已经足够,因为扰动可以在观测器的收敛范围内近似为常量。然而,本文研究的周期性负载呈现正弦变化,这意味着总扰动的一阶导数
**基于PPO智能体的强化学习参数调优算法**
4th-ESO的增益参数βi(i=1~4)对控制系统的跟踪精度具有显著影响。为简化ESO在不同系统中的参数调优过程,文献(Han,2008)提出了带宽法,简化了调优程序。然而,这种方法对增益参数之间数学关系的精度提出了严格要求(即参数配置)。传统的经验调优是在
**四阶ADRC**
为解决PMSM在周期性负载扰动下的转速稳定问题并验证4th-ADRC的控制性能,本研究建立了基于磁场定向控制(FOC)的PMSM驱动控制系统。4th-NLADRC和4th-LADRC分别作为PMSM的转速控制器实施,整体结构如图13所示。为简化解耦并最小化仿真中的无关变量,FOC驱动方案采用id=0
**不同类型负载扰动下的性能验证**
为研究控制系统在不同负载扰动下的性能,设计了一个仿真环境,其中PMSM在1000rpm下运行,并承受两种负载变化:15N?m的阶跃负载和频率为17Hz、幅值为10N?m的正弦负载波动。仿真环境使用ode23tb类型的变步长求解器。PMSM由三相二电平电压源逆变器(VSI)模型在理想条件下驱动,使用
**结论**
为提高PMSM在周期性负载扰动下的转速稳定性,本文引入了与高阶负载特性匹配的四阶ADRC系统。然而,对于高阶控制系统,经验参数调优难以确定参数与性能之间的关系。为解决此问题,本文研究了使用PPO智能体的基于强化学习的调优系统,以高阶误差信号的积分为奖励
**局限性与未来工作**
本研究提出了一种基于高阶转速控制和基于PPO的参数调优,用于稳定周期性负载扰动下的电机转速。然而,在算法验证和奖励函数设计方面仍存在一些局限性,需要在以下方向进一步研究。
关于控制性能验证,当前的仿真是在理想化的电流环动态和精确已知系统参数的条件下进行的,仅考虑了有限
**CRediT作者贡献声明**
张劲坤:撰写—初稿,可视化,方法学,调查,概念化。
王军:撰写—审阅与编辑,撰写—初稿,验证,资源,方法学,调查,资金获取,正式分析,数据管理,概念化。
杨怀宇:撰写—审阅与编辑,验证,软件,资源,项目管理,正式分析,数据管理。
张炽晨:撰写—审阅与编辑,验证,软件。
王家村:
**利益冲突声明**
作者声明不存在任何可能影响本文报告的已知竞争性财务利益或个人关系。
**致谢**
本研究由江苏省研究生研究实践创新计划资助[项目编号26CXJH1154]。我们确认原文中未包含资助声明,如果能在文章参考文献之前添加此资助声明,我们将不胜感激。感谢贵方的帮助。
张劲坤 | 王军 | 杨怀宇 | 张炽晨 | 王家村
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号