基于Actor-Critic强化学习的电静液作动器改进自抗扰控制方法研究

针对电静液作动器(EHA)在参数不确定性和时变扰动下的控制难题，研究人员提出了一种基于Actor-Critic强化学习的改进自抗扰控制方法(A-C ADRC)。该方法通过径向基函数(RBF)神经网络构建价值函数，结合梯度下降权重更新策略，实现了无先验知识的参数自整定和扰动实时补偿。实验表明，系统误差收敛至零邻域，且在不同扰动下保持稳定控制性能，显著提升了EHA的抗干扰能力。

　　

电静液作动器(EHA)凭借高集成度和低节流损失的优势，在航空航天和工业领域广泛应用。然而，机电-液压一体化系统中的参数不确定性和非线性扰动严重影响了EHA的控制性能。传统方法如滑模控制、自适应控制等虽有一定效果，但依赖高精度模型且参数调整繁琐。自抗扰控制(ADRC)虽能统一处理内外扰动，但其参数整定仍面临人工依赖性强、泛化能力不足的瓶颈。为此，山东某高校团队在《Engineering Applications of Artificial Intelligence》发表研究，提出基于Actor-Critic强化学习的改进ADRC方法，为EHA的智能控制提供了新思路。

研究采用三项关键技术：1) 通过RBF神经网络实时逼近代价函数和价值函数；2) 利用Actor网络实现系统状态到控制参数的映射，Critic网络基于拉格朗日性能指标评估控制效果；3) 结合李雅普诺夫函数证明闭环系统稳定性。实验依托EHA测试平台，采用TMS320C28346处理器实现算法验证。

Scheme and modeling
建立包含永磁同步电机(PMSM)、定量泵和液压缸的EHA数学模型，分析其受摩擦、泄漏和外部扰动影响的动态特性。

Lemmas and assumptions
提出基于RBF神经网络的Actor-Critic算法框架，相比传统离线强化学习，其局部逼近能力更适合实时环境交互。

Stability analysis
通过构造李雅普诺夫函数V_e
=e^T
Pe，证明系统误差e₁
、e₂
、e₃
在参数α₁
/ε、α₂
/ε²
、α₃
/ε³
设计下渐近稳定。

Model verification
搭建含力传感器、位移传感器的实验平台，验证控制方法在负载扰动和白噪声干扰下均能保持权重有界性和控制一致性。

Conclusion
该研究实现了三大突破：1) 无需先验知识的在线参数自整定；2) 梯度下降法降低决策延迟误差；3) 最优指标评价增强抗时变扰动能力。相比传统ADRC，A-C ADRC在相似扰动规模下控制性能提升显著，为复杂液压系统的智能控制提供了可借鉴的方法论。研究获得山东省自然科学基金(ZR2023ME178)和国家自然科学基金(52305265)支持，相关技术有望拓展至其他机电液一体化领域。