永磁同步电机驱动中基于时序特征增强强化学习与速度环增益自适应的控制方法

《Energies》：Temporal-Feature-Enhanced Reinforcement Learning Control with Adaptive Speed-Loop Gain for PMSM Drives

　　

永磁同步电机（PMSM）驱动的高性能控制面临运行不确定性与机电耦合动态的挑战。研究人员提出了一种时序特征增强的强化学习（RL）控制方法，用于带速度环增益自适应调节的PMSM驱动系统。学习智能体被集成于双环控制结构中，以生成电压控制指令并实时更新速度环增益。设计多目标学习准则以平衡跟踪精度、转矩平滑性与增益有界性。时序误差特征进一步嵌入状态表示，以有限额外复杂度捕捉短期瞬态趋势。与传统比例–积分（PI）控制和标准双延迟深度确定性策略梯度（TD3）的比较仿真表明，所提方法改善瞬态响应、减小转速跟踪误差并抑制转矩脉动。这些结果证明了时序特征增强强化学习用于PMSM驱动协调控制的有效性。

研究背景方面，永磁同步电机（PMSM）因高效率、紧凑结构与快动态响应广泛用于工业自动化、电动交通与高性能伺服系统。磁场定向控制（FOC）配合级联比例–积分（PI）调节器虽结构清晰、便于嵌入式实现，但其效果高度依赖控制器标定与电机模型参数精度；在参数变化、负载扰动与工况切换下，定增益结构难以维持理想电流与转速响应。自适应控制、滑模控制（SMC）、模型预测控制（MPC）等先进策略各有局限，MPC依赖预测模型精度与在线算力。强化学习（RL）可通过与环境交互优化策略，降低模型依赖，其中双延迟深度确定性策略梯度（TD3）在连续动作控制中具稳定性优势。现有RL-PMSM研究多聚焦单一目标，且观测设计常忽略关键跟踪误差的近期演化信息。为此，研究人员在级联FOC框架内提出记忆增强自适应增益TD3（MAG-TD3）方法，嵌入时序误差特征，并协同调节d-q轴电压指令与速度环比例增益，以捕捉机电耦合行为。

关键技术方法上，研究人员在MATLAB/Simulink R2025a环境建立三相PMSM离散化d-q模型与两电平电压源逆变器约束，将RL智能体替代传统d-q轴电流PI调节器，保留外环速度PI结构但引入有界自适应比例增益因子α(k)∈[α_min,α_max]。状态观测由归一化转速、d-q电流反馈、跟踪误差、电流误差积分项及轻量递归记忆特征m_ω、m_iq（式23 tanh有界有限阶递归）构成；动作为归一化v_d^*、v_q^*与映射至增益因子的α_act；奖励函数（式26）融合转速/i_d/i_q跟踪、电磁转矩变化ΔT_e、电压指令幅值、增益变化惩罚及安全约束项。算法采用TD3（裁剪双Q、目标策略平滑、延迟更新、软目标更新），训练超参见表2，基线为固定增益PI与标准TD3。

研究结果部分，第2节问题建模中，研究人员给出PMSM电压方程（式1-2）、转矩式（式3-4，面贴式L_d=L_q）、机械动态（式5-6）及欧拉前向离散电流模型（式7-8），明确电气与机械通过T_e耦合；增益自适应速度环（式11-15）以K_p,eff=α·K_p0实现有界在线调参；控制目标（式16-21）写成含电流/转速/转矩平滑/电压/增益罚项的归一化有限窗代价。第3节学习框架将系统列为MDP，状态如式22含m_ω、m_iq，动作如式24-25，奖励如式26，TD3更新如式27-31，证明时序特征与有界动作可保闭环稳定。第4节评估中，训练收敛（图3）显示累积奖励先波动后平稳，归因记忆观测与自适应增益降低瞬态歧义；稳态80%额定转速（图4）下MAG-TD3转速更准、i_d≈0维持更好、i_q波动更小，转矩纹波（1.50-1.52 s放大）低于PI与TD3；动态20%→60%额定转速（图5-6，表3）中MAG-TD3超调9.194%、稳定时间0.2125 s、转速RMSE 0.0451 rpm/MAE 0.0238 rpm、i_q RMS 0.0562 A、T_e RMS 0.0581 N·m，均优于基线，自适应增益在瞬态区间调整而近稳态少变（图6）；正反转加负载突变（0.2→-0.2 rpm@1 s，T_L 0.3→0.6 N·m@2 s，图7）下MAG-TD3反转更平滑、抗扰更强。

讨论与结论部分，研究人员指出MAG-TD3将智能体嵌入双环架构，以时序特征提供近期误差演化紧致信息，多目标准则权衡跟踪/转矩平滑/增益有界，在转速阶跃、正反转与负载扰动下较PI与标准TD3改善瞬态、精度与纹波。原结论译为：本文提出一种带速度环增益自适应的时序特征增强强化学习控制方法用于PMSM驱动；框架将学习智能体集成于双环结构，协调电压指令生成与速度环增益在线调节；时序特征表示提供近期误差演化的紧致信息，多目标学习准则引导策略在跟踪性能、转矩脉动抑制与增益有界间平衡。与传统PI及标准TD3的仿真比较验证了所提方案在瞬态响应、转速跟踪精度、更平滑转矩行为与抗扰上的优势，证明了时序特征增强与自适应增益调节对提升RL控制器动态感知及促进PMSM驱动协调调节的有效性。未来工作聚焦实验验证、更宽工况与电机配置下的鲁棒性、收敛性理论分析及嵌入式平台实时实现。论文发表于《Energies》。