一种基于强化学习的自适应无迹卡尔曼滤波器与非线性模型预测控制结合的方法，用于电动汽车中的感应电动机控制

《Engineering Applications of Artificial Intelligence》：An adaptive unscented Kalman Filter with nonlinear model predictive control based on reinforcement learning for the induction motor control in electric vehicles

　　罗萨娜·C.B. 雷戈 | 卡米拉·多·A. 迪尼兹 | 乔尼·J. 埃克特 | 卢德米拉·C.A. 塞尔瓦
巴西北里奥格兰德联邦半干旱大学工程与技术系

**摘要**
电动汽车（EVs）已成为全球向可持续和节能交通转型的重要技术。感应电动机对于电动汽车动力系统的运行至关重要。然而，这些电动机的非线性和时变特性要求采用先进的控制技术来确保安全性和效率。基于学习的控制方法，特别是那些整合了计算智能的方法，通过处理系统不确定性并适应复杂环境，提供了有前景的解决方案。在这项工作中，我们提出了一种基于强化学习的非线性模型预测控制方法，并结合了一种新颖的自适应无迹卡尔曼滤波器（UKF），以满足电动汽车应用中对感应电动机控制的严格性能要求。所提出的控制器通过使用代表城市和激进驾驶场景的驾驶循环进行了仿真验证。结果表明，与传统方法相比，该方法在轨迹跟踪和对干扰的鲁棒性方面有所改进，突显了基于学习的非线性控制在实现安全高效电动出行方面的潜力。该方法在现实驾驶场景中实现了超过63%的最高效率。

**引言**
电动汽车（EVs）和其他电动化汽车已被广泛采用，以提高能源效率并保持高性能（Zhao等人，2021年；Bhule和Kaarthik，2022年）。这推动了汽车行业投资于电动汽车的设计，电动汽车在车辆性能方面取得了显著进步，并有助于减少温室气体排放，从而对抗气候变化（Bhule和Kaarthik，2022年；Maheswari等人，2025年）。电动汽车动力系统的优化进一步提高了行驶里程（Sahoo和Jena，2022年；Maheswari等人，2025年）。这种优化的一个基本方面是使用高效的电动机来提高车辆的行驶里程（Kasri等人，2024年；Marral等人，2025年），这是电磁（EM）推进系统的一部分（Zhou等人，2021年）。在现有的EM系统中，由于感应电动机（IMs）具有鲁棒性、低维护要求、成本效益高、初始扭矩大以及效率高等优点，因此被广泛使用（Aishwarya和Brisilla，2022年；Aishwarya和Brisilla，2023年）。

感应电动机具有挑战性的非线性动态特性，是近期控制方法应用的重要领域。它们在工业中有多种控制策略，如模型预测控制（MPC）（Zand等人，2021年；Nguyen等人，2022年）、基于模糊逻辑的MPC（Hamad和Ghalib，2024年）、优化的比例-积分-微分（PID）控制（Prabhakaran等人，2024年）、自适应控制（Tapia-Olvera等人，2024年）、滑模转矩控制（Zhou等人，2022年；Belay等人，2024年）以及智能控制（Quintero-Manríquez等人，2021年；Mahfoud等人，2022年；Lodi等人，2024年）。尽管有这些优势，但由于感应电动机的固有非线性动态特性、参数变化以及对负载变化和温度波动等外部干扰的敏感性，其在电动汽车中的控制仍然是一项复杂任务（Kellner和Pra?enica，2021年；Islam等人，2021年；Muduli等人，2022年；Roshandel等人，2023年；Kousalya和Singh，2023年）。例如，Islam等人（2021年）提出了三种基于适应性的非线性控制器，用于调节混合动力电动汽车（HEVs）的直流母线电压和速度跟踪。作者应用了磁场定向控制（FOC）来控制感应电动机的速度。同样，Muduli等人（2022年）为双开路绕组感应电动机开发了一种两阶段模型预测直接转矩控制（MPDTC）方法。所提出的控制方法能够跟踪参考速度和转矩，并保持平衡的充电状态（SoC）。

Mousavi等人（2023年）使用MPC提出了一种结合积分滑模观测器（ISMO）的超局部模型和自适应Luenberger观测器的混合预测转矩控制方法，通过消除电流预测中的参数依赖性和补偿磁通预测中的定子电阻变化来提高鲁棒性。同样，Kousalya和Singh（2023年）提出了一种优化工作点（OOP）选择方法，以减少功耗并提高感应电动机的效率。该方法与转子磁场定向控制（RFOC）相结合。相比之下，Roshandel等人（2023年）提出了一种感应电动机的最优设计方法。他们开发了一个子域模型（SDM）用于饱和度预测，以及一个用于瞬态温度分析的集总热模型。这些模型通过实验数据和有限元分析结果进行了验证。

近年来，在感应电动机的控制设计方面取得了显著进展。许多最新改进采用了MPC策略（Muduli等人，2022年；?avu?和Akta?，2023年；Yang等人，2025年）或智能控制（Traue等人，2022年；Song等人，2021年；Qi等人，2023年；Mishra等人，2025年）。例如，Traue等人（2022年）开发了一个开源工具箱，用于强化学习（RL）电机控制器的训练和验证。此外，Qi等人（2023年）提出了一种基于RL的参数查找表生成方法，可以在广泛的电流和速度范围内实现最优转矩。尽管RL具有适应性和在仿真中可训练的优点，但在许多工程和工业应用中，MPC仍被认为是更优的选择，因为它适用于高性能任务，并且可以使用数学模型预测未来行为（Zhang等人，2025年；Muduli等人，2022年）。例如，Muduli等人（2022年）展示了MPC如何预测几步之后的IM驱动性能，并选择最合适的输入电压以实现良好的转矩性能和低转矩波动。?avu?和Akta?（2023年）提出了一种基于MPC的通量减弱控制策略，适用于电动汽车的高速应用。然而，这些控制策略对于电机参数的变化（如转子电阻不确定性）和运行条件不够鲁棒。在这种情况下，可以应用基于RL和MPC的策略。混合策略可以结合RL和MPC的优点，从而提高安全性、可行性和性能优化（Sun等人，2024年；Chen等人，2025年）。基于RL的策略可以通过与环境持续交互来适应系统动态的变化（Rego和de Araújo，2022年；Garg等人，2025年）。预测控制预测未来状态并优化控制输入，而RL则从实际系统性能中学习，使其更能适应电机参数的未知或不可预测的变化（Arroyo等人，2022年；Matsuo等人，2022年）。因此，本文的主要目标是开发一种策略，将RL用于不确定参数的连续适应，结合使用更新后的非线性模型参数的非线性MPC（NMPC）。

通常，可以通过鲁棒观测器估计不确定的电机变量。已经提出了多种方法来估计正确的电机参数，如扩展卡尔曼滤波器（EKF）（Ameid等人，2017年；Moaveni等人，2023年）、神经模糊推理系统（Mahesh等人，2025年）、滑模观测器（Tarkhani等人，2025年）以及基于人工智能（AI）的方法（Kanakabettu等人，2024年；Arya等人，2025年）。例如，转子电阻估计在文献中已有广泛研究（Ameid等人，2017年；Qi，2018年；Y. Wang等人，2021年；Moaveni等人，2023年；Kanakabettu等人，2024年）。Ameid等人（2017年）应用EKF和谱分析进行转子电阻估计。虽然标准EKF依赖于当前状态估计的线性化，但在估计快速变化的参数时可能会受到强非线性的挑战，但更先进的EKF变体解决了这些问题。特别是，对于离散和连续时间随机模型，无导数的EKF变体（Quine，2006年；Kulikova和Kulikov，2023年；Kulikova和Kulikov，2024年）不需要显式微分，而基于系统动态数值积分的连续-离散EKF方法（Kulikov和Kulikov，2019年；Kulikov和Kulikov，2016年；Kulikov和Kulikov，2024年）能够保留随机系统的原始非线性。这些方法在高度非线性情况下提供了改进的估计性能，同时保留了基于EKF的状态和参数估计的优势。

Moaveni等人（2023年）提出了一种改进的迭代EKF，用于估计感应电动机中的转子速度、转子电阻和定子电阻。然而，模型中的任何不匹配或不确定性都可能影响估计质量。另一种方法是Qi（2018年）提出的一种新的离线方法，使用深度Q学习（DQL）算法估计感应电动机的转子电阻和励磁电感。然而，离线训练的DQL代理只能学习训练场景下的估计，可能无法实时适应。正如Y. Wang等人（2021年）所报告的，在线估计可以实时适应，因此Y. Wang等人（2021年）提出了一种基于模型参考适应系统（MRAS）的多相IMs多平面转子电阻的在线估计方法。然而，MRAS对噪声敏感，当模型不匹配或存在测量噪声时可能会发生估计误差。在这种情况下，人工神经网络（ANN）结合MRAS可以学习估计误差与参数之间的复杂非线性映射。Kanakabettu等人（2024年）则开发了一种基于转子速度和定子电流的在线ANN与MRAS结合的方法来估计转子电阻。然而，转子速度和定子电流并不能单独提供关于转子电阻的完整信息，例如负载扭矩、温度变化和噪声。

人工智能领域的最新进展为估计IM参数提供了新的可能性。为了准确控制IM，精确的参数估计是必要的，以避免不适当的磁场定向和适当的滑差速度调整。尽管已经广泛研究了各种IM转子电阻估计技术，但现有方法通常依赖于限制性的建模假设，对噪声和系统非线性敏感，并且缺乏在动态运行条件下的稳定性保证。

受上述讨论的启发，本文开发了一种基于强化学习的自适应无迹卡尔曼滤波器（UKF），该滤波器采用策略梯度启发式算法进行在线适应，使用奖励差异作为状态和参数估计的反馈，例如转子电阻。此外，我们还设计了一种具有自动调整权重矩阵的NMPC，结合RL来最小化电机消耗的能量。NMPC对这些系统来说是一个重大挑战，主要是因为其计算复杂性高。同样，调整NMPC参数主要是一个试错过程，这极大地影响了控制器的性能、鲁棒性和计算需求。在这种情况下，RL可以学习调整参数并提高性能。因此，本文的主要贡献如下：
(i) 一种通过RL计算参数的鲁棒NMPC，旨在最大化控制性能并最小化能量消耗；
(ii) 一种基于RL的自适应UKF，用于在非线性系统的状态估计过程中动态调整过程和测量噪声协方差矩阵，具有正式的稳定性保证以及对非线性和不确定性的鲁棒性；
(iii) 使用数值感应电动机模型和FTP72（联邦测试程序）、US06（补充联邦测试程序）以及不同运行条件下的实际驾驶循环，我们对所提出的方法、传统UKF的NMPC、自适应NMPC以及考虑不同跟踪和转子电阻不确定性的标称NMPC进行了定量比较。

本文的结构如下：第2节介绍了感应非线性模型和车辆纵向动力学。第3节回顾了NMPC理论，并讨论了所提出的控制器及其用于计算NMPC元参数的程序。第4节介绍了基于RL的新颖自适应UKF。第5节展示了考虑实际场景的非线性电机系统的仿真。最后，第6节讨论了结论。

**车辆动力学和感应电动机建模**
本节介绍了电动汽车的纵向动态行为和感应电动机的动态特性。主要方程来自Genta（1997年）、Jazar（2017年）、Trzynadlowski（1994年）和Islam等人（2021年）。此外，还介绍了最优磁通参考值。

**控制设计**
本节回顾了NMPC理论背景，并介绍了用于自动调整权重的NMPC方案以及感应电动机的控制器设计。

**基于强化学习的自适应无迹卡尔曼观测器**
图3展示了所提出的NMPC-UKF-RL控制方案。主要目标是使用分层控制结构跟踪期望的速度、转矩和磁通。PID控制器生成扭矩参考值Teref。该扭矩参考值由比例控制器Kp根据公式Te,ref=T?+Kpωref?ω?计算得出，其中Tload是当前负载扭矩，ωref是期望速度，ω?是估计速度，Kp=10。然后NMPC根据这个扭矩参考值以及电机速度和磁通量进行跟踪。

**案例研究和仿真结果**
在本节中，我们将展示并讨论案例研究的结果。为了进行比较，我们评估了NMPC算法的三种不同变体，具体如下：
- **标称NMPC**：使用标称（真实）动态模型实现的NMPC算法，不进行状态估计。
- **NMPC-UKF**：结合了传统UKF状态估计的NMPC算法。
- **NMPC-UKF-RL**：提出的框架将通过强化学习自动调整NMPC的权重。

**结论**
非线性动态控制系统领域具有复杂的未来前景和重大挑战。根据讨论内容，NMPC是一种具有竞争力的控制策略，似乎是电动汽车应用中的理想解决方案。在本文中，我们提出了一种新颖的、自动化的NMPC调优方法，该方法利用强化学习优化了UKF参数。所开发的NMPC-UKF-RL方法被用于跟踪期望的速度、扭矩和磁通量轨迹，并在不同驾驶循环场景下进行了仿真。

**作者贡献声明**
- **Rosana C.B. Rego**：撰写、审稿与编辑、初稿撰写、可视化、验证、软件开发、方法论、形式分析。
- **Camilla do A. Diniz**：软件开发、资源提供。
- **Jony J. Eckert**：撰写、审稿与编辑、验证、资源提供、项目管理、方法论、形式分析、概念化。
- **Ludmila C.A. Silva**：撰写、审稿与编辑、验证、监督、资源提供、项目管理、方法论、研究调查、资金筹集。

**关于手稿准备过程中生成式AI和AI辅助技术的声明**
在准备本工作时，作者使用了ChatGPT来辅助语法校正和语言优化。使用该工具后，作者根据需要对内容进行了审阅和编辑，并对发表文章的内容承担全部责任。

**关于利益冲突的声明**
作者声明他们没有已知的财务利益冲突或可能影响本文研究工作的个人关系。

**致谢**
作者感谢半干旱地区联邦大学（UFERSA）通过提供博士后资格认证（50/2023）给予的机构支持。本工作得到了研究发展基金会（FUNDEP Rota 2030/Line V）、巴西国家科学技术发展委员会（CNPq）（308389/2022-0）、坎皮纳斯大学新教授激励计划（PIND）（2468/24）以及相关大学的奖学金和财政支持。