考虑能量回收与动态电池充电限制的电动汽车再生—摩擦制动融合：一种基于强化学习的方法

《Machines》：Regenerative–Frictional Brake Blending in Electric Vehicles Considering Energy Recovery and Dynamic Battery Charging Limit: A Reinforcement Learning-Based Approach Farshid Naseri, Bjartur Ragnarsson a Nordi, Konstantinos Spiliotopoulos and Erik Schaltz

　　

本文提出了一种用于电池电动汽车（BEV）再生制动系统（RBS）的基于强化学习（RL）的制动力矩分配控制器的设计、开发与评估方法。该控制器采用深度确定性策略梯度（DDPG）智能体，在再生制动系统与摩擦制动系统之间分配制动需求，目标是在满足物理约束与运行约束的前提下最大化能量回收。为表征电池充电限制，研究中引入了功率状态（SoP）计算机制，以提供随时间变化的再生充电功率边界。该智能体在一个表征BEV动力系统数字孪生的MATLAB/Simulink环境中完成训练，并考虑了多种不同制动场景，即轻度制动、中度制动、重度制动和紧急制动。RL的奖励塑形（reward shaping）促进对受SoP限制的再生能力的高效利用，同时抑制约束违背与过于激进的控制行为。在一系列荷电状态（SoC）条件与驾驶循环下，包括全球统一轻型车辆测试程序（WLTP）以及合成随机丰富驾驶循环，该RL控制器均持续表现出较有前景的性能；在WLTP 3类驾驶循环中，其能量回收可达到总可用制动能量的约98%，同时能够在接近电池SoP极限的条件下运行。结果表明，所提出控制器具备面向BEV的自适应、约束感知型能量管理能力，并凸显了其在未来智能制动策略中的应用潜力。

该文发表于《Machines》，围绕电池电动汽车（BEV）再生制动系统（RBS）中的再生—摩擦制动融合控制问题展开研究。研究背景在于，随着电动出行加速发展，车辆运行过程中的能量利用效率成为影响续驶里程和用户接受度的关键因素。再生制动能够将车辆减速时的动能转换为电能回充动力电池，因此是提升整车效率的重要技术路径。然而，实际制动过程中，再生制动与摩擦制动必须协同工作，控制器不仅需要满足减速度安全性、制动稳定性与舒适性要求，还必须兼顾能量回收最大化以及电池安全保护。现有量产系统多采用基于规则的制动力矩分配策略，虽然具备鲁棒性与易认证性，但由于依赖固定标定参数，面对电池状态、道路坡度、车辆载荷等工况变化时适应性不足，往往过早抑制再生制动，造成可回收能量浪费。已有研究表明，相较于传统规则控制或比例—积分（PI）控制器，更具预测性或优化性的策略能够进一步提升能量回收性能，但现有方法在电池动态充电功率边界的显式建模与约束融合方面仍存在不足。

针对上述问题，研究人员提出了一种基于强化学习（RL）的制动力矩分配方法，以深度确定性策略梯度（DDPG）算法为核心，学习再生制动力矩占比的最优决策。该研究的关键创新并非简单地将RL应用于再生制动，而是在串联/融合制动决策框架中，将电池功率状态（SoP）所表征的动态充电能力上限显式纳入控制环境与奖励函数设计，使智能体能够在满足电池安全功率约束的前提下，尽可能提高再生制动能量回收率。研究结果显示，该方法在不同初始SoC、不同驾驶循环与不同驾驶强度条件下，均能较好跟踪可用再生功率上限，获得接近理想基准控制器的能量回收表现，说明该方法具备较好的自适应性和约束感知能力，对下一代智能制动控制策略具有重要意义。

在技术方法上，研究人员首先在MATLAB/Simulink中构建了?koda Enyaq iV 80动力系统数字孪生模型，包含纵向驾驶员模型、电机效率映射模型、制动控制器、车辆纵向动力学模型及基于等效电路模型（ECM）的电池模型，并用SoP方法计算电池动态充电功率上限。随后，构建以制动命令、电机功率、电机转速、请求转矩、SoC和SoP为状态输入的RL环境，采用DDPG实现连续动作空间下的再生制动力矩比例输出。训练数据由合成制动事件生成，覆盖轻、中、重和紧急制动情形，并在不同初始SoC范围内训练。最后，利用WLTP与合成随机丰富驾驶循环对所提方法与理想基准策略进行对比验证。

以下结合论文主体各部分进行解读。

一、Introduction
引言部分系统梳理了BEV再生制动控制的发展背景与研究现状。研究人员指出，再生制动是提升BEV整车能效的重要途径，但制动力矩在再生制动与液压/摩擦制动之间的分配本质上是一个多目标、受约束的复杂控制问题。传统规则控制方法虽然工程上成熟，但存在适应性差、保守性强的问题。文中回顾了模糊逻辑、人工神经网络（ANN）以及强化学习等方法在该领域的应用进展。已有RL研究证明了其在序列决策与长期回报优化方面的优势，但多数工作未显式考虑电池动态功率限制，或未将安全边界充分嵌入控制问题。基于此，研究人员提出将RL与电池SoP约束相结合，以实现兼顾能量回收与电池安全的制动融合控制。

二、Problem Analysis
该部分从理论层面对BEV制动问题进行了结构化分析。研究人员首先给出了电机轴功率、总制动力矩平衡关系，并讨论了再生制动与摩擦制动的并联与串联策略。随后，围绕四类关键约束展开论述。其一是制动模式切换问题，依据归一化减速度需求_{Z N}划分低强度、中等强度与高/紧急制动工况；其二是运行约束，包括低速区反电动势不足导致再生能力衰减、电机扭矩—转速包络限制、高SoC与温度条件下的电池充电限制、轮胎附着与滑移约束，以及制动舒适性要求；其三是安全与法规要求，如冗余制动通道、失效回退至机械制动、在不确定状态下优先安全等；其四是电池储能层面的限制，强调脉冲式高功率回充会加剧锂离子电池（LIB）电化学与热应力，必须考虑SoC、健康状态（SoH）、SoP与温度等因素。该部分奠定了后续控制问题建模的约束基础。

三、BEV and RBS Modeling
该部分建立了用于RL训练和测试的仿真高效型BEV动力系统模型。研究人员采用单速变速器驱动等效转动惯量的简化动力链结构，在保留主导能量流与执行器限制的同时降低计算复杂度。纵向驾驶员模块采用Simulink中的Longitudinal Driver模块，以PI控制实现目标车速跟踪并输出加速/制动踏板命令。电机部分采用效率映射与理想转矩源建模，而非具体电机电磁细节模型，从而在较低计算成本下实现对功率流、损耗与充放电电流的评估。电机控制器根据电机速度、峰值功率与制动命令生成驱动与制动转矩，并通过速度衰减因子和制动强度共享函数实现再生制动能力分配。车辆本体模型将整车质量映射为车轮端等效转动惯量，同时综合空气阻力、滚动阻力、黏性阻力与坡度阻力形成总阻滞转矩。电池模型则采用查表型等效电路模型，利用开路电压（OCV）与内阻随SoC变化的关系描述电池端电压特性，并进一步据此计算动态SoP限制。

四、Reference BEV
该部分将通用模型参数化为?koda Enyaq iV 80参考车型。研究人员依据公开制造商数据与文献典型值，设定整车质量、电池容量、额定电机功率等关键参数，同时通过制动距离标定法将归一化制动命令映射为液压制动力矩，使全制动工况下从130 km/h到0的制动距离约为80 m。由于实车电机效率图不可得，研究采用多项式损耗模型构建永磁同步电机（PMSM）近似效率映射，并按150 kW驱动系统额定参数进行标幺化和缩放。该部分的意义在于确保仿真环境既与实际车型特性相符，又适合作为控制器设计的数字孪生平台。

五、Preliminary Model Validation
在控制策略设计之前，研究人员首先对模型进行了初步验证。通过全加速试验，模型得到的0–100 km/h加速时间约为7.5 s、最高车速约176 km/h、峰值电机转矩310 Nm，与参考车型指标偏差可接受。通过WLTP 3类工况仿真，模型净能耗约137 Wh/km，低于参考值159 Wh/km，研究人员将差异归因于辅助负载、省略的附加损耗以及标准空气密度等简化假设。验证结果表明，该简化模型能够较好反映系统级纵向性能与能量流动特征，适合作为RL训练环境。

六、Principles of the Proposed Method
该部分是论文方法学核心。研究人员将再生—摩擦制动融合问题表述为序列决策问题，强调当前动作会影响后续电池状态、功率约束和能量回收收益。所采用的DDPG智能体由演员网络（actor）与评论家网络（critic）组成，适合连续动作空间下的转矩分配控制。演员网络根据状态向量输出单一连续动作，即再生制动力矩比例；评论家网络则评估状态—动作组合的价值。环境观测量包括制动命令、电机功率、电机转速、请求转矩、SoC以及SoP上限，均进行归一化处理。论文特别设计了奖励函数：先定义功率利用比χ，用以衡量当前再生功率相对于SoP上限的接近程度；在安全区间内，奖励鼓励增大回收功率；接近上限时，奖励增幅减缓以抑制振荡；超过上限时，施加强惩罚以避免违反电池功率边界；同时增加动作平滑项，以抑制剧烈控制变化。该设计体现了“最大化能量回收—遵守动态约束—保持控制平顺”的多目标平衡思想。

七、Synthesizing the Training Data
为了提高训练针对性，研究人员未直接使用真实驾驶循环，而是合成了软制动、中等制动和强制动情景。软制动对应低于融合阈值的踏板输入，中等制动可使电机达到再生功率极限而尚未进入强摩擦介入区，强制动则对应高于融合阈值的制动需求。各制动段之间插入短时巡航，用于形成完整训练回合。初始SoC在0.3至1之间均匀采样，并引入±0.03的随机扰动，以模拟电池管理系统（BMS）对SoC估计的不确定性。该数据合成策略使智能体能够在受控且覆盖典型边界条件的环境中学习功率受限下的最优制动分配行为。

八、Training Procedure
训练过程中，每个回合对应一次完整驾驶循环仿真。每个采样时刻，环境计算状态，DDPG智能体输出再生制动比例，系统执行后返回即时奖励并将状态转移存入经验回放池。训练在MATLAB Reinforcement Learning Toolbox中完成，采用离策略演员—评论家结构的典型更新机制。论文给出了训练超参数，并通过回合奖励曲线展示策略逐渐稳定、负回报异常点减少的过程，表明奖励塑形和环境设计能够支持有效学习。

九、Results and Discussions
结果部分分别在标准WLTP、带?5%恒定下坡的WLTP以及合成随机丰富驾驶循环下评估所提方法，并在初始SoC为0.75、0.95和1的条件下进行比较。研究人员构建了一个“理想”基准控制器，始终回收约束允许范围内的最大可行功率，以此评估RL策略与理论最优行为的接近程度。

在随机丰富驾驶循环中，RL控制器总体上能够较好跟踪SoP功率上限，只有少量时段存在再生机会损失；当初始SoC为1时，开始阶段出现轻微功率超调，SoC降至0.95后超调显著减弱；初始SoC为0.75时，控制行为更保守，但始终保持在功率上限以内。尽管局部存在保守或轻微超调，RL控制器与理想基准的SoC轨迹几乎重合，说明其净能量回收性能高度一致。

在更激进驾驶员设定下，研究人员通过增大驾驶员PI控制器增益制造更频繁、更尖锐的加减速行为。结果表明，RL控制器在该条件下仍维持与理想基准几乎一致的SoC轨迹，说明整体能量回收能力稳健；但再生功率曲线中出现更明显的局部超调，论文指出可通过加大越限惩罚权重或在智能体输出端加入硬限制进一步改善。

在WLTP工况下，RL控制器同样表现出接近理想基准的回收能力。平路WLTP中，再生功率轨迹仅在少数时段略微超过限制，SoC曲线则与理想基准几乎完全一致；当初始SoC为0.75时，由于有效充电功率上限较为宽松，几乎所有物理可回收制动能量均被成功回收。在带5%下坡坡度的WLTP工况中，RL控制器与理想基准在SoC和再生功率轨迹上高度一致，表明其在持续重力负载存在时仍具备良好的适应性。

数值结果总结显示，在平路WLTP 3类工况下，RL方法相较理想基准仅低约2%至3%；在随机丰富驾驶循环下，其能耗相对理想基准稳定高出约2.8%至2.9%。总体而言，所提RL策略已能够成功学习再生制动与摩擦制动的优化融合，并满足电池动态功率约束。

十、Discussion
讨论部分重点强调了该方法在安全实现上的层级化设计思想。RL控制器并不负责总制动力生成，而仅负责再生与摩擦制动之间的分配，因此上层减速度与停车距离目标仍由其他机制保障。与此同时，SoP约束、电机能力边界及摩擦制动回退逻辑在运行时始终作为硬边界存在，因此即使策略面对未见工况，安全关键限制仍不会被突破。论文也坦率指出，基于人工智能（AI）的控制器在功能安全标准与汽车安全完整性等级（ASIL）框架下的认证仍具挑战，现实可行路径可能是将RL作为对现有已认证控制器的增强层，而非直接替代全部制动控制架构。研究还讨论了模型简化、训练场景有限、未显式考虑轮胎滑移、ABS、电池老化和热效应等局限，并提出未来可从更高保真模型、多目标奖励设计、多轴/多轮制动力分配、与软演员—评论家（SAC）等算法比较、实验平台验证和嵌入式实现等方向扩展。

十一、Conclusions（研究结论翻译）
本文研究了摩擦制动与再生制动最优融合的问题。首先，对制动问题进行了分析，并识别了运行要求、相关考虑因素与约束条件，例如由电机、电池和车速决定的可行再生区域，以及安全规则/法规与失效保护机制。部分已识别要求意味着，出于安全原因，现有控制器通常以保守方式设计，从而导致再生潜力未被充分利用。为尽可能发挥再生能力，需要更先进的控制器以同时满足多项控制准则。基于此，论文提出由强化学习（RL）承担再生制动系统（RBS）控制方案中的融合控制环节。RL的训练依托于在MATLAB/Simulink中建立的?koda Enyaq iV 80动力系统数字孪生模型完成。其奖励函数被塑形为在满足电池动态功率限制和平滑性要求的同时，最大化能量回收。随后，使其暴露于模拟不同制动情形的合成制动场景中，例如轻制动、中等制动和紧急制动。WLTP3与随机丰富驾驶循环下的测试结果表明，RL能够成功跟踪制动过程中可行的再生能量，同时较好遵守电池SoP限制。初步成功结果表明，RL是集成于下一代制动系统中的一种有前景的解决方案。论文同时对潜在局限性进行了平衡讨论，并提出了若干未来研究方向。其中强调，尽管此类方案有助于提升再生性能，但必须按照功能安全标准确保安全。因此，未来研究应进一步探索如何将RL等AI方法集成到BEV制动系统中，同时遵守硬约束、实现失效保护机制，并定义当RL出现不稳定时能够将系统恢复至安全基线的覆盖策略，包括对此类情况的可靠检测。这很可能需要开展全面的失效模式与影响分析（FMEA），以识别潜在失效模式及相应缓解技术。