解耦发动机运行与瞬态负载：面向汽油压燃混合动力传动系统准稳态能量管理的基于Mamba的预测强化学习框架

《ENERGY CONVERSION AND MANAGEMENT》：Decoupling engine operation from transient loads: a Mamba-based predictive reinforcement learning framework for quasi-steady energy management in gasoline compression ignition hybrid powertrains

　　

# 摘要

将汽油压燃（GCI）发动机整合到混合动力总成中可以提高效率，但其应用受到瞬态热力学性能恶化的限制，包括爆震、高压升高率（PRR）和烟炱峰值等问题。传统的通过喷油定时调整进行缓解的方法会降低热效率，而深度强化学习（DRL）可能产生超出GCI发动机狭窄运行边界的动作，导致失火风险和解锁。为了解决这些问题，本研究提出了一种准稳态软演员-评论家（QS-SAC）框架。该框架通过物理动作塑形，将发动机启动功率设定为58 kW以降低低负载失火和高压升高率风险，并将发动机功率变化率限制在7.3 kW/s以减轻涡轮增压滞后引起的爆震和烟炱生成。基于Mamba的速度预测器提供10秒的预览，离线模型预测控制（MPC）求解器提供物理可行的先验指导，以缓解约束引起的探索死锁。在中国重型商用车测试循环（CHTC-HT，未直接用于策略训练）上，QS-SAC将整车级能量调度与发动机级瞬态保护解耦。最大发动机功率变化率维持在7.3 kW/s，发动机启动次数减少至三次，有助于缓解爆震抑制与效率之间的权衡。等效油耗（EFC）达到28.49 L/100 km，相比标准SAC基线降低3.6%。所提出的架构为所研究的GCI混合动力总成提供了一种物理可行的能量管理方法。其模块化设计也可能为其他基于燃烧混合系统提供方法论基础。

# 引言

重型商用车混合动力总成的开发为克服传统内燃机的热效率瓶颈提供了一种替代方案[1]、[2]、[3]。作为这些电气化架构中一种有前景的动力源，汽油压燃（GCI）发动机通过高压缩比和稀薄燃烧在热效率和烟炱抑制方面具有显著优势[4]、[5]、[6]。然而，实际行驶条件下常见的高频瞬态载荷与GCI发动机所需的准稳态条件产生动态失配。其缸内释热机制对发动机功率变化率敏感，且不兼容频繁的启停循环。在高频瞬态响应期间，进气滞后与毫秒级喷油解耦，通常导致空燃比偏差。过浓的混合气可能引发机械爆震和过多的烟炱排放，而过稀的混合气可能超过稀燃极限并导致失火[7]、[8]、[9]、[10]、[11]、[12]。传统上，缓解瞬态引起的爆震需要推迟喷油定时。然而，这种延迟的燃烧相位降低了热效率，在瞬态安全性和燃油经济性之间产生控制权衡。将发动机直接与高频轮端波动耦合进一步加剧了这一问题。因此，为GCI发动机隔离准稳态运行域已成为能量管理中的关键需求[13]、[14]、[15]。

为了解决多目标能量管理中的挑战，无模型深度强化学习已被广泛采用[16]、[17]、[18]、[19]、[20]。然而，当受控系统涉及具有物理约束的GCI发动机时，传统算法表现出有限的适应性。在连续动作空间中缺乏硬约束的情况下，强化学习的随机试错机制通常会产生带有高频噪声的功率指令，这可能违反准稳态热力学要求[21]、[22]、[23]。现有研究大多通过在奖励函数中引入功率变化率或启停频率的软惩罚来抑制振荡[24]、[25]、[26]、[27]、[28]。

基于约束马尔可夫决策过程（CMDP）的安全约束强化学习算法，包括拉格朗日法和内点法，将安全性表述为期望累积约束成本[29]、[30]、[31]、[32]。尽管这些方法对轨迹级约束调节有效，但它们不一定能保证在每个单独时间步的可行性，这与GCI发动机的瞬时热力学边界产生应用失配。投影法安全层可以将策略输出映射到瞬时可行动作集[33]。然而，当速率约束在较长区间内保持有效时，如准稳态GCI运行时，持续投影可能与策略学习相互作用并影响无约束策略输出的平滑性。因此，这种方法在狭窄运行窗口内引入了收敛性权衡。低权重的软约束可能无法可靠地消除边界违规导致的失火风险。相反，将硬阈值转化为高权重的刚性惩罚可能导致智能体频繁触发出界事件，向价值网络引入不稳定的负梯度[34]、[35]。这种稀疏正激励和高梯度负惩罚的耦合效应会破坏参数的平滑更新，迫使智能体陷入探索死锁，即一种以保守的零输出策略避免边界惩罚为特征的次优局部极小值。

为缓解这种约束引起的死锁，系统应纳入长程前瞻感知和专家先验指导[36]。在感知层，传统循环神经网络由于梯度消失难以准确捕获长序列时间特征[37]、[38]。相比之下，基于Transformer的注意力机制的二次计算复杂度可能增加长程预测的计算负担，这对资源受限的汽车控制器来说是不理想的[39]、[40]、[41]，并可能导致下层控制器处于延迟和被动反应状态。在决策层，动态规划对全局信息的依赖阻碍了其在实际车辆中的应用[42]、[43]。此外，在处理GCI发动机高度非线性的热力学特性和离散启停变量时，传统求解器可能在模型预测控制（MPC）的滚动时域优化过程中发散[44]、[45]。此外，现有混合架构通常将专家轨迹作为固定的性能参考。这种策略对齐机制可能限制了强化学习从全局角度的优化潜力。

现有基于强化学习的能量管理策略通常依赖奖励惩罚或轨迹级CMDP公式来抑制发动机波动[29]、[30]、[31]、[32]。这些机制无法严格防止与瞬态爆震或稀燃失火相关的瞬时边界违规。投影法方法可以提供逐步可行性[33]，但在持续有效的速率约束下其与策略学习的相互作用需要进一步评估。此外，在早期探索期间直接引入强约束惩罚可能导致过于保守的零输出策略和约束引起的探索死锁[46]、[47]。为了解决无约束算法探索与GCI混合动力总成约束热力学运行边界之间的关键失配，本文提出了一种用于能量管理的准稳态软演员-评论家（QS-SAC）框架。与现有的预测性强化学习能量管理系统（RL-EMS）主要将速度预览用于全局荷电状态（SOC）规划不同，QS-SAC框架从发动机级物理约束出发。在其基础之上，物理动作塑形强制执行准稳态边界，包括7.3 kW/s的功率变化率限制，以避免与瞬态爆震和失火相关的功率指令。这将宏观能量调度与发动机级瞬态保护解耦。强化学习智能体管理全局SOC，而电池/电机系统作为低通滤波器吸收高频瞬态载荷。这样一来，在复杂行驶条件下为GCI发动机创造了一个准稳态且物理安全的运行区域。由于这些物理约束使发动机响应变慢，引入Mamba预测模型来提供提前量。它提供10秒的预览，使智能体能够在不违反功率变化率限制的情况下主动调整功率。为缓解这些硬约束下狭窄可行动作空间引起的探索死锁，离线MPC求解器提供物理可行的先验指导以帮助智能体度过初始训练阶段。最后，选择SAC算法作为基础算法，因为其最大熵目标鼓励在狭窄的物理可行空间内进行充分探索[48]、[49]，这有助于缓解确定性算法（如DDPG和TD3）中常见的死锁。按照这种"约束-预览-指导"的逻辑，主要贡献总结如下：

第一，开发了一个物理动作塑形层来执行准稳态GCI运行。它将发动机点火锚定在58 kW，并将持续运行功率变化率限制在额定功率的3%。这些可校准的边界将发动机级瞬态保护与整车级能量调度解耦，允许电池-电机系统吸收高频载荷波动。

第二，由于这些约束降低了可接受的发动机响应带宽，基于Mamba的选择性状态空间模型提供10秒的速度预览。其线性复杂度的序列建模为在规定的功率变化率限制下逐步加载和卸载发动机所需的提前量提供了支持。

第三，由于约束动作区域增加了策略探索的难度，离线基于动态规划的MPC求解器在训练期间生成物理可行的参考轨迹。衰减指导机制有助于智能体在早期探索期间避免保守的发动机关闭策略，同时逐渐恢复自主SAC优化。该求解器不包含在在线部署中。

本研究为该GCI混合动力总成开发并验证了该框架。由于物理动作塑形层接受可校准的发动机特定边界，该架构可能可以适配到其他基于燃烧的混合系统。这种适配将需要对相应的点火、加载速率、进排气道和燃烧稳定性极限进行新的台架辨识，本研究未对此进行验证。

本文其余部分结构如下：第2节描述QS-SAC框架的主要模块和算法结构；第3节建立重型混合动力系统的物理边界模型；第4节展示跨循环泛化验证和多目标消融实验；第5节总结主要结论。

---

## 各节摘要

**准稳态软演员-评论家框架**

QS-SAC通过三阶段"约束-预览-指导"架构解决瞬态车辆载荷与准稳态GCI运行之间的时间尺度失配问题。物理动作塑形首先执行发动机点火功率和功率变化率边界约束。由于这些约束降低了可接受的发动机响应带宽，基于Mamba的预测器提供了逐步功率调度所需的超前信息。物理约束还缩小了可行动作...

**混合动力总成动力学与核心部件建模**

本研究中使用总质量为26,000 kg的重型商用车作为参考车辆。为确保能量管理策略在实际条件下进行评估，仿真环境的核心参数和特性图来自实车路试和动力总成台架实验。动力总成系统被建模为马尔可夫决策过程（MDP），以便与强化学习智能体进行标准化交互。

**结果与讨论**

为评估所提出的QS-SAC框架，在包含明显瞬态载荷的CHTC-HT循环下进行了仿真。还使用了C-WTVC循环来评估跨循环泛化能力。考虑了八种对比方法。规则基（RB）、无约束SAC和离线动态规划作为宏观能量管理性能的基准。"RB w/ Cons."将QS-SAC相同的物理动作塑形应用于传统基于规则的控制器，而"SAC w/ Cons."保留标准...

**结论**

为减轻瞬态工况下GCI发动机的热力学性能恶化和机械磨损，本文提出了一种用于能量管理的QS-SAC框架。QS-SAC在强化学习动作空间内施加预定义的准稳态物理边界。为改进这些约束下的控制性能，该框架整合了基于Mamba的长程速度预测和离线MPC先验指导。这使宏观能量优化与...

---

## CRediT作者贡献声明

明浩赵：写作-审阅与编辑，写作-原稿，方法论，数据整理，概念构思。胡王：验证，形式分析。尊清郑：写作-审阅与编辑，监督。明发姚：监督，项目管理，资金获取。

## 利益冲突声明

作者声明不存在可能影响本论文报告工作的已知竞争财务利益或个人关系。

## 致谢

本工作得到了广西壮族自治区科学技术厅（项目编号Guike JF2503980004和Guike AA24263050）的支持。

明浩赵 | 胡王 | 尊清郑 | 明发姚
天津大学内燃机研究所国家重点实验室，天津 300072，中国