面向动力总成的可解释强化学习能量管理技术在越野车辆中的应用

《Energy》：Powertrain-Aware Explainable Reinforcement Learning Energy Management in Off-Road Vehicles

　　亨德·阿布乌夫（Hend Abououf）、阿萨尔·哈尼夫（Athar Hanif）、西德拉·G·巴蒂（Sidra G. Bhatti）、卡迪尔·艾哈迈德（Qadeer Ahmed）、斯科特·A·希勒（Scott A. Shearer）、尼蒂什·钱德拉穆利（Nitish Chandramouli）、乔恩·A·迪克森（Jon A. Dickinson）
美国俄亥俄州哥伦布市俄亥俄州立大学机械与航空航天工程系

**摘要**
在这项研究中，作者介绍并评估了一种适用于高功率非公路车辆的串联混合动力扩展器动力系统架构，以应对电气化过程中面临的挑战。这种架构能够精确控制发动机的工作点，但同时引入了多种能量转换过程，可能导致显著的功率损失。有效的能量管理策略（EMS）对于克服这些损失、减少燃油消耗、保持电池电量（SOC）以及确保高发动机效率至关重要。然而，非公路应用中典型的高度可变、随机且不确定的工作条件限制了基于阈值规则的控制策略的有效性，并降低了基于模型的最优控制策略的最优化程度。为了解决这些问题，本文提出了一种可解释、可解释的强化学习基础EMS，该机制能够适应高方差环境、处理不确定性，并泛化到未见过的工作条件。开发了一种具有动力系统约束意识的、可解释的、可解释的双深度Q网络（XI-DDQN）控制器，该控制器在实际的实验工况下进行了训练，并在未见过的工作场景中进行了评估，以评估其适应性和泛化能力。所提出的EMS与动态规划（DP）进行了基准测试，并与基于规则的控制器进行了比较。基于验证模型的结果表明，所提出的XI-DDQN成功捕捉到了DP的最优控制行为，同时在不确定和泛化的工作条件下保持了强大的适应性。与传统动力系统相比，基于XI-DDQN的EMS在不常见的工作条件下实现了高达23%的燃油消耗减少，并平均减少了11.7%的燃油消耗。这些发现突显了所提出方法在实现下一代非公路机械的节能、稳健且可解释的能量管理方面的有效性。

**1. 引言**
2025年，国家落基山实验室（NLR）报告称，美国33%的温室气体排放来自交通运输领域，其中包括公路车辆（如乘用车、卡车和公共汽车）、铁路、海运、航空和非公路车辆。非公路车辆占了交通运输排放的10%，因此被认为是温室气体排放的重要来源[1]。鉴于全球迫切需要减少温室气体排放，对非公路车辆进行电气化研究是一个需要立即探索的关键领域。与为铺砌道路设计的公路车辆不同，非公路车辆是为在崎岖或不平坦的地形上工作而设计的。这种不均匀的地形会影响车辆动力系统的性能。非公路车辆需要具备耐用性、高功率和扭矩密度以满足各种应用需求。因此，非公路车辆主要依赖于柴油内燃机（ICE），从而导致大量的温室气体排放[2]。

理想的解决方案是由可再生能源等低碳能源供应的全电动动力系统架构。然而，这种方法受到高功率低碳能源供应有限以及偏远地区电网基础设施不足的制约。这些限制导致需要大型、沉重的电池组，从而延长了充电时间，这对许多非公路应用来说并不实际。不过，混合动力系统架构为非公路车辆的电气化提供了有希望的途径，因为它能够适应地形特性、辅助负载的功率需求以及可能的功率输出需求。

在评估非公路应用的替代动力系统配置时，值得注意的是，柴油-电力架构最早于20世纪70年代被应用于高功率矿用运输卡车[3]。将发动机与机械传动系统分离可以更精确地控制发动机的工作点，从而提高整体效率。在此基础上[4]，在2000千瓦矿用运输卡车的柴油-电力系统中引入了电池，形成了串联混合动力架构。集成电池使发动机能够在高效率区域内运行：在低负载条件下吸收多余的能量，在需求超过发动机最佳输出时提供额外的功率。

农业拖拉机约占所有农业和建筑车辆的70%[5]。它们是多功能机器，通过连接不同的农具并在多样的地形条件下工作，从而导致功率需求的巨大变化。此外，美国农业部的预测表明，到2050年全球人口将比2011年增加47%，这需要作物产量比2011年增加61%[6]。鉴于农业拖拉机的普遍性和功能重要性，它们被选为本案例研究的对象。通过适当尺寸的动力系统和有效的能量管理策略，这些车辆可以在支持未来全球食物生产需求的同时显著减少碳排放。

基于高性能矿用运输卡车所使用的架构，带有扩展器的串联混合动力配置为非公路应用提供了一个有前景的选项。尽管这种架构已在公路车辆上得到广泛探索并展示了强大的性能，但在非公路机械中的应用仍然有限。在客车中，集成扩展器已被证明可以将电池电动平台的行驶里程增加三倍，并将燃油消耗降低约50%[7]。据报道，康明斯公司（Cummins Inc.）将其应用于6类卡车，实现了相对于传统车型65%的燃油消耗减少[8]。本文提出的动力系统结合了扩展器概念和再生制动技术，以提高非公路车辆运行的能量效率。

串联混合动力架构严重依赖于有效的能量管理策略（EMS）。额外组件的加入，即发电机、电动机和电池，引入了多种能量转换路径，每种路径都伴随着固有的损耗。如果没有适当设计的EMS，这些损耗可能会超过通过发动机混合化获得的效率提升。表1展示了在不同控制策略下发动机和电池利用率之间的权衡。校准不当的EMS可能导致燃油消耗超过传统动力系统，或在运行过程中导致电池过早耗尽。

**2. 文献综述**
文献综述分为三个部分：基于规则的能量管理策略、基于优化的能量管理策略和基于学习的能量管理策略。

**2.1. 关于设计空间和基于规则的能量管理策略的先前研究**
多项研究通过将并行混合动力架构与传统柴油拖拉机进行比较，量化了其节油潜力。Lee等人[9]报告称，配备9千瓦电机的50千瓦小型发动机的燃油消耗减少了11.8%，当应用基于规则的功率分割策略时，这一比例增加到13.4%。Mocera和Soma[10]评估了一种55千瓦的小型混合动力系统与75千瓦传统拖拉机在五个工况下的性能，发现燃油消耗减少了15-18%，尤其是在高功率运输情况下。Troncon等人[11]引入了再生制动技术，发现混合动力运行在重载运输中减少了15.4%的燃油消耗，在重载耕作中减少了24.7%，在中等耕作中减少了37.3%，而全电动模式能够持续运行两个轻载周期八小时。Dalboni等人[12]观察到，平行混合动力系统在低功率周期（32.38%）中的效益高于高功率周期（5.6%）。Liu等人[13]进一步研究表明，先进的监督控制技术可以提高效率，在犁地作业中比功率跟随控制节省了8.45%，在旋耕作业中节省了2.93%，在 rotary tillage 中分别减少了2.40%和4.07%。这些结果共同表明，平行混合动力系统在高负载牵引条件下表现最佳，但效益很大程度上取决于控制策略的复杂性。

混合动力架构的比较评估显示，串联混合动力系统在低功率牵引和运输周期中具有显著的效率提升。Mocera等人[14]报告称，串联混合动力系统的平均燃油消耗减少了15.8%，略高于平行系统的14.5%，并且在轻载条件下表现更好。然而，[15]提出了一种高功率的串联液压-电动架构，总体能源消耗降低了18.5%和25.7%。

**2.2. 关于基于优化的能量管理策略的先前研究**
对于低功率串联混合动力系统（<100千瓦），模型预测控制（MPC）EMS实现了更平滑的功率分割，并提高了发动机效率[16]。动态规划（DP）-MPC EMS在犁地/旋耕作业中减少了8-13%的燃油消耗，并达到了DP基准的91-97%[17]。在同一平台上，纯DP EMS在犁地作业中减少了25.3%的燃油消耗，在旋耕作业中减少了21.5%，在运输作业中减少了13.2%[18]。对于中等功率级别（100千瓦），数值最优控制方法（DP、PMP、NLP）几乎实现了相同的SOC曲线，并在犁地作业中节省了3.1%的燃油，在运输作业中节省了5.0%的燃油；DP提供了最佳的最优解，但计算成本更高[19]。另一种中等功率的串联拖拉机（200千瓦），结合了粒子群优化和支持向量机分类器与模糊规则库的自适应EMS（离线优化），识别误差为1.2%，燃油消耗减少了6.96%，基于规则的EMS减少了3.38%，非优化的模糊控制系统减少了3.38%，同时在实地/运输周期中保持了健康的SOC[20]。

对于并行混合动力系统，一些研究在低功率拖拉机上进行了探讨。在[21]中，一种附加的模型预测控制策略在不改变现有回路的情况下嵌入了速度跟踪和燃油最小化功能，与仅有内燃机的系统相比，燃油消耗减少了17%，同时保持了SOC和驾驶性能。随后的实验研究[22]引入了一种修改后的ECMS，该系统对速度跟踪误差进行了惩罚，从而在运输任务中实现了大约14%的燃油节省，并保持了SOC。另一项补充性研究[23]将Pontryagin最小原理（PMP）应用于同一架构，展示了如何将离线最优公式转化为实用的实时EMS规则。这些工作共同表明，MPC、ECMS和PMP变体可以在尊重速度和SOC约束的同时实现显著的燃油减少（10%）。

对于在强烈变化负载下运行的中等功率拖拉机，EMS研究整合了预测和自适应调优。一种基于PMP的方法结合了工作条件预测，在犁地周期中总能源成本减少了9.4%，强调了预测负载波动的价值[24]。另一种设计结合了并行混合动力系统和液压CVT，并引入了一种通过SOC反馈在线调整等效因子的模糊自适应ECMS，在犁地作业中减少了6-7%的燃油消耗，在运输作业中减少了5%，同时保持了SOC稳定性[25]。

**2.3. 关于基于学习的能量管理策略的先前研究**
2014年，强化学习（RL）首次被应用于混合动力公路车辆的功率管理[26]。作者探索了使用时间差分学习来优化混合动力电动汽车（HEV）中内燃机（ICE）和电动机（EM）之间的能量分配。研究表明，基于RL的策略比基于规则的控制方法减少了42%的燃油消耗。尽管将RL算法应用于公路车辆具有巨大潜力，但由于非公路车辆的工作条件和负载需求变化更大，因此更具挑战性。Han等人[27]提出了一种适用于非公路混合动力电动汽车（HEV）的自适应实时（在线）EMS，使用启发式搜索增强型模型基础强化学习（MBRL）算法。启发式搜索利用预训练的Q表作为指导函数，加速学习并动态适应非公路条件，实现了与DP相当的燃油消耗和SOC保持能力，同时计算成本更低。Bo等人[28]开发了一种Q学习模糊推理系统（QLFIS），将强化学习（RL）与模糊推理系统（FIS）结合，实时优化发动机发电机系统（EGS）和电池组之间的功率分配。QLFIS无需预先了解驾驶条件即可提高决策效率。Yang等人[29]提出了基于决策时间规划（DTP）的MBRL框架，该框架能够捕捉地形变化并在线优化功率分割决策。仿真结果表明，DTP-MBRL在燃油效率方面与DP相当，同时在适应性和计算效率方面优于Q学习和基于规则的策略。Fan等人[30]提出了一种考虑工作条件的深度确定性策略梯度（DDPG）模糊能量管理策略，用于100千瓦的并行混合动力拖拉机。该方法采用双层控制器结构，其中DDPG提供柴油发动机扭矩指令，而模糊补偿层根据预测的速度和阻力误差调整扭矩。由于系统采用并行架构，控制器在调节发动机扭矩的同时，发动机速度与车辆速度保持同步。该方法在140秒的工作周期内进行了评估，与跟随功率的策略相比，燃油消耗减少了9.7%，并且保持电池荷电状态（SOC）在可接受的范围内，净减少量为4.4%。由于周期较短且没有明确的充电场景，结果仅反映了有限工作窗口内的SOC行为，因此长期充电可持续性和在扩展或未见过的周期内的性能仍是需要进一步研究的领域。鉴于拖拉机动力系统的复杂性，完全基于强化学习（RL）的能源管理仍然具有挑战性。只有少数研究调查了策略梯度方法，如深度确定性策略梯度（DDPG）和softmax DDPG [31]、[32]。在[31]中，作者研究了在300千瓦拖拉机上7分钟工作周期内的串联混合动力架构，使用了与本工作相同的奖励公式。该研究报告的性能接近DP，尽管没有详细描述训练过程，并且训练和评估都是在相同的短周期内进行的。同一研究小组的[32]中的相关研究将分析扩展到更长的20分钟周期。在这些工作中，奖励函数同时对燃油消耗和电池荷电状态（SOC）的偏差进行惩罚。DDPG和softmax DDPG分别达到了大约98.5%的DP性能，而深度Q网络（DQN）达到了约92.5%的性能。在[33]中进行的更广泛的研究开发了使用相同奖励结构的Double DQN，并在其三个代表性周期内进行了评估，报告称与跟随功率的控制器相比燃油消耗平均减少了4.57%。虽然这项研究关注的是85千瓦的拖拉机，但它指出了基于优化的EMS在不同工作条件下的局限性。然而，由于训练和评估是在相同的周期集上进行的，所提出的控制器在未见过的操作配置下的适应程度仍然是一个未解决的问题。图2突出了不同类型架构中使用的不同EMS。它显示所有道路行驶架构都已经被广泛研究，而高功率串联混合动力拖拉机仍然未得到充分探索。

下载：下载高分辨率图像（499KB）
下载：下载全尺寸图像

图2. 不同车辆类型之前的EMS工作总结

3. 研究差距和贡献
为高功率串联混合动力农业拖拉机开发一种节能的能源管理策略面临着与之前EMS文献中解决的问题根本不同的挑战，包括关于道路行驶混合动力车辆和低功率越野平台的研究。具体来说，以下差距尚未解决：
（1）串联混合动力动力系统架构主要针对低功率越野车辆（≤ 100千瓦）进行研究，其工作条件类似于道路行驶车辆，特点是高速和低扭矩需求。相比之下，高功率越野车辆在低速下需要高扭矩，但串联混合动力配置在这些工作条件下的研究仍然很少。
（2）现有的农业拖拉机EMS研究主要集中在中等功率水平的并联或功率分流架构上，系统性地忽略了超过350千瓦的串联混合动力配置。
（3）能源管理策略必须能够处理越野车辆复杂且不确定的工作环境，维持电池荷电状态（SOC），并在高度变化的农业负荷下确保发动机以最高效率运行。基于规则的策略往往难以有效应对工作条件的快速变化，而动态规划需要预先完全了解工作周期，因此不适合实时应用。尽管基于学习的方法具有更大的适应性，但现有实施在范围或透明度上仍然有限。具体来说，在[15]中提出的基于DDQN的EMS应用于85千瓦的低功率拖拉机，并在相同的工作周期数据上进行了训练和评估，这限制了其通用性。同样，在[31]、[32]中提出的基于DDPG的方法虽然针对更高功率的平台，但依赖于黑盒模型，缺乏可解释性，从而降低了其在实际农业应用中的可靠性和适用性。
本研究通过为高功率串联混合动力农业拖拉机开发一种具有操作意识、可解释和可解释的基于AI/RL的能源管理策略来解决这些差距。具体贡献如下：
（1）本研究为高功率串联混合动力拖拉机（> 350千瓦）提出了一个系统的电气化框架，这种配置受到的关注远少于道路行驶混合动力车辆或低功率越野平台。使用实际实验工作周期进行了设计空间探索，以选择符合实际操作需求的组件尺寸，从而严格了解了动力系统的物理极限和能力。
（2）开发了一种基于强化学习的可解释和可解释的EMS，使用双深度Q网络（DDQN）框架中的多头神经网络架构，并仅在真实的实验工作周期数据上进行了训练。与之前的黑盒实现不同，所提出的框架在做出控制决策时考虑了操作变化，包括动力系统限制、地形条件和操作持续时间，并提供了对其行为的清晰解释。所提出的XI-DDQN EMS在不同于训练数据的工作条件下进行了进一步评估，并与多种替代EMS方法进行了对比，证明了其通用性、透明度和适用于实际农业应用的适用性。

4. 问题陈述
拖拉机执行各种操作，包括种植、收割和运输。所需的功率受许多因素影响，如图3所示。使用串联混合动力架构可以减少发动机油门与齿轮比和延长怠速时间等因素的影响。发动机与传动系统之间的解耦使得可以控制发动机工作点，简化了传动系统设计，并允许在怠速时关闭发动机。其他因素需要技能，例如在地形变化时保持速度、深度和最佳滑移。这些技能通过动力系统控制器执行的一系列动作来维持。我们的目标是开发一种动力系统控制器，以满足现场操作要求，运用所需的技能，最小化燃油消耗，最大化发动机效率，并保持电池SOC。

下载：下载高分辨率图像（780KB）
下载：下载全尺寸图像

图3. 该图说明了影响串联混合动力农业拖拉机功率需求的关键因素，包括地形特性、实施调整和发动机油门与齿轮比。虽然串联混合动力架构通过机械解耦内在地减轻了发动机-传动系统耦合和延长怠速损失等挑战，但其他操作需求需要智能的动力系统控制。所提出的控制器（代理）旨在适应多样的现场条件（数据驱动的环境）和动力系统限制（基于模型的环境），同时最小化燃油消耗，最大化发动机效率，并保持电池荷电状态（SOC）。

5. 动力系统架构和建模
动力系统模拟的概述如图4所示。用于现场操作的车辆模型基于美国农业和生物工程师协会（ASABE）标准[34]，其中运动阻力（MR）定义如下：
（1）其中θ是道路坡度，M是拖拉机的质量。s表示滑移，Bn是一个无量纲参数，取决于车轮负载（W）、土壤锥度指数、轮胎宽度、轮胎直径、轮胎截面高度和轮胎变形。如果拖拉机正在拉动农具，则会增加另一个牵引力，即牵引杆力（Fdb）。总车辆负载将为：

下载：下载高分辨率图像（467KB）
下载：下载全尺寸图像

图4. 前向模拟器框架
车辆负载（VL）和动力系统产生的牵引力（GT）用于确定净牵引力（NT），表示为：
（3）其中δ是质量系数。这种公式通过考虑阻力力和动力系统产生的牵引力来评估车辆的牵引性能。为了确保车辆的正常运行，动力系统产生的牵引力（VL）必须足以克服运动阻力（MR），如方程3所示。
动力系统的组件：发动机、发电机、电动机和传动系统都是基于验证的准静态建模的，而电池是零阶电池模型[35]。
在开发了详细的模拟模型后，通过测试不同的动力系统组件尺寸进行了温和的设计空间探索。牵引电机额定功率设定为330千瓦，以满足田间操作期间的牵引杆拉力和车辆运动阻力。然后根据工作周期的功率需求选择了发动机尺寸，范围在150到300千瓦之间。评估了两种发动机选项（180千瓦和275千瓦）和三种电池容量（50千瓦时、100千瓦时和200千瓦时）。选择标准基于最小化燃油消耗和最大化发动机效率，这与主要控制器设计目标一致。优化使用动态规划完成，确保了维持SOC并满足功率要求。对于中等功率的工作周期，选择了180千瓦的发动机与50千瓦的电池组合。表2总结了温和设计空间探索的结果。

表2. 发动机和电池配置的性能比较

发动机 / 电池
180千瓦 + 50千瓦时
275千瓦 + 50千瓦时
180千瓦 + 200千瓦时
275千瓦 + 200千瓦时

发动机能量（千瓦时）
32.2
25.3
25.3
26.6

燃油消耗率（克/千瓦时）
179
190.9
180.2
191.76

燃油消耗（加仑）
1.8
1.94
1.83
1.96

牵引力燃油消耗（加仑）
1.1
1.17
1.25
1.69

平均内燃机效率（%）
46.2
24.3
56.4
44.8
64.2

平均发电机效率（%）
96.8
69.6
96.2
96.68

平均光伏逆变器效率（%）
44.7
77
42
43.3
40.7

6. 动力系统模型验证
动力系统模拟是使用基于实际组件的验证模型构建的，这些模型采用从测量硬件性能导出的准静态、基于地图的公式。模拟器的开发得到了Cummins技术中心R&D团队的技术监督，确保符合概念阶段动力系统模拟的标准行业实践。由于目前没有等效的高功率混合动力拖拉机在目标功率水平上进行测试，因此无法进行完整的系统级验证。
然而，为了确保真实的工作条件，使用现场测量的工作周期对模型进行了测试，使得模拟操作反映了现实世界的速度-负载使用分布。图5显示了动力系统的内部能量流动路径。交付输出功率与所需参考功率之间的平均百分比误差为4.7%，这位于Cummins技术团队为概念阶段模拟评估定义的可接受容忍范围内。

下载：下载高分辨率图像（372KB）
下载：下载全尺寸图像

图5. 实际播种机工作周期的内部动力系统能量流

图6b显示了速度跟踪性能。大约60%的模拟时间内速度误差为零，其余的偏差很小且无偏。如图6a所示，功率平衡残差在工作周期持续时间内不到3%的情况下保持在±20千瓦以内，在其余时间内保持在±10千瓦以内，表明能量流闭合和驱动系统损失及控制逻辑的正确实现。

下载：下载高分辨率图像（260KB）
下载：下载全尺寸图像

图6. 实际工作周期中的误差分布：(a) 功率残差；(b) 速度误差。
总体而言，这些验证结果表明，在真实的工作周期条件下，混合动力系统模型在物理上是一致的，支持其用于基于场景的混合化潜力评估。

7. 实际现场工作周期数据收集
实际实验工作周期由俄亥俄州立大学食品、农业和生物工程系收集。使用的工作周期包括种植、田间谷物运输车和公路重载卡车。数据收集过程如图7所示。图8展示了一个实际实验播种机工作周期的示例。这些工作周期涵盖了操作条件的变化，从较高速度（50公里/小时）和较高功率（260千瓦）开始，短暂时间后怠速，在种植工作周期中以连续中等功率（180千瓦）运行至少30分钟，然后怠速，速度为（8公里/小时）；对于田间谷物运输车，则在怠速前以较低速度（8公里/小时）运行一段时间，然后以较高速度（18公里/小时）运行一段时间，最后再怠速。这些实际工作周期用于验证动力系统模型并训练可解释、可解释的双深度Q学习（XI-DDQN）。训练是离线完成的，而在部署期间，主要网络即动力系统控制器仅用于动作选择，不进行在线训练，如图9所示。

下载：下载高分辨率图像（1MB）
下载：下载全尺寸图像

图7. 俄亥俄州立大学食品和农业工程系的数据收集：(a) 田间谷物运输车操作；(b) 公路重载卡车操作；(c) 田间谷物运输车路径；(d) Dewesoft数据采集系统；(e) 公路重载卡车的数据采集设置

下载：下载高分辨率图像（411KB）
下载：下载全尺寸图像

图8. 实际实验播种机工作周期，左：发动机负载百分比；右：整个工作周期内的实际发动机速度

下载：下载高分辨率图像（261KB）
下载：下载全尺寸图像

图9. DDQN的部署：动力系统状态被输入到主网络中，选择动作（功率分流），并应用于动力系统。参数被冻结：在部署阶段不进行训练。基于学习的动力总成感知能源管理策略
能源管理系统（EMS）旨在学习一种最优控制策略，以满足车辆的功率和速度需求，同时最小化燃油消耗、最大化发动机效率，并将电池荷电状态（SOC）保持在规定的范围内。该系统采用了具有多个目标的基准动态规划（DP）框架，包括：（i）最小化燃油消耗；（ii）减少频繁的发动机启停事件；（iii）将SOC调节在其标称工作范围内。在DP解决方案的指导下，构建了一个基于规则的EMS，并在各种实际工作循环中对其进行了系统评估。发动机工作点经过预优化，以最大化制动热效率，这种最优工作线在基于DP和基于规则的两种控制策略中均得到一致应用[36]。此外，还开发了一种可解释和可解读的双深度Q学习（XI-DDQN）能源管理策略，并与基于DP和规则的控制器进行了对比。为了提高可解释性，从学习到的策略中提取了一个替代决策树来生成等效的基于规则的控制器，同时利用Q值分解来提供动作选择的结构性解释，并提高学习到的控制策略的透明度。

8.1. 可解释的双深度Q学习
强化学习（RL）提供了一系列可用于车辆能源管理的算法。在这项工作中，选择了双深度Q学习（DDQN），因为它遵循贝尔曼最优性原理，这与基准动态规划公式一致。与标准Q学习相比，DDQN减少了过度估计的偏差；与深度Q学习相比，它实现了更快更稳定的收敛。

8.1.1. 黑盒双深度Q学习
在黑盒双深度Q学习（DDQN）中，使用神经网络来近似动作价值函数Q(s, a)。与传统深度Q网络（DQN）不同，后者容易过度估计动作价值，DDQN在计算目标值时将动作选择与动作评估分离。训练目标定义为：
(4)
其中θ表示用于动作选择的在线网络的参数，θ?表示用于评估的目标网络的参数。
动作价值函数使用时间差分学习规则进行更新：
(5)
其中α是学习率。这种分离的更新减少了标准Q学习中观察到的过度估计偏差，并提高了训练稳定性和收敛性[37]。

8.2. 问题构建
系统状态定义为s = [SOC Pdem]，其中SOC表示电池荷电状态，Pdem表示当前时间步的功率需求。SOC受到允许的电池工作窗口的限制。控制动作定义为电池功率a = [Pbatt]，其受到电池物理和操作限制的约束，这些限制由下限lb和上限ub表示。发电机功率Pgen由功率平衡方程确定，相应的发动机功率Peng和燃油消耗率?从预优化的发动机映射中获得。系统动态通过电池SOC的更新来捕捉：
(6)
其中Δt是采样时间，Qbatt是电池容量，Voc是开路电压。

8.3. 奖励函数
奖励函数旨在促进燃油效率高的能源管理，同时将电池SOC保持在工作范围内并遵守动力总成约束。瞬时奖励定义为：
(7)
燃油消耗的惩罚为：Penfuel = kf ? Δt，其中?是燃油消耗率，kf是权重系数，Δt是时间步长。SOC与其初始值的偏差受到惩罚为：
其中是初始SOC，ksoc是相关的惩罚权重。违反电池功率约束的惩罚为：

8.4. 可解释性：Q值分解
可解释的人工智能（XAI）旨在通过提供对代理为何采取某些行动的洞察来降低黑盒学习模型的不透明度。XAI涵盖了几个方面的可解释性，包括对学习模型的解释、奖励结构、状态表示以及任务级行为[38]。在这项研究中，我们关注基于奖励的可解释性，并使用Q值分解来揭示不同奖励成分如何影响代理的决策。Q值分解是通过用多头神经网络替换标准单头Q网络来实现的。该网络由一个共享的特征提取主干部分和一个并行输出头部组成，每个头部对应一个特定的奖励成分。这种设计为相同的动作产生独立的Q值，从而允许分配信用。最终的动作值是各个头部加权和的结果，如图10所示：

8.5. 多头神经网络架构
为了训练多头神经网络，需要为燃油消耗、SOC偏差和电池约束头部分别设置目标值：
(8)
(9)
(10)
此外，还需要为这三个头部分别设置损失项，以及一个用于更新共享主干的组合损失项。每个头部使用自己的TD误差进行训练，整体DDQN损失是各个头部损失的加权组合。图11显示了基于动力总成的多头XI-DDQN的总体架构：

8.6. 可解释性通过决策树和规则提取
可解释性描述了人类理解模型决策背后推理的难易程度。可解释的模型使工程师能够检查和验证控制逻辑，从而建立对控制器的信任并提高实际应用中的可靠性。决策树提供了一种简单的流程图结构：每个内部节点代表基于输入特征的决策，每个分支显示该决策的结果，每个叶节点给出最终的控制动作。这种结构使得跟踪模型如何做出决策变得直接[39]。

为了获得学习到的DDQN策略的可解释表示，训练了一个决策树来复制DDQN代理产生的控制动作。通过交叉验证选择树结构和用于采样DDQN策略的数据量，以平衡简单性和准确性。通过评估各种树配置在未见数据上复制DDQN决策的程度来选择最佳性能模型。在最终模型中，SOC被离散化为25个网格点，功率需求被离散化为50个网格点。决策树的最大深度限制为3，每个叶节点的样本数最低为5个。这样就得到了原始深度强化学习策略的紧凑且透明的近似。提取的决策树如图13a所示。为了进一步提高可解释性并便于实际部署，从训练好的XI-DDQN策略中提取了一组明确的控制规则，并构建了一个基于规则的能源管理策略。这个基于规则的控制器与DP基准、基于DP的规则控制器和原始XI-DDQN策略进行了评估。从XI-DDQN策略中提取的规则如图13b所示。

9. 结果
结果部分分为三个部分：
(1) 在相同的工作循环下，将基于动力总成的XI-DDQN控制器和基于DDQN的规则控制器（RB-DDQN）与动态规划（DP）解决方案以及基于DP的规则控制器（RB-DP）进行基准测试，以验证控制性能。
(2) 评估同一组控制器以及前向动态规划（DP-forward）策略在测量噪声和先前未见操作条件下的泛化能力和鲁棒性。
(3) 分析基于动力总成的XI-DDQN控制器的可解释性，以展示不同奖励成分如何影响选定的控制动作。

9.1. 与基准DP结果的比较
在本节中，使用相同的工作循环进行训练和评估，以比较基于动力总成的XI-DDQN控制器和基于DDQN的规则控制器（RB-DDQN）的性能。这些控制器与动态规划（DP）解决方案、基于DP的规则控制器（RB-DP）和黑盒DDQN进行了基准测试。图12显示了五种能源管理策略的SOC轨迹：

9.2. 不同场景的评估
在本节中，DP和DDQN的训练数据固定；具体使用初始SOC为55%的种植机工作循环进行训练。然后在一系列场景中进行评估。

9.2.1. 对未见条件的适应性
在训练期间，代理始终以固定的起始SOC 55%进行初始化，代表标称工作条件。为了评估代理是否能够泛化到训练期间从未遇到的初始电池状态，从SOCinit = 15%（电池安全限制定义的允许的最低水平）的耗尽状态开始，连续执行三次相同的种植机工作循环。这代表了一个物理上现实的场景，例如，在没有充电的情况下经过一夜储存后机器开始新的工作班次。这个测试在两个方面挑战代理：首先，初始状态（SOC = 0.15）低于训练期间通常访问的SOC范围（SOC ≈ 0.30–0.70），因此代理必须将其学到的策略应用于从未明确训练过的电池状态。其次，连续执行三次运行而不重置SOC，以确定代理是否能在长时间运行中保持性能稳定，这比单次孤立运行更符合实际现场使用情况。一个泛化能力较强的代理预计会在三次运行中将SOC恢复到0.55的目标值，同时保持燃油效率并避免违反电池安全限制。

9.3. 性能比较
表4总结了在不同条件下的性能，使用相同的训练模型但初始SOC已耗尽：
| 参数 | 基准 | 基于动力总成的XI-DDQN | 黑盒DDQN | RB-DP | RB-DDQN | DP前向 |
|---------------|-----------|--------------|------------|-----------|-------------|
| 燃油消耗（加仑） | 2.16 | 2.16 | 1.90 | 2.50 | 2.60 |
| 等效燃油消耗（加仑） | 2.00 | 2.00 | 2.00 | 2.08 | 2.60 |
| ICE能量（千瓦时） | 36.33 | 36.33 | 2.04 | 2.74 | 8.03 |
| 电池能量（千瓦时） | -2.3 | -2.2 | -1.8 | -7.8 | -12.0 |
| ICE效率（%） | 44.8 | 44.0 | 37.4 | 45.4 | 44.4 |
| 负载能量（千瓦时） | 31.5 | 31.5 | 31.5 | 31.5 | 1.8 |

9.4. 结果总结
表8总结了六种控制器在燃油消耗、能量使用和平均发动机效率方面的比较。基于动力总成的XI-DDQN控制器的燃油消耗最接近基准动态规划（DP）解决方案，达到DP性能的96.7%，并且相对基于DP的规则控制器（RB-DP）实现了1.4%的等效燃油消耗减少。RB-DDQN控制器的性能与RB-DP相当，表明提取的规则保留了学习到的策略的行为。尽管黑盒DDQN报告的等效燃油消耗较低（5.94加仑），但这主要是由于电池充电量极小（-4.2千瓦时），而不是更有效的能源管理。虽然前向动态规划实现了最低的燃油消耗，但它未能满足工作循环的功率需求，因此不适合实时控制。控制器们的SOC轨迹如图14a所示，进一步突出了在相同初始条件下的能源管理行为差异。在高度变化的较长工作周期下的评估。参数：动力系统感知的XI-DDQN、Blackbox DDQN、RB-DDQN、NP前向、RB-DP、DP基准。燃油消耗（加仑）：21.08、21.84、22.40、18.50、22.40、20.40。等效燃油消耗（加仑）：21.52、1.82、2.62、0.52、2.72、0.7。内燃机能量（千瓦时）：356.8、365.8、380.0、327.5、384.0、359.0。电池能量（千瓦时）：-9.0、0.5、-4.6、-35.9、-6.4、-5.6。内燃机效率（%）：44.7、44.0、44.8、46.2、45.4、45.8。负载能量（千瓦时）：339、339、339、339、339、339。下载：下载高分辨率图片（457KB）。下载：下载全尺寸图片。图14. 在分布偏移和不确定性下电池电量（SOC）的鲁棒性。

9.2.2. 适应不确定条件
在实际田间操作中，农用拖拉机的功率需求剖面永远无法完美预测。地面变化、操作员行为以及作物条件的变化都会引入随机波动，这些波动是驱动系统在每个时间步必须满足的。为了复制这些现实世界中的干扰，使用了手稿中图8所示的高波动播种机工作周期。该工作周期直接从田间传感器记录下来，因此包含了实际操作中存在的自然测量变异性和动力系统负载波动。
关键的是，代理在训练过程中并未看到这种高波动剖面。代理仅根据无测量噪声的播种机工作周期进行训练，然后在不进行任何重新训练或微调的情况下对其进行高波动版本的评估。这种方法直接评估了学习到的策略对现实世界中不可避免的随机干扰的鲁棒性，并测试了代理在输入信号偏离训练时假设的理想条件时是否能够维持稳定的能量管理。
在高度不确定和变化的工作周期条件下，控制器的性能总结在表5中，相应的SOC轨迹显示在图14b中。动力系统感知的XI-DDQN控制器实现了与DP基准相当的燃油消耗，为1.37加仑，同时在整个工作周期内保持SOC在可接受的范围内。Blackbox DDQN报告了类似的等效燃油消耗。

表5. 在不确定条件下的评估，使用高度变化的工作周期进行评估。
参数：动力系统感知的XI-DDQN、RB-DDQN、Blackbox DDQN、NP前向、RB-DP、DP基准。燃油消耗（加仑）：0.87、1.60、1.41、1.20、1.14、0.87。等效燃油消耗（加仑）：1.37、1.50、1.41、1.37、1.40。内燃机能量（千瓦时）：14.92、6.82、23.62、1.01、19.71、15.0。电池能量（千瓦时）：8.49、-1.60、0.39、2.90、4.70、8.33。内燃机效率（%）：43.7、44.7、43.7、45.3、45.7。负载能量（千瓦时）：22.32、2.32、2.32、2.32、2.32、2.31。
相比之下，虽然前向DP策略实现了较低的原始燃油消耗，但导致电池显著耗尽，SOC降至临界低水平，使其在不确定性下不适合实际操作。基于DP的规则控制器（RB-DP）实现了与DP基准相当的等效燃油消耗，为1.40加仑。RB-DDQN控制器保持了SOC的稳定性，但等效燃油消耗略有增加，为1.50加仑。

9.2.3. 泛化
为了评估代理是否学会了可以转移到根本不同操作剖面的控制器，采用了跨周期评估协议。代理仅根据播种机工作周期进行训练，该周期的特点是间歇性的高功率需求事件，需要高速运行，持续大约1400秒。然后，在不进行任何重新训练或参数调整的情况下，对其在两种结构不同的工作周期上进行评估，这两种工作周期代表常见的农业操作：
- 田间谷物车操作（GCSlow）：这种剖面代表一辆从联合收割机接收谷物的谷物车。其特点是持续的中等到高功率需求，至少持续30分钟，随后是一个怠速阶段，车速约为8公里/小时。与训练周期相比，这种剖面带来了更持续和连续的负载，瞬态事件更少，测试代理是否能够管理这种与训练期间看到的间歇性峰值结构不同的长时间功率消耗。
- 公路上谷物车操作（GCFast）：这种剖面代表一辆在公共道路上将谷物运输到储存设施的谷物车。其特点是短时间内的低到中等功率需求，随后是一个延长的怠速阶段，车速约为18公里/小时。这个周期的峰值功率要求低于训练周期，但时间结构不同，有更长的怠速阶段，需要代理在较长的低需求阶段管理电池恢复。
选择了这两个周期来涵盖与训练周期在三个关键方面不同的操作条件：功率需求大小、负载持续时间和车速。这两个周期都没有与播种机训练周期相同的功率需求序列、持续时间或峰值负载分布。一个在两个周期上都表现良好的控制器证明了学习到的策略掌握了通用的能量管理原则，如电池充电和发动机高效运行，而不仅仅是特定于训练期间使用的播种机周期的模式。
定量结果报告在表6和表7中，相应的SOC轨迹显示在图15中。在两个工作周期中，动力系统感知的XI-DDQN控制器始终实现了接近DP基准的燃油消耗和等效燃油消耗（96%的DP），并与基于DP的规则控制器（RB-DP）相比，等效燃油消耗降低了14.6%，同时保持SOC在所需的操作范围内。Blackbox DDQN在这两个周期中的等效燃油消耗略低于XI-DDQN（GCSlow为4.65加仑，GCFast为2.58加仑）。RB-DDQN控制器的性能与RB-DP相当，证实提取的规则保留了学习到的策略的行为，只损失了很小的最优性。相比之下，前向DP策略在某些情况下实现了较低的燃油消耗，但导致电池显著耗尽和较差的SOC调节，从而限制了其实际可行性。SOC轨迹进一步突显了动力系统感知的XI-DDQN控制器在以前未见的工作周期中的稳定能量管理行为，展示了强大的泛化能力。

表6. 在一个工作周期上训练并在另一个不同工作周期上进行测试的通用情况评估 - （GCSlow）。
参数：动力系统感知的XI-DDQN、Blackbox DDQN、RB-DDQN、NP前向、RB-DP、DP基准。燃油（加仑）：4.90、4.57、5.58、4.00、5.22、4.70。等效燃油消耗（加仑）：4.75、4.65、5.00、3.56、4.84、4.57。内燃机能量（千瓦时）：81.37、7.29、2.78、7.08、7.08、1.0。电池能量（千瓦时）：-2.4、1.4、-9.7、-7.5、-6.4、-2.3。内燃机效率（%）：43.5、44.1、44.4、44.6、45.0。负载能量（千瓦时）：65.76、5.76、5.76、5.76、5.76、5.7。
表7. 在一个工作周期上训练并在另一个不同工作周期上进行测试的通用情况评估（GCFast）。
参数：动力系统感知的XI-DDQN、Blackbox DDQN、RB-DDQN、NP前向、RB-DP、DP基准。燃油（加仑）：2.72、2.53、3.52、2.43、2.6。等效燃油消耗（加仑）：2.56、2.58、2.98、2.40、3.00、2.46。内燃机能量（千瓦时）：45.50、41.58、57.76、43.00、55.50、45.30。电池能量（千瓦时）：-2.40、1.39、-8.73、-0.13、-6.30、-2.30。内燃机效率（%）：44.0、43.9、44.2、46.2、24.4、44.3。
下载：下载高分辨率图片（370KB）。下载：下载全尺寸图片。
图15. 在训练和评估工作周期不同的通用操作条件下的电量（SOC）轨迹：（a）谷物车慢速工作周期；（b）谷物车快速工作周期。

9.2.4. 在更长的实际工作周期下的评估
两个长工作周期下控制器的性能总结在表8和表9中，相应的SOC轨迹显示在图16中。在较长且高度变化的工作周期下，动力系统感知的XI-DDQN实现了21.5加仑的等效燃油消耗，相当于DP基准的96.3%，同时在190分钟的操作过程中保持SOC在35-40%的范围内。这与RB-DP（22.7加仑）相比，等效燃油消耗降低了5.3%。在更长的实际工作周期下，动力系统感知的XI-DDQN实现了37.26加仑的等效燃油消耗，与RB-DP的37.67加仑相比提高了1.1%，同时保持SOC在可接受的范围内。

表9. 在更长的实际工作周期下对XI-DDQN的评估。
参数：动力系统感知的XI-DDQN、Blackbox DDQN、RB-DDQN、NP前向、RB-DP。燃油消耗（加仑）：37.04、37.00、34.00、39.67。等效燃油消耗（加仑）：37.26、37.08、34.87。内燃机能量（千瓦时）：630.76、19.66、03.96、74.7。电池能量（千瓦时）：-7.5、1.41、4.9、-35.2。内燃机效率（%）：44.8、41.7、45.7、45.3。负载能量（千瓦时）：575、575、575、575。
下载：下载高分辨率图片（862KB）。下载：下载全尺寸图片。
图16. 在更长的工作周期下的SOC轨迹。
XI-DDQN在两个周期中都实现了37.26加仑的等效燃油消耗，与RB-DP的37.67加仑相比提高了1.1%，同时保持SOC在可接受的范围内。Blackbox DDQN在两个周期中实现了类似的等效燃油消耗（分别为21.8加仑和37.08加仑）。DP前向策略在两种情况下都实现了最低的原始燃油消耗，但代价是电池严重耗尽，SOC反复降至接近15%的临界低水平，使其不适合持续的实际操作。总体而言，动力系统感知的XI-DDQN在两种长工作周期条件下都展示了一致的燃油效率和SOC稳定性，优于基于规则的控制器，并避免了前向DP方法的电池管理失败。所提出的XI-DDQN在七个工作周期上的平均燃油效率达到了动态规划基准的97.7%，而基于DDPG的方法报告的效率为98.5%[31]、[32]。相对于基于规则的策略，所提出的EMS平均燃油减少了11.7%，而Wu等人[15]的Blackbox DDQN报告的效率为9.93%。尽管我们的Blackbox DDQN模型实现了与RB-DP相当的平均燃油减少量11%，但它无法解释或理解学习到的策略，这削弱了其可靠性并限制了实际应用。值得注意的是，在这项工作中，模型是在一个工作周期上训练的，并在六个以前未见过的周期上进行评估的，而在比较研究中，训练和评估是在相同的工作周期上进行的。

10. 讨论
DDQN控制器对未见的工作周期、随机干扰和不确定的操作条件表现出强烈的适应性，表现优于基于规则的（RB）和动态规划（DP）策略。与RB不同，RB依赖于固定阈值，当功率剖面或SOC轨迹偏离其设计假设时无法进行调整，DDQN基于贝尔曼原则学习了一个连续的状态-动作策略，并评估当前决策如何影响未来的燃油使用和SOC。与DP相比，DP生成了一个与离散状态轨迹相关的特定循环的最优策略，而DDQN在整个连续状态空间上近似了价值函数。如图17所示，DDQN捕获了DP识别的相同最优行为：在低功率需求时为电池充电以保持发动机处于高效区域，在高功率需求时放电以支持发动机。然而，DDQN将这种行为扩展到未访问的状态，从而实现了超出训练条件的泛化。因此，DDQN保持了DP的最优控制结构，同时消除了其缺乏泛化和计算负担的问题，展示了迈向具有接近最优性能和现实世界可变性的EMS的可行路径。

下载：下载高分辨率图片（566KB）。下载：下载全尺寸图片。
图17. 动态规划（DP）解决方案（左）和DDQN策略（右）的策略图比较。DDQN策略与DP行为非常匹配。对于低功率需求，两种策略都倾向于为电池充电；而对于高功率需求，两者都倾向于为电池放电以满足负载。红线表示DP解决方案在DDQN图上的SOC限制，强调DP无法超出其训练范围进行泛化。
在这种情况下，XAI的目标是更好地理解代理为什么选择特定动作以及哪些特征对代理的决策影响最大。
为什么代理选择了特定动作？
为了回答这个问题，选择了一个特定的状态和时间，在这种情况下t = 0，SOC = 55%，Preq = 28.7千瓦。图18展示了与所检查状态中可用动作相关的分解后的Q值。

下载：下载高分辨率图片（588KB）。下载：下载全尺寸图片。
图18. 候选动作的状态-Q分解。对于每个动作，展示了与燃油消耗、SOC偏差和动力系统约束违反相关的单独Q值，以及总的Q值，以说明每个目标如何贡献于总体动作价值并影响动作选择。
尽管索引为333和861的动作实现了最高的总体Q值，但它们的幅度非常相似，如图10所示。为了更好地理解每个因素对决策的贡献，图19a绘制了各因素的Q值差异，揭示了每个动作如何影响燃油消耗、SOC调节和电池限制。
表10. 排名最高的动作及其相应的Q值和电池功率。
排名 动作索引 Qtotal Pbatt（千瓦） 1333 10.95 85?133.37 2861 10.94 65?27.71
下载：下载高分辨率图片（312KB）。下载：下载全尺寸图片。
图19. 提出的XI-DDQN策略的可解释性：（a）奖励差异解释（RDX）；（b）全局组件优势。
图19a展示了给定状态下两个最高价值动作的奖励差异解释（RDX）。选定的动作（索引333）实现了略高的总体Q值（10.96），比第二好的动作（索引861，Q = 10.95）略高。条形图将Q值差异分解为燃油消耗、SOC偏差和电池约束违反的贡献，明确了两种动作之间的权衡。
尽管第二个动作在减少燃油消耗和遵守电池约束方面表现更好，但选定的动作由于更好地维持了SOC而产生了更高的总体回报。这种改进的SOC调节抵消了其他方面的较弱表现，从而获得了更高的总体Q值。这个结果说明了控制器如何根据它们的综合长期影响而不是任何单一性能指标来平衡竞争目标并选择动作。

哪个特征对代理的决策影响最大？
图19b通过报告最佳动作和第二好动作之间的平均绝对Q值差异来量化这种效应，按奖励成分分解。SOC成分显示出明显较大的平均贡献（大约0.14），而燃油成分（大约0.09）和电池约束成分（大约0.07）的贡献较小，同时也表现出更高的变异性。这表明，SOC（状态电荷）的偏差在竞争性行动之间造成的差异始终大于燃料消耗或约束惩罚的增量变化。这些结果显示，在全球范围内，代理的动作选择对SOC调节的敏感性高于对边际燃料节约的敏感性，这反映了维持SOC在允许范围内的严格惩罚。确定主导奖励成分可以为奖励塑造提供实际指导，从而在将方法扩展到更复杂的动力总成配置时实现更好的目标平衡。

可解释性分析通过采样五个代表性时间步长来进行，这些时间步长涵盖了整个工作循环的范围，从峰值功率需求到接近空闲状态，如表11所示。表11. 在选定的工作点进行的RDX分析。正的ΔQ支持所选动作；负的ΔQ则偏好另一种动作。主导成分是绝对值|ΔQ|最大的那个。

| 情况 | SOC (W) | Δfuel | Δsoc | Δbattery |
|--------------|-------------|---------|---------|---------|
| 1. 峰值需求 | 0.475 | 239,121 | -0.0011 | +0.0006 | +0.0057 |
| 2. 高需求瞬态 | 0.433 | 157,120 | +0.0180 | -0.0190 | +0.0285 |
| 3. 中等操作 | 0.424 | 6,433 | -0.0270 | +0.0225 | +0.0092 |
| 4. 低需求 | 0.551 | 8,779 | +0.0011 | +0.0002 | -0.0010 |
| 5. 接近空闲 | 0.482 | 7,330 | +0.0018 | -0.0025 | +0.0011 |

这五个工作点揭示了代理决策逻辑中一致且具有物理意义的模式。在峰值需求时（案例1），电池管理几乎完全负责区分最佳动作和替代动作（Δbattery = +0.0057），而燃料和SOC的贡献可以忽略不计。在高需求瞬态时（案例2），燃料效率和电池管理都支持所选动作（分别为+0.0180和+0.0285），同时代理接受了较小的SOC成本（-0.0190），这反映了在高负载下充电水平与电池保护之间的权衡。在中等操作时（案例3），SOC调节成为主要驱动力（+0.0225），电池管理提供额外支持（+0.0092），同时代理接受了燃料惩罚（-0.0270）。在低需求和接近空闲状态时（案例4和5），电池压力不存在，燃料效率是主要的区分因素，SOC和电池的贡献接近于零。这种在不同工作条件下的主导成分变化证实了代理已经学会了如何适当响应工作循环中的不同点。

图20a和20b将这一分析扩展到了所有六个工作循环和600个操作状态。有三个一致性的发现：首先，在大多数操作状态和工作循环中，SOC调节是动作选择的主导因素，这证实了充电管理是代理主要学习的目标；其次，当SOC稳定且电池压力较低时，燃料效率变得更加重要，表明代理只有在充电管理不是当务之急时才会关注燃油经济性；第三，电池保护的主导地位很少见且短暂，仅在短暂的高压力事件中出现，表明代理主动避免了电池极限的违反。这种三模式结构在所有六个循环中的一致性，包括训练期间未出现的五个循环，证实了代理已经学会了一项通用且具有物理意义的能源管理策略。

图20展示了六个工作周期下的全局可解释性分析：(a) 时间主导轨迹和SOC轨迹；(b) 状态空间中的决策模式图。图20b中的决策模式图显示了三个明显的操作区域：在低功率需求（≤0.05）时，燃料效率在广泛的SOC值范围内占主导地位，因为发动机工作点是空闲和轻负载时的主要区分因素；在中等功率区域（0.1≤≤0.5），SOC调节在中间充电水平上占主导地位；当SOC处于或接近目标值时，即使在这个功率范围内，燃料效率也成为主要区分因素，因为充电管理已经满足；在高功率需求（≥0.5）时，尤其是在SOC较低的情况下，电池保护占主导地位，因为代理优先考虑避免进一步的电池退化。SOC和电池主导地位之间的转换大约发生在0.5–0.6之间，这代表了电池压力变得比充电管理更关键的阈值。

表12比较了XI-DDQN和黑盒DDQN在同一环境中的训练运行计算性能。以下是关于报告指标的说明：

| 指标 | XI-DDQN | 黑盒DDQN |
|--------------|---------|---------|
| 训练规模 | 10,000 | 50,000 |
| 总剧集数 | | |
| 总时间步长 | 13,670,000 | 68,351,367 |
| 每集时间步长 | 1,367 | 1,367 |
| 壁钟时间 | 14,842秒 (4.12小时) | 73,474秒 (20.41小时) |
| 平均每集时间 | 1.48秒 | 1.45秒 |
| 每时间步长时间（模拟器+网络） | 0.659毫秒 | 0.655毫秒 |
| 收敛 | 4,000集 | 25,000集 |
| 收敛时间 | ≈1.64小时 | ≈10小时 |

总训练时间是指从第一个剧集到最后一个剧集的端到端墙钟持续时间，不仅包括剧集循环，还包括保存模型检查点、生成诊断图、写入日志文件以及在保留的剧集上评估策略等开销操作。相比之下，剧集时间之和仅隔离了每个剧集中环境步骤和网络权重更新的时间，XI-DDQN和黑盒DDQN的開销分别为1.62小时和7.98小时。值得注意的是，XI-DDQN的收敛速度明显快于黑盒DDQN，收敛时间减少了大约83.6%，这可以归因于分解的多头架构在训练期间提供了更结构化和信息丰富的梯度信号。

每时间步长时间计算如下：\(t_{step,k} = t_{wall-clock}(episode,k) + N_{steps,k}\)，其中\(t_{episode,k}\)是第k个剧集的墙钟持续时间，\(N_{steps,k}\)是该剧集中的环境步骤数。这个指标捕获了每个时间步长的综合成本，包括：(i) 环境模拟器的一次前向传递，(ii) 在线Q网络的一次前向传递用于动作选择，以及(iii) 从回放缓冲区采样的一个小批量上的一个随机梯度下降更新。由于这三个组件不是分别计时，\(t_{step,k}\)代表了纯模拟器成本的上限。两次运行的值几乎相同（约0.66毫秒/步），证实了环境复杂性和网络架构在运行之间是一致的。

实时部署的可行性：测量的每时间步长墙钟时间为0.659毫秒，涵盖了环境步骤、网络前向传递和梯度更新。在部署的推理过程中，只需要网络前向传递，这仅占训练时间成本的一小部分，完全在10Hz实时控制循环的100毫秒预算之内。因此，所提出的XI-DDQN策略在计算上适合实时部署实验。

本研究开发了一种可解释且可理解的基于强化学习的动力总成控制器，它对环境变化具有鲁棒性，这些变化由现实世界的现场工作循环表示，同时尊重动力总成的操作约束。使用经过验证的组件模型构建了一个详细的动力总成模拟器，并根据现场测量到的工作循环进行了验证，以确保操作条件的真实性和内部物理一致性。开发并评估了一种具有动力总成意识、可解释性和可解释性的双深度Q网络（XI-DDQN）控制器，该控制器在四个之前未见过的任务循环场景中进行了测试。从学习到的策略中提取了一个可解释的决策树，并从中派生出了一种基于规则的能源管理策略。所提出的控制器的性能与基于动态规划的规则控制器和基准动态规划解决方案进行了比较。平均而言，XI-DDQNAchieved实现了动态规划基准性能的97.7%，相对于传统动力总成基线，燃料消耗减少了23%，与基于规则的控制器相比减少了11.7%。在高度可变的工作循环下，基于规则的控制器实现了更高的燃料节省；然而，它未能维持电池SOC，而XI-DDQN保持了SOC并一致地再现了动态规划基准的趋势。

除了性能之外，所提出的XI-DDQN框架还通过揭示哪些奖励成分和状态变量最强烈地影响代理的决策以及为什么选择特定的控制动作，提供了可解释性。多头神经网络架构使得跨目标的专业化成为可能，支持明确的信用分配，并有助于更快和更稳定的训练收敛。总体而言，结果表明，具有动力总成意识、可解释性和可解释性的多头强化学习控制器在重型混合动力总成应用中提供了高效的、鲁棒的和透明的能源管理潜力。未来的工作将集中在将所提出的控制器实现到硬件在环（HIL）设置中，以验证实时部署并评估在实际约束下的计算可行性。此外，将在训练中包含更多范围的工作循环，以进一步扩展操作领域并提高策略的鲁棒性。还将考虑长时间的工作循环，如全天周期的工作循环，以捕捉更长的操作模式。最后，将探索顺序学习模型，如Transformer，以更好地捕捉短期和长期的时间依赖性，目标是改善超过扩展操作时间的控制性能。

CRediT作者贡献声明：
Hend Abououf：软件、方法论、调查、形式分析、概念化。
Nitish Chandramouli：验证、监督。
Jon A. Dickson：验证、监督、资源。
Qadeer Ahmed：监督、项目管理、概念化。
Scott A. Shearer：监督、资源、数据管理。
Athar Hanif：监督、方法论、概念化。
Sidra G. Bhatti：软件

数据可用性：用于生成这些结果的代码已上传到OSU CAR Mobility System Lab的Github页面。

作者声明没有竞争利益。