基于演员-评论家强化学习的锂电池荷电状态与健康状态联合估计研究

《World Electric Vehicle Journal》：Joint State-of-Charge and State-of-Health Estimation via Actor–Critic Reinforcement Learning

　　

： 荷电状态（State-of-Charge, SoC）与健康状态（State-of-Health, SoH）的准确估计对锂离子电池运行至关重要。本研究探讨了采用双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）与软演员-评论家（Soft Actor-Critic, SAC）算法，结合复合奖励函数进行SoC/SoH联合估计的演员-评论家（Actor-Critic）框架，并将观测结果与四种监督学习基线方法进行比较。在所提供的西安交通大学（XJTU）数据集运行中，演员-评论家模型取得了低于监督学习基线的SoC均方根误差（Root Mean Square Error, RMSE），而最优监督模型在SoH估计上仍保持竞争力或更优。当前评估仅使用有限的电池单元队列及三个随机种子，且逐单元归一化与开路电压（Open Circuit Voltage, OCV）校准采用了留出电池单元的记录（该协议并非仅基于训练集），因此研究结果属于探索性结论，尚不能确立确证性的统计优越性或对更大电池总体的泛化能力。计划中的清华大学标签保留实验未能完成，因为所提供数据集的容量字段无可用的方差。由此产生的清华大学分析仅限于无标签输出诊断，无法确立目标域估计精度，也无法验证标签稀缺条件下的奖励模型迁移。奖励项（包括应用于SoH的库仑计数项）属于探索性设计，并非经过验证的物理约束，任何关于SoC-SoH差异的机理性解释均为假设而非既定结论。奖励分量消融、超参数敏感性分析、匹配的非强化学习（Reinforcement Learning, RL）对比以及清华大学标签保留扫描仍为未来验证要求。

论文解读文章：

一、研究背景与问题提出

锂离子电池的荷电状态（SoC）与健康状态（SoH）实时估计对于电动汽车和固定式储能系统的安全、高效及持久运行至关重要。SoC描述相对于参考容量的可用电荷，而SoH通常涉及相对于标称或初始容量的剩余可用容量。尽管二者通过电化学和退化动力学相互耦合，但它们不可互换，需要明确定义的标签、状态变量和评估协议。

当前文献中，监督式深度学习已成为该领域最主流的估计方法。各类人工神经网络架构，包括循环网络、注意力架构和时序卷积架构，已被用于基于电压、电流和温度序列预测SoC和SoH。物理信息方法通过在损失函数中加入描述退化过程的约束来提升模型的理解能力和稳定性。域适应方法（如CORAL）也被用于将实验室数据训练的模型推广至现场数据。然而，现有文献大多将SoC或SoH估计视为静态或滑动窗口回归问题，缺乏将估计过程视为多步骤序贯决策的视角。与此同时，强化学习（RL）在电池管理控制任务（如充电调度、热管理和能量调度）中已取得显著成功，这些任务均具有行动效果随时间演化的特征。

由此产生一个尚未被系统检验的问题：能否将估计任务本身重新定义为马尔可夫决策过程（MDP），使演员-评论家智能体通过奖励信号驱动获得SoC/SoH估计？需要注意的是，演员-评论家技术最初是为控制任务设计的，智能体有机会影响其未来观测；而对于处理固定输入数据流的被动估计智能体而言，这一条件并不成立。因此，任何提出的优势都必须通过与可靠监督学习方法的结果进行实际比较来证明，而非从强化学习在类似应用中的成功来推定。

二、研究内容与核心发现

本研究将联合SoC/SoH估计概念化为MDP，采用TD3和SAC两种算法结合复合奖励进行训练，并描述了一种基于奖励的迁移程序，用于标签稀缺的现场应用。实验采用XJTU运行至失效数据集和描述电动汽车电池循环的真实世界数据集，第三个数据集CALCE完全留出，仅用于跨数据集泛化测试。监督基线使用与RL实验相同的数据划分运行。

研究贡献包括：（i）将联合SoC/SoH估计表述为序贯决策问题的探索性框架；（ii）结合标记误差项与一致性项的物理动机奖励的探索性研究；（iii）预期奖励模型迁移程序的描述（仅获得无标签诊断结果）；（iv）在XJTU运行和CALCE数据集上的评估，识别了有前景的SoC结果和重要局限性。

在XJTU源域上，TD3和SAC在SoC任务上均获得低于所有监督基线的观测RMSE：TD3的RMSE为0.0189，约为最强监督模型（Transformer-CORAL，0.0527）的三分之一，比最弱基线（CNN-LSTM，0.2939）低一个数量级以上。SAC在此任务上与TD3几乎完全匹配（同为0.0189）。然而，这一优势并未延续至SoH任务：Transformer-CORAL是最强方法（0.0533），SAC紧随其后（0.0599），TD3（0.0759）劣于Transformer-CORAL，略逊于Attention-TCN（0.0752）。

在CALCE跨数据集测试中，方法排名不稳定。Attention-TCN在SoC（0.2932对0.3713）和SoH（0.2236对0.2493）上均超越Transformer-CORAL。TD3在CALCE SoH上名义上为六种方法中最优（0.2148），但在CALCE SoC上落后于Attention-TCN（0.3011对0.2932）。

清华大学目标域标签保留扫描未能按设计执行，因为所获取数据集的容量变量在3000辆车的96000个数据点中缺失，SoH标签记录为1.0且标准差为0.0，无可用方差。因此，清华大学分析仅限于无标签输出诊断。在该数据集中，TD3和SAC产生的SoH预测集中于上输出边界附近，记录内预测标准差极小，与输出坍缩一致。单调性违反率非零（TD3为26.6%，SAC为35.4%），表明坍缩并非干净的常数输出，而是聚集在天花板附近的噪声输出。

三、关键技术方法

本研究采用的主要技术方法包括：双延迟深度确定性策略梯度（TD3）算法，采用裁剪双Q学习、延迟策略更新和目标策略平滑三种修正技术来缓解过估计偏差；软演员-评论家（SAC）算法，通过熵正则化促进探索，作为对比臂；物理动机复合奖励函数，由标记精度项、开路电压（OCV）一致性项、单调性约束项和库仑计数项组成；四种监督基线（深度循环回归器、CNN-LSTM融合模型、物理信息注意力/TCN融合网络、带CORAL域适应的Transformer-TCN参考架构）。数据来源包括XJTU运行至失效数据集（源域）、清华大学电动汽车电池数据集（目标域，仅用于无标签诊断）和CALCE数据集（完全留出用于跨数据集测试）。所有数据重采样至1 Hz时间基，逐单元进行z归一化。

四、研究结果

4.1 源域基准比较

在XJTU留出单元上，TD3和SAC在SoC任务上获得低于所有监督基线的观测RMSE。TD3的SoC RMSE为0.0189，SAC同为0.0189，均显著低于最强监督模型Transformer-CORAL的0.0527。但在SoH任务上，Transformer-CORAL以0.0533的RMSE成为最强方法，SAC为0.0599，TD3为0.0759，劣于Transformer-CORAL和Attention-TCN（0.0752）。值得注意的是，TD3的SoH预测均值为0.9995、标准差为0.0008，而真实标签分布均值为0.944、标准差为0.053。预测器几乎没有输出方差，无法监测不同循环和单元间的退化；其低PVR和看似合理的RMSE源于预测几乎恒定于标签范围上端的值。

4.2 CALCE跨数据集泛化

在CALCE上，所有方法的绝对误差均高于XJTU，符合真实跨数据集测试预期。方法排名跨域不稳定：Attention-TCN在SoC和SoH上均超越Transformer-CORAL。TD3在CALCE SoH上名义上为最优（0.2148），但在CALCE SoC上落后于Attention-TCN（0.3011对0.2932）。CORAL的分布对齐目标在CALCE上表现不如仅依靠注意力/TCN架构的归纳偏置，这是独立于TD3和SAC性能的有用负面发现。

4.3 标签稀缺下的域迁移

计划中的标签保留率扫描（ρ∈{1.0, 0.10, 0.02}）未能执行，因为清华大学数据集的容量字段无可用方差。该数据集表现出显著的协变量偏移：平均电流从XJTU的+2.20 A变为清华大学的-25.47 A，平均温度从26.4°C升至63.9°C。在唯一可检查的条件（无可用目标域标签且协变量偏移大）下，无标签一致性项单独未能防止近恒定SoH输出。TD3和SAC的SoH预测集中于上输出边界附近，单调性违反率非零（TD3为26.6%，SAC为35.4%）。这是诊断性观察，并非测量的迁移误差，既不能作为奖励模型迁移在分级标签稀缺下的证据，也不能作为反对证据。

4.4 消融研究

计划中的奖励分量消融（将OCV一致性、单调性和库仑计数一致性权重分别设为零）以及演员学习率和折扣因子的敏感性分析未在提交前实施，未报告数值消融或敏感性结果。因此，SoH坍缩不能因果归因于任何单一奖励分量，OCV项对SoC结果的贡献无法隔离。

4.5 强化学习不占优的情形

在所有完成的比较中，没有任何一项满足预先指定的成功规则。XJTU SoC行中，TD3满足2%的RMSE边际但未通过显著性检验（p=0.25，n=3时的最小可达值，未低于0.05阈值）；SoH行中，任何方法均未满足任何条件。CALCE行中，若以真实最优基线（Attention-TCN而非Transformer-CORAL）为参照，TD3和SAC在SoC上不满足边际要求，实际劣于最优监督方法。CALCE SoH的TD3比较是唯一目前满足预先指定RMSE边际条件的未决案例，其最终状态在独立单元显著性分析完成前仍不确定。

五、讨论与结论

讨论部分指出，SoC与SoH结果的差异可能与奖励分解有关，但现有实验未确立因果机制。SoH缺乏与SoC的OCV项等效的绝对水平锚点：单调性项和库仑计数项（在执行的SoH配置中）均为相对前一步的微分约束，策略只需重复自身先前的SoH估计即可完全满足单调性项。在标签密集条件下（如XJTU），监督回归在SoH上具有持续优势（Transformer-CORAL为0.0533，Attention-TCN为0.0752，TD3为0.0759），因为其损失在每个标记步骤直接惩罚绝对误差，而这正是纯物理奖励项无法单独提供的信号。

研究结论认为，现有证据不支持将演员-评论家框架作为监督式SoC/SoH估计的通用替代方案。结果仅支持一个更窄的探索性观察：在所提供XJTU源域运行中，TD3和SAC取得了低于监督基线的SoC RMSE，但该差异未确立统计显著性且其潜在原因未被隔离。该源域结果不应被解释为奖励模型迁移成功的证据。计划中的目标域标签保留实验因所提供清华大学容量字段无可用方差而未能完成，清华大学结果仅提供无标签输出诊断，不确立目标域估计精度或验证迁移性能。对于SoH，已完成的比较和当前奖励公式的局限性倾向于谨慎解释，在评估条件下监督回归仍是更受支持的方案。