基于局部混合与令牌统计自注意力的锂离子电池健康状态预测

《JOURNAL OF POWER SOURCES》：Lithium-ion battery state-of-health prediction based on local mixing and token statistics self-attention

　　

**摘要**

锂离子电池健康状态（SOH）的在线估计对电动汽车的安全运行至关重要，但非线性容量衰减、数据稀缺以及局部再生现象使其变得复杂。本文提出了LMM-PatchTSSA，一个轻量级框架，将局部混合模块（LMM）与片段时间序列Transformer（PatchTST）相结合。LMM从充放电曲线中提取短期、对退化敏感的签名，揭示标准Transformer所忽视的早期老化指标。PatchTST采用基于二阶统计量的Token统计自注意力（TSSA）机制，将复杂度从二次级降至线性级，同时捕捉长程依赖。冻结骨干网络迁移策略缓解了化学体系引起的域偏移问题。在CALCE数据集上，模型平均均方根误差（RMSE）为0.0118。在零样本迁移任务中，从CALCE（NMC）电池迁移到NASA（LCO）电池，R2超过0.95，经少量微调后达到0.9913。在最近发布的TBSI-Sunwoda数据集上的外部验证确认了模型的泛化能力，在相同温度留出协议下，R2为0.9919，RMSE为0.0085。这些结果表明该方法具有准确的SOH预测能力、稳健的跨化学体系泛化性能以及低推理开销，使其适用于实时电池管理系统。

**引言**

可再生能源渗透率的快速增长对储能技术提出了更高要求，即提供高能量密度、低自放电率和最小环境负荷。锂离子电池满足这些要求，已成为电动汽车和电网级应用中的主流技术。

循环寿命老化会降低可用容量并增加内部阻抗，从而提高热风险和操作更换成本。因此，准确的在线电池健康状态（SOH）估计对于安全和经济运行至关重要[1]、[2]。

在本引言中，相关SOH估计文献被整理为三大类别：基于物理的模型、机器学习方法和深度学习技术，随后进一步讨论近期特定领域和具备迁移能力的电池预测研究，以阐明本文所提框架的定位。现有SOH估计方法可分为三种主要范式：基于物理的模型、机器学习方法和深度学习技术。基于物理的方法以电化学原理为基础构建电池老化模型，采用电化学阻抗谱（EIS）辅助的机理建模和降阶热力学参数化等技术。Xiong等人[3]在卷积神经网络（CNN）框架内利用重构的阻抗谱进行容量估计。Li等人[4]将热力学和化学-机械退化机制整合到单颗粒模型中，以模拟实时容量衰减和SOH演变。从在线模型基状态估计的角度来看，Xu等人[5]进一步结合电池参数辨识，通过双粒子滤波算法联合估计SOC和SOH，强调了耦合状态-参数推理对车载电池管理的实用重要性。尽管这些物理模型具有坚实的理论基础，但它们通常需要高精度仪器，这一严格要求在估计精度与实际部署可行性之间造成了难以调和的矛盾。

机器学习（ML）方法通过数据驱动的范式提取潜在退化特征，从而绕开了复杂的电化学建模。这些方法包括支持向量机（SVM）和随机森林等经典算法，以及小波变换（WT）和经验模态分解（EMD）等信号处理技术，用于非线性特征提取[6]。Cao等人[7]将支持向量回归（SVR）与增量容量分析（ICA）相结合，以增强老化特征提取。Chen等人[8]将改进的自适应噪声完备集合经验模态分解（ICEEMDAN）与SVR相结合来分解容量序列，有效缓解了再生现象的干扰，提高了剩余使用寿命（RUL）和SOH预测的精度。Jia等人[9]利用小波包变换（WPT）分离温度敏感特征频带，并构建了一种使用小波神经网络和期望最大化（EM）算法的混合优化框架，在NASA数据集上实现了低于0.0133的均方根误差（RMSE）。近期的数据驱动研究进一步强调了特征优化在SOH估计中的价值。例如，Mu等人[10]开发了一种基于特征优化和数据驱动模型的锂离子电池SOH估计方法，表明对健康相关特征的仔细筛选和组织可以显著提高预测可靠性。更近期，高级特征筛选策略获得了广泛认可。Dai等人[11]利用多元相关分析结合优化的回声状态网络（ESN）来解耦动态电气行为，进一步确立了严格健康指标选择的重要性。这些机器学习算法成功地降低了对严格机理模型的依赖。然而，这些算法始终难以解缠复杂的耦合特征，如循环衰减与日历老化之间的关系。因此，它们在动态运行条件下表现出有限的鲁棒性，并且严重依赖大量人工特征工程。

深度学习（DL）架构，特别是循环神经网络（RNN）、门控循环单元（GRU）和长短期记忆网络（LSTM），因其擅长建模充放电循环中的时间依赖性而被广泛采用[12]。Kaur等人[13]对前馈神经网络（FNN）、卷积神经网络（CNN）和LSTM进行了容量估计和健康监控的对比分析。为了提取更全面的时序退化特征，统一的跨循环和循环内增强机器学习框架（IC2ML）被开发出来，展示了在全局退化轨迹预测方面的显著能力[14]。

为了明确应对复杂的运行变化和局部容量波动，近期研究越来越多地转向注意力机制和条件匹配架构。Zhu等人[15]提出了一种混合CEEMDAN-Informer-LSTM框架，旨在解决容量恢复效应问题；该模型将高频分量分配给增强版Informer，将低频趋势分配给LSTM。类似地，Kuang等人[16]部署了基于注意力的Informer模型，结合预训练迁移学习策略，实现了跨不同电池材料体系的准确SOH自回归预测。此外，为了确保在高度多样化的老化场景下实现稳健的健康估计，可解释的专家混合模型（iMOE）[17]、算子网络（ONET）[18]和跨电池深度学习策略[19]已被提出，以动态对齐不同的运行条件。

然而，不同电池化学体系和运行曲线之间的数据分布显著差异限制了在单一来源数据集上训练的模型的泛化能力。为了克服这些特定数据集的限制，高影响力的研究越来越多地推进机器学习方法。受近年来无退化SOH估计的深度学习突破的推动，前沿模型如跨电池深度学习框架[19]和可解释专家混合模型[17]在高度多样化的老化条件下显著增强了模型泛化能力。迁移学习进一步通过利用源域知识来增强目标域的适应性来解决这一挑战，有效缓解了异构电池系统中的域偏移问题[21]、[22]、[23]。

Transformer架构已成为通过自注意力机制建模长程时间依赖的有力工具[24]。将迁移学习与Transformer相结合，为处理多维时间数据并适应复杂退化模式提供了一条有前景的途径。Yuan等人[21]开发了一种基于变分模态分解（VMD）的CNN-Transformer模型，通过去噪容量序列来提高预测精度。针对高度波动的光伏时间序列的相关研究同样表明，小波阈值去噪后接VMD可以构建信息丰富的本征模态函数特征并提高预测精度，为基于VMD的非平稳电池退化信号特征构建提供了方法论启示[25]。Zhao等人[26]设计了一种强化迁移学习的卷积Transformer网络，以增强跨多种退化模式的泛化能力。Salim等人[27]提出了TransRUL，利用双Transformer编码器和多头注意力提取关键时序信息。此外，Wang等人[28]提出了一种端-云协作框架，利用Transformer架构处理多维特征，成功捕捉了非线性容量反弹现象以实现实时SOH监控。然而，标准Transformer具有二次计算复杂度（O(n2)），且通常对局部特征过渡缺乏敏感性，而这些特征对于检测细微的SOH变化至关重要[29]。

先进的Transformer变体已出现以应对这些挑战。片段时间序列Transformer（PatchTST）通过将时间序列分割为片段来增强局部-全局特征关联，特别适合于电池SOH预测应用。Zhang等人[30]提出了一种基于高效通道注意力（ECA）和PatchTST的模型用于充放电能量预测。该框架通过独立通道输入和片段机制处理多维时间序列，利用一维自适应卷积增强通道间交互。Tang等人[31]引入了WOA-VMD-SSA-PatchTST模型用于剩余使用寿命（RUL）预测。他们的方法利用Spearman相关进行特征选择，鲸鱼优化算法（WOA）优化容量序列的变分模态分解（VMD），以及麻雀搜索算法（SSA）调优PatchTST超参数。

尽管取得了这些进展，现有方法仍面临各自的局限。传统CNN由于其固定的感受野，难以适应电池退化过程中电压、电流和温度的动态变化[32]。标准Transformer的自注意力机制由于二次复杂度（O(n2)）对于超长序列计算效率低下[33]。虽然迁移学习提供了强大的跨条件泛化能力，但它需要与稳健的时间序列建模框架相结合，才能有效捕捉复杂时序数据中的非线性退化模式[34]。

本文提出了LMM-PatchTSSA框架，将迁移学习与增强版PatchTST架构相结合。主要方法贡献在于Token统计自注意力（TSSA）机制，而局部混合模块（LMM）作为短期波动建模的局部精炼分支被引入。LMM整合了源自STMNet[32]的自监督掩码策略，并使用残差Token混合来增强局部特征交互。其作用是提高对瞬时电压突变和电流异常值的敏感性，尽管所得增益被视为数据依赖而非普遍保证。

TSSA模块缓解了传统自注意力的高计算开销。利用Token统计Transformer的线性复杂度，TSSA利用二阶统计信息优化Query和Key向量，将复杂度从O(n2)降至O(n)。该机制通过对全局Token分布进行统计分析来高效捕捉长期退化趋势，使其对建模后期循环阶段的加速容量衰减尤为有效[35]。通过纳入均值、方差和协方差等统计属性，TSSA增强了对非平稳数据的适应性，并弥补了传统Transformer处理不均匀退化时的不足。

在该框架内，PatchTST的分割机制为LMM和TSSA提供了结构化输入。通过将多维数据分解为固定长度的子序列，它促进了局部特征和全局依赖的联合建模[35]。特别是，TSSA捕捉主导的长程退化趋势，并提供主要的计算成本降低，而LMM作为互补的局部先验，其贡献取决于所施加的局部混合模式与目标退化轨迹之间的兼容性。近期研究表明，将片段分割与自监督学习相结合对健康监控是有效的，而统计优化的注意力则减少了长序列的计算负担[36]、[37]。

针对标准PatchTST架构，本文提出了三项有针对性的改进：

（1）PatchTST实现：PatchTST通过将时间序列分割为局部片段来捕捉长期时序依赖。这使得通过自注意力实现片段间信息交互成为可能，在局部细节分辨率与全局特征提取之间取得平衡。与TimesNet和Informer等架构相比，PatchTST在扩展序列上展示了更优越的全局建模能力，并且由于其线性复杂度设计而具有更高的计算效率。

（2）局部混合模块（LMM）：为缓解PatchTST对短期异常的有限敏感性，LMM整合了基于片段的分割、自适应Token加权以及残差连接，以显式提取动态局部特征，从而增强对瞬时电压和电流变化的鲁棒性。

（3）Token统计自注意力（TSSA）：标准注意力机制在长程依赖建模中面临严重的计算瓶颈。为解决此问题，TSSA将二阶统计属性直接纳入Query和Key向量表示。这一架构创新将计算复杂度从O(n2)大幅降低至O(n)，显著增强了长期退化趋势感知能力。

LMM和TSSA在PatchTST框架内的集成提高了在CALCE基准上的SOH预测性能。在该组合中，TSSA捕捉粗粒度全局退化趋势并构成主要贡献，而LMM在局部先验与数据分布兼容时精炼局部异常特征。实验结果表明，所提方法在CALCE数据集上实现了平均均方根误差（RMSE）为0.0118。

为进一步评估框架在域偏移条件下的表现，我们将研究扩展到从CALCE（NMC化学体系）到NASA（LCO化学体系）的跨数据集迁移学习范式。在此设置下，所提策略改善了异构数据集间的潜在对齐，并实现了强大的零样本泛化，表明所学表示在不同运行条件和电池类型下仍然有效。

**节选片段**

**特征提取与分析**

为了从原始传感器数据中捕捉多尺度退化模式，我们构建了一组精细的七种健康因子（HFs）。这些特征从时间、容量、电化学和动力学角度刻画电池老化，提供了稳健的输入表示。

电池退化在时间上表现为内部电阻增加和活性锂损失。

我们提取了两个时域高频特征（HF）：HF1，即恒流（CC）阶段电压从3.8 V升至4.0 V的持续时间。案例分析所有实验模拟均使用Python 3.9和PyTorch 1.9.1完成。计算平台采用Intel Ultra5 125H处理器、16 GB DDR5内存以及NVIDIA GeForce RTX 4060笔记本GPU（8 GB GDDR6显存）。Token统计自注意力的物理可解释性为了提高所提框架的可解释性并阐明Token统计自注意力（TSSA）的潜在机制，图7展示了使用相同真实输入序列时标准自注意力与TSSA之间的对比。其目的是说明所提出的统计注意力机制在组织时序信息方面如何不同于传统的token-to-token注意力范式。如图7(b)所示，标准自注意力产生密集的分块级别……结论我们提出了LMM-PatchTSSA，这是一种结合局部特征细化、线性复杂度统计注意力和迁移学习的SOH（健康状态）预测框架，旨在解决锂离子电池中的非线性退化行为和标注数据有限的问题。局部混合模块（LMM）用于增强局部波动建模，而Token统计自注意力（TSSA）则用由token派生的线性O(n)统计注意力机制替代了二次复杂度O(n2)的自注意力。CRediT作者贡献声明Lin Liu：指导，方法论。Lin Huang：撰写——初稿，调查研究，形式化分析。Shibei Xue：撰写——审阅与编辑。Pengpeng Zhang：撰写——审阅与编辑。利益冲突声明作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。Lin Liu｜Lin Huang｜Shibei Xue｜Pengpeng Zhang 上海电机学院 电气工程学院，上海 201306，中国