基于时间卷积网络-Transformer混合架构的锂离子电池剩余电量（SOC）估算方法，采用Hippo优化算法 作者：吴龙、王阳、邢立坤

《World Electric Vehicle Journal》：Temporal Convolutional Network–Transformer Hybrid Architecture with Hippo Optimization for Lithium Battery SOC Estimation Long Wu, Yang Wang and Likun Xing

　　摘要 作为电池管理系统中的一个重要状态参数，准确的电池荷电状态（SOC）估计对于电池的安全和可靠使用具有重要意义。本文提出了一种基于时间卷积网络-Transformer（TCN–Transformer）的模型，以实现SOC的精确估计。首先，将TCN与Transformer模型串联集成。这种集成不仅提取了时间序列数据的局部特征，还捕捉了更广泛的时空相关性，从而增强了特征表示能力并实现了高精度的估计。然而，由于神经网络的超参数设置对模型性能有显著影响，本研究采用了先进的hippo优化（HO）算法来确定滤波器数量、滤波器大小、残差块数量和编码器层数的最优值，最终提高了模型的稳定性和效率。最后，在不同温度下的各种动态驾驶条件下对所提出的模型进行了测试。在CALCE数据集上的实验验证表明，所提出的HO–TCN–Transformer的RMSE和MAE均低于0.7%，与单独的TCN相比，整体误差减少了约50%。五折交叉验证确认了其稳健的性能，标准差小于7%。

1. 引言
随着“双碳”战略的深入推广，中国的新能源产业经历了快速而持续的增长。石油的使用产生了大量对环境不友好的化学物质和温室气体，而锂离子电池由于其高能量密度、长寿命和环保性等优点，已成为许多领域替代石油的首选，包括民用电子设备、电动汽车（EV）和储能系统等[1]。为了充分利用锂离子电池的优势，需要一个电池管理系统（BMS）来监控电池的状态。电池荷电状态（SOC）作为BMS中最关键的参数之一，受到了广泛关注。特别是在电动汽车领域，准确和实时的SOC估计不仅是对电池安全和可靠性的关键保障——防止过充和过放电等危险情况，确保车辆在安全状态下正常运行——而且也是用户行程规划和缓解续航焦虑的重要数据基础[2]。然而，作为间接的电化学状态指标，SOC无法通过物理传感器直接测量。因此，它只能通过可测量的外部特征参数（如端电压、工作电流和温度）间接估计[3,4]，这种“不可测量性”成为精确SOC估计的基本技术瓶颈。

1.1. 文献综述
电池的荷电状态（SOC）指的是电池当前的充电水平。SOC直接关系到电池的可用能量和续航里程，有许多方法可以估计电池的SOC，这些方法大致可以分为以下四类：
- 安培时间积分法[5,6,7]：通过计算电流随时间的积分来获得SOC，但这种方法对初始SOC值的准确性要求很高，同时对电流传感器的准确性也有很高的要求。此外，SOC估计的准确性容易受到电流漂移的影响，导致积分过程中累积误差[8]。
- 开路电压（OCV）法[9,10]：OCV方法基于SOC和OCV之间的映射关系来估计SOC，但准确测量OCV的条件要求较高，需要电池长时间静置，因此在实际应用中较为困难[11]。
- 基于模型的方法：基于模型的方法通过电池模型和非线性状态估计算法来估计SOC，具有实时执行和闭环反馈的优势。常见的电池模型包括电化学模型（EMs）和等效电路模型（ECMs）[12]。郭W等人[13]研究了NCM（镍钴锰）电池在快速充电条件下的容量问题，并提出了一种电化学数字孪生模型分析方法来优化电池充电策略。误差校正模型相对简单，能够反映电池内部的一些信息，并有助于在线估计SOC。各种滤波器和观测器被用来形成闭环SOC估计，例如卡尔曼滤波器、H-无穷大滤波器和比例-积分观测器[14,15,16]。吴等人[17]提出了一种基于二阶等效电路模型的MCC–AEKF算法，在非高斯噪声下改善了估计结果。徐等人[18]将电化学模型与等效电路模型结合，实现了SOC和SOH的联合估计。然而，基于模型的方法严重依赖于电池模型的准确性。随着电池的老化和模型参数的变化，SOC估计的准确性会逐渐下降。
- 数据驱动的方法：数据驱动的方法利用机器学习和神经网络基于大量训练数据来模拟电池的荷电状态（SOC），而不考虑电池的内部机制。赵等人[19]应用RNNs来估计LIBs的SOC，并在各种数据集上将RNNs与其他方法进行了比较。在传统的RNN中，梯度消失问题限制了捕捉长期依赖性的能力，因为梯度会减小到有效学习停止的水平。为了克服基于RNN的架构中的梯度消失问题，已经进行了许多改进，例如LSTM。马等人[20]使用LSTM神经网络模型提高了SOC估计的准确性和鲁棒性。高等人[21]提出了一种GRU神经网络模型，用于提高LiFePO4电池储能系统的SOC估计准确性和鲁棒性。席等人[22]建立了一种基于时延RNNs和LSTMs的SOC估计技术，以识别由于神经元过度兴奋而导致的性能不佳的潜在原因。尽管取得了良好的结果，LSTMs在捕捉长时间序列、变长序列和复杂多变量输入中的关系时仍然存在困难，导致信息丢失和估计不够准确。陈等人[23]引入了一种去噪自编码器神经网络（DAE–NN），通过减少噪声和增加电池测量数据的维度来提取有用数据特征。王等人[24]在基于时间卷积网络（TCN）的模型中引入了一个时间优化模块，以抑制数据噪声并提高估计准确性，实现了SOC估计的MAE低于1%和RMSE低于2%。
尽管现有的研究改进了电池SOC的估计，但仍存在两个不足之处。首先，在具有温度波动和电流剧烈变化的复杂现实世界条件下，单一的深度学习模型表现出有限的特征学习能力，可能会忽略电池行为中的关键序列特征和长期依赖性[25,26]。其次，超参数选择显著影响估计准确性，但手动调整复杂且耗时。
本文提出了一种由河马优化算法（HOA）优化的TCN–Transformer融合网络。TCN捕获局部时间特征，而Transformer模型捕获全局依赖性；它们的融合有效地从电池数据中提取复杂关系，并适应不同的运行条件。HOA模拟了河马的觅食、迁徙和社会行为，有效地探索了超参数空间，避免了局部最优解，并减少了手动参数调整的随机性和工作量。

1.2. 本文的贡献
本文提出了一种新的TCN–Transformer融合模型用于电池SOC估计。该模型有效地结合了局部特征提取、关键序列相关特征提取和长期依赖性捕获，为SOC估计提供了更丰富的信息基础。它解决了单一模型中特征捕获不完整的问题，从而在复杂环境中提高了估计准确性。
将河马优化算法应用于TCN-Transformer模型的超参数优化，解决了深度学习模型中超参数调整耗时且劳动密集的问题。
对HO–TCN–Transformer模型进行了大量实验，结果验证了该模型能够在不同数据集的各种运行环境下实现高精度的电池SOC估计，为SOC估计提供了一种新的解决方案。

2. 材料与方法
2.1. 河马优化算法
选择河马优化算法（HO）进行TCN–Transformer超参数调整基于三个关键理由：
1. 离散空间处理：所有目标参数都是整数，基于梯度的方法在这种情况下会失效。HO的生物启发式位置更新机制自然处理了这个离散搜索空间，避免了四舍五入的近似。
2. 避免局部最优解：不同的超参数组合可能会产生相似的验证性能，从而形成多个局部最优解陷阱。在防御阶段，HO的Levy行走表现出重尾分布，使其能够以高概率进行长距离跳跃。在逃逸阶段，步长自适应收缩，以确保最终收敛到全局最优邻域。
3. 计算效率：HO仅需要验证损失评估，不需要昂贵的替代模型，与贝叶斯优化相比，在长时间的训练周期中具有显著优势。其自适应机制消除了手动校准的需要，实现了即插即用的部署[27,28]。
为了验证HO算法的优势，图1显示了不同算法在优化过程中的适应度曲线，清楚地表明HO优化算法在收敛速度和适应度方面明显优于PSO算法和GA算法。图1. 优化算法适应度曲线。HO的迭代步骤如下：
(1) 设置种群大小和最大迭代次数、优化参数及其上下限。种群生成公式如下所示：(1)
其中Hi表示第i个候选解，即第i只河马的位置，Ibj、ubj分别表示第j个变量的上下限。N表示种群中的河马数量，m表示问题中要优化的变量数量。
(2) 模拟河马的游荡和捕食者攻击行为，代表两种不同的策略来提高模型的全局搜索能力。游荡行为可以表示为方程(2)
其中表示种群中河马幼崽的下一个位置。u是当前迭代次数，τ是最大迭代次数。如果大于0.6，则表示河马幼崽开始游荡；否则，幼崽仍在种群内，MGi表示随机选择的河马数量的平均值。
河马面对捕食者时的姿态的数学模型如下所示：(3)–(5)
Pj是由待优化参数生成的参数空间中的捕食者位置，D是河马与捕食者之间的距离，f是2到4之间的均匀随机数，c是1到1.5之间的均匀随机数，d是2到3之间的均匀随机数。g是河马的Levy分布随机向量。是一个m维随机向量。RL是表示捕食者攻击河马时位置突然变化的随机向量。Levy随机运动的数学模型计算如下：(5)
其中和是0到1之间的随机数，4是Gamma函数。
(3) 最后，模拟河马逃离捕食者的行为；使用随机变量s提高了河马算法的局部搜索能力。数学表达式如下所示：(6)和(7)
用于在适应度值较高的区域生成一个安全区域，所有河马都向这个安全区域位置更新它们的位置。是最大迭代次数，u是当前迭代次数，r10是在0到1范围内生成的随机数。s根据方程(7)选择：(7)
表示0到1之间的随机向量，是正态分布的随机数，是0到1之间生成的随机数。
通过上述三种行为的数学模型，更新种群并计算适应度值。每次迭代中获得最佳适应度值的个体被保存为河马领导者。循环迭代步骤(2)和(3)，直到达到终止条件。

2.2. SOC估计方法
为了提高电池SOC的估计准确性，本文提出了一种基于河马优化算法的TCN–Transformer电池SOC估计模型。所提出算法的具体步骤如图2所示。图2. 提出的SOC估计模型流程示意图。数据预处理
数据清洗：数据清洗包括异常值的修正和缺失值的填充。在本研究中，使用了MATLAB R2023b数据清洗工具来处理电池数据，通过平均值来填充或替换缺失值和异常值。填充值的表达式如公式（8）所示：
（8）
标准化：最大-最小标准化是一种常用的数据预处理方法，它通过将所有特征值缩放到数据的最小值和最大值范围内来消除不同特征之间的幅度差异。最大-最小标准化的公式为：
（9）
其中，（9）中的 是原始数据， 是标准化后的数据。

2.2.2. TCN–Transformer融合模型
时间卷积网络（TCN）[29]由Shaojie Bai等人提出，是一种专为序列建模设计的新型神经网络架构。其设计灵感来源于卷积神经网络（CNN）和循环神经网络（RNN），旨在整合两者的优势。具体来说，它利用了CNN在空间特征提取方面的能力（常用于图像识别任务），以及RNN在处理序列数据及其时间特征建模方面的优势。总体而言，TCN成为序列建模领域的一个强大工具。通过因果卷积、扩张卷积和残差连接的策略性组合，TCN不仅能够有效捕捉时间序列数据中的短期动态，还能保持对长期依赖性的敏感性，从而以卓越的效率和准确性处理复杂的序列建模任务。其结构如图3所示。对于锂离子电池的充电状态，我们可以利用其强大的时间序列估计和特征提取能力，准确估计不同工作条件下的电池SOC值。
图3. TCN结构图。
因果卷积是一种与传统卷积不同的卷积操作，它确保时间步t的输出仅受该时间步和之前时间步的输入值的影响，而不受未来输入值的影响。这种设计在处理时间序列数据时保持了因果关系，避免了信息泄露，并确保了模型输出的合理性[30]。通过这种方式，TCN神经网络在时间序列分析中保持了输出和输入之间的逻辑一致性，避免了由未来信息引起的偏差。
此外，TCN引入了扩张卷积的概念，通过扩大卷积核的感受野来捕捉长期依赖性。扩张卷积通过在卷积核的元素之间插入“间隔符”来捕获更广泛的信息，同时保持卷积核的大小不变[31]。如图3左侧所示，它展示了滤波器大小为k = 2、扩张因子为[1]、[2]、[4]的扩张因果卷积堆的设计。通过这种扩张卷积，TCN可以指数级地增加每一层的感受野，使模型能够捕捉长距离依赖性。
随着网络深度的增加和模型内参数数量的增加，可能会出现梯度消失或爆炸的风险。因此，在TCN中加入了残差连接以确保层数增加时的稳定性。每个残差块由两层因果扩张卷积和一个修正线性单元（ReLU）[32]组成。此外，在因果卷积之后还应用了权重归一化和dropout层来增强网络的泛化能力。右侧分支代表残差连接。
残差连接机制使网络能够更有效地捕捉输入和输出之间的差异。在深度网络中加入残差连接不仅提高了训练效率，还通过跳跃连接促进了输入-输出差异的直接学习。这种方法有效缓解了多层网络中常见的梯度爆炸和消失问题[33]。
Transformer模型是一种复杂的深度学习架构，它依赖于自注意力机制来捕捉远距离的依赖性，并实现并行处理[34]。这种方法使其在深度学习领域独树一帜。通过使用矩阵运算，Transformer可以检测输入序列向量之间的关系，无论它们的顺序如何，这对于分析具有稀疏依赖性的时间序列以及增强特征检测能力特别有益。此外，自注意力机制使模型能够并行进行计算，消除了传统RNN的顺序处理限制。这种设计选择显著提高了模型的效率，从而加快了训练和推理时间。模型结构如图4所示。
图4. Transformer模型结构。
Transformer模型最重要的部分是编码器和解码器[35]，其中编码器处理输入序列以生成上下文向量，解码器使用这个上下文向量逐步生成目标序列。这种结构在处理序列到序列问题时表现良好[36,37]。
序列的时间顺序非常重要，而Transformer本身并不适合处理序列数据：因此，在输入之后添加了位置编码。位置编码主要通过正弦-余弦函数对输入序列进行编码，该函数用于表示序列中的时间顺序。对于输入序列s，位置编码的表达式可以表示为：
（10）
在公式（10）中，pos表示序列中的位置，i表示维度，dmodel是模型的维度。通过这种方式，模型可以捕捉序列中不同位置之间的关系。
在Transformer架构中，自注意力机制使模型能够灵活地识别序列中任何元素之间的相互作用。通过动态调整序列中不同元素的注意力权重，它有效地揭示了它们之间的内在联系。这种机制使模型能够捕捉序列数据中的复杂依赖性[38]。自注意力机制的数学表达式如公式（11）所示：
（11）
Attention是注意力函数，Q（Query）、K（Key）和V（Value）是三个重要概念，它们代表输入序列的不同变换形式，用于计算注意力权重和输出。dk是查询、键和值的特征维度。softmax函数用于将注意力分数转换为概率分布，表示序列中每个元素对其他元素的关注程度。这有助于模型更好地理解和处理输入数据，从而提高模型的性能。
基于时间卷积神经网络（TCN）强大的全局时空特征提取能力和Transformer模型在长时间序列信息处理方面的优越性，本文提出了一种结合TCN和Transformer的SOC估计模型。在这个混合模型中，首先将处理过的电池数据（包括电流、电压等关键参数）输入到TCN层。在这一层中，通过因果卷积和扩张卷积操作从数据中提取与SOC相关的局部特征，这些特征反映了电池在不同时间步的瞬时状态变化。随后，提取的局部特征被传递到Transformer层，Transformer层利用自注意力机制捕捉电池状态的长期依赖性，进一步提取时间特征以实现电池SOC的准确建模。最终，这些结合了局部和全局信息的特征通过全连接层进行回归和估计，得到电池的估计SOC。图5显示了TCN–Transformer网络的结构。
图5. TCN-Transformer模型结构。
总之，在这个模型中，TCN负责提取电池数据中的局部特征和捕捉短期依赖性，而Transformer则负责提取全局特征和长期依赖性。这两个组件相互补充，共同提高估计的准确性。

2.2.3. 模型超参数优化
在本研究中，使用了hippo优化算法来优化滤波器数量、滤波器大小、残差块数量和编码器层数量。需要优化的参数值范围如表1所示。
表1. 需要优化的参数值范围。
除了超参数外，模型的其他固定参数设置如表2所示。
表2. HO–TCN–Transformer模型参数设置。

3. 结果与讨论
3.1. 数据集
电池数据集分为实验数据集和CACLE电池公共数据集，电池的基本参数如表3所示。
表3. 电池基本参数。
CALCE数据集：在本实验中，用于验证所提算法的数据来自马里兰大学的一个公开数据集[39]。该数据集包括来自几个不同动态驾驶循环的电流和电压数据，即动态应力测试（DST）、补充联邦测试程序（US06）和联邦城市驾驶计划（FUDS）。所有测试都在0 °C、25 °C和45 °C下进行，从0.8 SOC和0.5 SOC放电到低截止电压。除了动态工作条件下的实验数据外，数据集还包括电池容量测试数据。图6显示了25 °C下US06条件下的电流和电压曲线。
图6. 25 °C下US06条件下的电流和电压曲线 (a) 电流 (b) 电压。
公共数据集划分：训练集：恒定电流（1C）放电数据和BJDST条件数据。测试集：DST、FUDS和US06条件数据。
实验数据：实验对象是INR18650-30Q三星锂离子电池。电池在25 °C的环境温度下进行测试，包括最大容量校准测试（1C恒定电流恒定电压充电、1C恒定电流放电）、US06动态工作条件测试和FUDS动态工作条件测试。
实验数据集划分：当US06条件作为测试集时，1C恒定电流放电数据和FUDS条件数据是训练集。当FUDS作为测试集时，1C恒定电流放电数据和US06数据是训练集。
实验平台如图7所示。电池测试实验平台主要由主机计算机、Arbin电池测试仪和恒温恒湿箱组成。Arbin电池测试仪用于执行电池充放电实验；主机计算机用于编程和控制Arbin电池测试仪，收集的数据（温度、电流、电压和充放电容量）保存到Excel文件中，恒温恒湿箱用于在测试期间控制环境温度。
图7. 电池测试平台示意图。

3.2. 评估指标
使用均方根误差（RMSE）、平均绝对误差（MAE）和拟合优度（）来评估TCN–Transformer模型的SOC估计性能。相关计算公式如下：
（12）
（13）
其中， 是数据总数， 是第i个数据的真实值， 是第i个数据的估计值。

3.3. SOC估计结果
3.3.1. SOC估计验证
温度对电池的充电状态（SOC）有显著影响。内部化学反应的速率在不同温度下有所不同，这直接影响电池的充放电过程。在低温下，电池的内阻增加，可能导致电池放电时电压降更大。高温会增加热失控的风险，可能导致电池损坏或安全事故。因此，为了准确估计电池的SOC，必须考虑温度的影响。
为了验证算法在不同温度条件下的性能，使用了DST和US06驾驶循环数据在不同温度下的测试结果。测试结果分别显示在图8、图9和图10中。
图8. DST条件下的SOC估计轨迹 (a) 0 °C (b) 25 °C (c) 45 °C。
图9. US06条件下的不同温度下的SOC估计轨迹 (a) 0 °C (b) 25 °C (c) 45 °C。
图10. FUDS条件下的不同温度下的SOC估计轨迹 (a) 0 °C (b) 25 °C (c) 45 °C。图9和图10显示，随着放电接近尾声，估计误差显著增加；这归因于低SOC区域电池极化效应的加剧，从而增加了系统复杂性和拟合难度。尽管如此，所提出的混合模型在整个SOC估计周期内仍保持了高精度估计。此外，图10展示了在US06条件下的估计轨迹，其特性与DST和FUDS条件下的观察结果相似。这些结果证明了该模型在多种驾驶条件和温度范围内的强大适应能力，突显了其在电池管理系统中的实际应用价值。

表4展示了HO–TCN–Transformer算法在不同温度下的R平方值、RMSE和MAE。结果表明，该算法能够在各种温度条件下准确估计SOC，体现了模型的跨温度泛化能力。决定系数非常接近1。特别是在25°C的DST条件下，R平方值最高，这是因为训练集中25°C的数据比例较高。

3.3.2 比较实验
(1) CALCE数据集
为了验证改进措施的有效性，对TCN、TCN-Transformer和HO–TCN–Transformer模型进行了比较。这些模型使用相同的训练集进行训练，并使用包含25°C下三种驾驶条件（US06、FUDS和DST）数据的测试集来评估它们的性能。
图11、图12、图13、图14、图15和图16直观地展示了三种模型在三种驾驶条件下的SOC估计轨迹和估计误差的比较。从图中可以清楚地看出三种模型之间的性能差异。观察SOC轨迹，HO–TCN–Transformer的估计轨迹与实际轨迹最为吻合。虽然TCN模型和TCN–Transformer模型也能合理地捕捉到真实SOC的总体趋势，但仔细检查后会发现存在显著差异。误差图进一步证实了这一发现，表明HO–TCN–Transformer模型的误差波动范围比其他两个模型小得多。

表5记录了定量实验结果。表格中的结果显示，在所有测试条件（US06、FUDS和DST）下，HO–TCN–Transformer模型始终实现了最高的拟合度，并且误差指标显著降低。具体而言，HO–TCN–Transformer模型的RMSE和MAE至少比TCN模型降低了约50%，比TCN–Transformer模型降低了约38%。这表明HO–TCN–Transformer模型的性能全面优于改进前的模型，模型改进的有效性得到了进一步验证。

(2) 实验数据
为了验证模型在不同电池类型上的泛化能力，图17和图18展示了在实验数据集上验证的SOC轨迹。SOC估计曲线图清楚地表明，融合模型具有更强的估计能力，其估计曲线更接近真实曲线。引入hippo优化算法提高了模型与数据集之间的适应性，从而获得了更高的精度。

表6显示了算法的量化误差。在US06和FUDS操作条件下，HO–TCN–Transformer模型的估计精度与TCN–Transformer模型相当（在US06条件下误差大约高7-27%，在FUDS条件下误差大约低16-32%），而其误差比TCN模型降低了约38-46%。

3.3.3 与其他模型的比较
为了更好地说明所提出模型的优越性，本研究在自建数据集上将其与常见的模型（如CNN–LSTM和BP神经网络）进行了比较。以FUDS条件为例，图19显示蓝色曲线代表真实SOC，橙色曲线代表HO–TCN–Transformer模型的估计曲线。可以清楚地看到，新模型在真实曲线附近的波动较小，更接近实际SOC值。

总体而言，经过全面评估，所提出的HO–TCN–Transformer模型在准确性和鲁棒性方面表现出更好的适用性。

4. 结论
本研究提出了用于锂离子电池SOC估计的HO–TCN–Transformer模型。该模型通过将TCN模型与Transformer串联集成，增强了模型提取长距离序列特征的能力，最终提高了模型的准确性。此外，使用hippo优化算法寻找更适应性的超参数组合，提高了模型的性能和效率。进一步地，通过使用DST、US06和驾驶条件下的不同温度电池数据来验证模型，结果表明所提出的模型具有良好的估计性能。尽管在低温条件下的误差略有增加，但RMSE仍低于0.5%。这表明该模型在各种温度下都具有稳健的性能。此外，对不同电池类型的实验也证实了模型在多种电池化学成分和规格下的强大泛化能力。与TCN和TCN–Transformer模型的比较验证了所开发模型的优越性。然而，混合模型不可避免地会增加计算复杂性。具体来说，所提出的HO–TCN–Transformer混合模型完成一个完整周期（从训练到输出估计）平均需要大约3分钟，而TCN模型仅需约2分钟，这意味着与独立的TCN架构相比，计算开销增加了约50%。未来的工作应侧重于通过模型剪枝或轻量级注意力机制来降低计算复杂性，将框架扩展到多电池组配置，并集成考虑老化因素的机制以实现联合SOC–SOH估计[45]。