基于T形特征和监督下降方法（TSDM）的人脸关键点定位 何毅文（Yi-Wen He）与黄晓慈（Xiao-Ci Huang）

《World Electric Vehicle Journal》：Human Facial Keypoint Localization Based on T-Shaped Features and the Supervised Descent Method (TSDM) Yi-Wen He and Xiao-Ci Huang

　　摘要 作为电池管理系统中的一个重要状态参数，准确的电池荷电状态（SOC）估计对于电池的安全可靠使用具有重要意义。本文提出了一种基于时间卷积网络-Transformer（TCN-Transformer）的模型，以实现SOC的精确估计。首先，将TCN与Transformer模型串联集成。这种集成不仅提取了时间序列数据的局部特征，还捕捉了更广泛的时空相关性，从而增强了特征表示并实现了高精度的估计。然而，由于神经网络的超参数设置对模型性能有显著影响，本研究采用了先进的河马优化（HO）算法来确定滤波器数量、滤波器大小、残差块数量和编码器层数量的最优值，最终提高了模型的稳定性和效率。最后，在不同温度下的各种动态驾驶条件下对所提出的模型进行了测试。在CALCE数据集上的实验验证表明，所提出的HO-TCN-Transformer的RMSE和MAE均低于0.7%，与单独的TCN相比，总体误差减少了约50%。五折交叉验证确认了其鲁棒性能，标准差小于7%。

1. 引言
随着“双碳”战略的深入推广，中国的新能源产业经历了快速和持续的增长。石油的使用会产生大量对环境不友好的化学物质和温室气体，而锂离子电池由于其高能量密度、长寿命和环保性等优点，已成为许多领域替代石油的首选，包括民用电子设备、电动汽车（EV）和储能系统等[1]。为了充分利用锂离子电池的优势，需要一个电池管理系统（BMS）来监控电池的状态。电池荷电状态（SOC）作为BMS中最关键的参数之一，受到了广泛关注。特别是在EV领域，准确和实时的SOC估计不仅是对电池安全和可靠性的关键保障——防止过充和过放等危险情况，确保车辆在安全状态下正常运行——也是用户行程规划和缓解续航焦虑的重要数据基础[2]。然而，作为间接的电化学状态指标，SOC不能通过物理传感器直接测量。因此，只能通过可测量的外部特征参数（如端电压、工作电流和温度）间接估计[3,4]，这种“不可测量性”成为精确SOC估计的基本技术瓶颈。

1.1. 文献综述
电池的荷电状态（SOC）指的是电池当前的充电水平。SOC与电池的可用能量和续航里程直接相关，有许多估计SOC的方法，大致可以分为以下四类：
- 安时积分法[5,6,7]：通过计算电流随时间的积分来获得SOC，但这种方法对初始SOC值的准确性要求很高，同时对电流传感器的准确性也有很高的要求。此外，SOC估计的准确性容易受到电流漂移的影响，导致积分过程中累积估计误差[8]。
- 开路电压（OCV）法[9,10]：OCV法基于SOC与OCV之间的映射关系来估计SOC，但准确测量OCV的条件要求较高，需要电池长时间静置，实际应用中较为困难[11]。
- 基于模型的方法：通过电池模型和非线性状态估计算法来估计SOC，具有实时执行和闭环反馈的优点。常见的电池模型包括电化学模型（EMs）和等效电路模型（ECMs）[12]。郭W等人[13]研究了NCM（镍钴锰）电池在快速充电条件下的容量问题，并提出了一种电化学数字孪生模型分析方法来优化电池充电策略。误差校正模型相对简单，反映了电池内部的一些信息，并有助于在线估计SOC。各种滤波器和观测器被用来形成闭环SOC估计，如卡尔曼滤波器、H-无穷滤波器和比例-积分观测器[14,15,16]。吴等人[17]提出了一种基于二阶等效电路模型的MCC-AEKF算法，在非高斯噪声下改善了估计结果。徐等人[18]将电化学模型与等效电路模型结合，实现了SOC和SOH的联合估计。然而，基于模型的方法严重依赖于电池模型的准确性。随着电池的老化和模型参数的变化，SOC估计的准确性会逐渐下降。

1.2. 本文的贡献
提出了一种新的TCN-Transformer融合模型用于电池SOC估计。该模型有效地整合了局部特征提取、关键序列相关特征提取和长期依赖性捕捉，为SOC估计提供了更丰富的信息基础。它解决了单一模型中特征捕捉不完整的问题，从而提高了复杂环境下的估计准确性。
将河马优化算法应用于TCN-Transformer模型的超参数优化，解决了深度学习模型中超参数调整耗时且劳动密集的问题。
对HO-TCN-Transformer模型进行了大量实验，结果验证了该模型能够在不同数据集的不同运行环境下实现高精度的电池SOC估计，为SOC估计提供了新的解决方案。

2. 材料与方法
2.1. 河马优化算法
选择河马优化算法（HO）进行TCN-Transformer超参数调整，基于三个关键理由：
1. 离散空间处理：所有目标参数都是整数，基于梯度的方法在此情况下失效。HO的生物启发式位置更新机制自然处理了这个离散搜索空间，避免了舍入近似。
2. 避免局部最优解：不同的超参数组合可能会产生相似的验证性能，从而形成多个局部最优解陷阱。在防御阶段，HO的Levy行走表现出重尾分布，使其能够以高概率进行长距离跳跃。在逃避阶段，步长会自适应收缩，确保最终收敛到全局最优邻域。
3. 计算效率：HO仅需要验证损失评估，不需要昂贵的替代模型，与贝叶斯优化相比，在长时间训练周期中具有显著优势。其自适应机制消除了手动校准的需要，实现了即开即用的部署[27,28]。
为了验证HO算法的优势，图1显示了不同算法在优化过程中的适应度曲线，清楚地表明HO优化算法在收敛速度和适应度方面明显优于PSO算法和GA算法。

2.2. SOC估计方法
为了提高电池SOC的估计准确性，本文提出了一种基于河马优化算法的TCN-Transformer电池SOC估计模型。所提出算法的具体步骤如图2所示。数据预处理
数据清洗：数据清洗包括异常值的修正和缺失值的填充。在本研究中，使用了MATLAB R2023b数据清洗工具来处理电池数据，通过平均值来填充或替换缺失值和异常值。填充值的表达式如公式（8）所示：
（8）
标准化：最大-最小标准化是一种常用的数据预处理方法，它通过将所有特征值缩放到数据的最小值和最大值相同的范围内，消除不同特征之间的幅度差异。最大-最小标准化的公式为：
（9）
其中，（9）中的 是原始数据， 是标准化后的数据。

2.2.2. TCN–Transformer融合模型
时间卷积网络（TCN）[29]由Shaojie Bai等人提出，是一种专为序列建模设计的新型神经网络架构。其设计灵感来源于卷积神经网络（CNN）和循环神经网络（RNN），旨在整合它们的各自优势。具体来说，它利用了CNN在空间特征提取方面的优势（常用于图像识别任务），以及RNN在处理序列数据和时间特征建模方面的能力。总体而言，TCN成为序列建模领域的一个强大工具。通过因果卷积、扩张卷积和残差连接的策略性组合，TCN不仅能够有效捕捉时间序列数据中的短期动态，还能保持对长期依赖性的敏感性，从而以显著的效率和准确性处理复杂的序列建模任务。其结构如图3所示。对于锂离子电池的充电状态，我们可以利用其强大的时间序列估计和特征提取能力，准确估计不同工作条件下的电池SOC值。
图3. TCN结构图。
因果卷积是一种与传统卷积不同的卷积操作，它确保时间步t的输出仅受该时间步及其之前时间步的输入值的影响，而不受未来输入值的影响。这种设计在处理时间序列数据时保持了因果关系，避免了信息泄露，并确保了模型输出的合理性[30]。通过这种方式，TCN神经网络在时间序列分析中保持了输出和输入之间的逻辑一致性，避免了由未来信息引起的偏差。
此外，TCN引入了扩张卷积的概念，通过扩大卷积核的感受野来捕捉长期依赖性。扩张卷积通过在卷积核的元素之间插入“间隔符”来捕获更广泛的信息，同时保持卷积核的大小不变[31]。如图3左侧所示，它展示了一个扩张因果卷积堆的设计，其中滤波器大小k = 2，扩张因子d = [1]、[2]、[4]。通过这种扩张卷积，TCN可以在每一层指数级地增加感受野，使模型能够捕捉长期依赖性。
随着网络深度的增加和模型内参数数量的增加，可能会出现梯度消失或爆炸的风险。因此，在TCN中加入了残差连接以确保层数增加时的稳定性。每个残差块由两层因果扩张卷积和一个修正线性单元（ReLU）[32]组成。此外，在因果卷积之后还应用了权重归一化和dropout层以增强网络的泛化能力。右侧分支代表残差连接。
残差连接机制使网络能够更有效地捕捉输入和输出之间的差异。在深度网络中加入残差连接不仅提高了训练效率，还通过跳跃连接促进了输入-输出差异的直接学习。这种方法有效地缓解了具有许多层的网络中常见的梯度爆炸和消失问题[33]。
Transformer模型是一种复杂的深度学习架构，它依赖于自注意力机制来捕捉远距离的依赖性并实现并行处理[34]。这种方法使其在深度学习领域独树一帜。通过使用矩阵运算，Transformer可以检测输入序列向量之间的关系，而不考虑它们的顺序，这对于分析具有稀疏依赖性的时间序列和增强特征检测能力特别有益。此外，自注意力机制使模型能够并行进行计算，消除了传统RNN的顺序处理限制。这种设计选择显著提高了模型的效率，从而加快了训练和推理时间。模型结构如图4所示。
图4. Transformer模型结构。
Transformer模型最重要的部分是编码器和解码器[35]，编码器处理输入序列以生成上下文向量，解码器使用这个上下文向量逐步生成目标序列。这种结构在处理序列到序列问题时表现良好[36,37]。
序列的时间顺序非常重要，而Transformer本身并不适合处理序列数据：因此，在输入之后添加了位置编码。位置编码主要通过正弦-余弦函数对输入序列进行编码，该函数是一个用于表示序列中时间顺序的矩阵。对于输入序列s，位置编码的表达式可以表示为：
（10）
在公式（10）中，pos表示序列中的位置，i表示维度，dmodel是模型的维度。通过这种方式，模型可以捕捉序列中不同位置之间的关系。
在Transformer架构中，自注意力机制使模型能够灵活地识别序列中任何元素之间的交互。通过动态调整序列中不同元素的注意力权重，它有效地揭示了它们之间的内在联系。这种机制使模型能够捕捉序列数据中的复杂依赖性[38]。自注意力机制的数学表达式如公式（11）所示：
（11）
Attention是注意力函数，Q（Query）、K（Key）和V（Value）是三个重要概念，它们代表输入序列的不同转换形式，用于计算注意力权重和输出。dk是查询、键和值的特征维度。softmax函数用于将注意力分数转换为概率分布，表示序列中每个元素对其他元素的关注程度。这有助于模型更好地理解和处理输入数据，从而提高模型的性能。
基于时间卷积神经网络（TCN）强大的全局时空特征提取能力和Transformer模型在长序列信息处理方面的优越性，本文提出了一种结合TCN和Transformer的SOC估计模型。在这个混合模型中，处理后的电池数据（包括电流、电压等关键参数）首先输入到TCN层。在这一层中，通过因果卷积和扩张卷积操作从数据中提取与SOC相关的局部特征，这些特征反映了电池在不同时间步的瞬时状态变化。随后，提取的局部特征被传递到Transformer层，Transformer层利用自注意力机制捕捉电池状态的长期依赖性，进一步提取时间特征以实现电池SOC的准确建模。最终，这些整合了局部和全局信息的特征通过全连接层进行回归和估计，得到电池的估计SOC。图5显示了TCN–Transformer网络的结构。
图5. TCN-Transformer模型结构。
总之，在这个模型中，TCN负责提取电池数据中的局部特征和捕捉短期依赖性，而Transformer负责提取全局特征和长期依赖性。这两个组件相互补充，共同提高估计的准确性。

2.2.3. 模型超参数优化
在本研究中，使用了hippo优化算法来优化滤波器数量、滤波器大小、残差块数量和编码器层数量。需要优化的参数值范围如表1所示。
表1. 需要优化的参数值范围。
除了超参数外，模型的其他固定参数设置如表2所示。
表2. HO–TCN–Transformer模型参数设置。

3. 结果与讨论
3.1. 数据集
电池数据集分为实验数据集和CACLE电池公共数据集，电池的基本参数如表3所示。
表3. 电池基本参数。
CALCE数据集：在本实验中，用于验证所提算法的数据来自马里兰大学的一个公开可用数据集[39]。该数据集包括来自几个不同动态驾驶循环的电流和电压数据，即动态应力测试（DST）、补充联邦测试程序（US06）和联邦城市驾驶计划（FUDS）。所有测试都在0°C、25°C和45°C下进行，从0.8 SOC和0.5 SOC放电到低截止电压。除了动态工作条件下的实验数据外，数据集还包括电池容量测试数据。图6显示了25°C下US06条件下的电流和电压曲线。
图6. 25°C下US06条件下的电流和电压曲线 (a) 电流 (b) 电压。
公共数据集划分：训练集：恒定电流（1C）放电数据和BJDST条件数据。测试集：DST、FUDS和US06条件数据。
实验对象是Samsung锂离子电池INR18650-30Q。电池在25°C的环境温度下进行测试，包括最大容量校准测试（1C恒定电流恒定电压充电、1C恒定电流放电）、US06动态工作条件测试和FUDS动态工作条件测试。
实验数据集划分：当US06条件作为测试集时，1C恒定电流放电数据和FUDS条件数据是训练集。当FUDS作为测试集时，1C恒定电流放电数据和US06数据是训练集。
实验平台如图7所示。电池测试实验平台主要由主机计算机、Arbin电池测试仪和恒定温度湿度箱组成。Arbin电池测试仪用于执行电池充放电实验；主机计算机用于编程和控制Arbin电池测试仪，收集的数据（温度、电流、电压和充放电容量）保存到Excel文件中，恒定温度湿度箱用于在测试期间控制环境温度。
图7. 电池测试平台示意图。

3.2. 评估指标
使用均方根误差（RMSE）、平均绝对误差（MAE）和拟合优度（）来评估TCN–Transformer模型的SOC估计性能。相关计算公式如下：
（12）
（13）
其中， 是数据的总数， 是第i个数据的真实值， 是第i个数据的估计值。

3.3. SOC估计结果
3.3.1. SOC估计验证
温度对电池的充电状态（SOC）有显著影响。内部化学反应的速率在不同温度下有所不同，这直接影响电池的充放电过程。在低温下，电池的内部电阻增加，可能导致电池放电时电压降更大。高温可能增加热失控的风险，从而导致电池损坏或安全事故。因此，为了准确估计电池的SOC，必须考虑温度的影响。
为了验证算法在不同温度条件下的性能，使用了DST和US06驾驶循环数据在不同温度下的测试结果。测试结果分别显示在图8、图9和图10中。
图8. DST条件下的SOC估计轨迹 (a) 0°C (b) 25°C (c) 45°C。
图9. US06条件下的不同温度下的SOC估计轨迹 (a) 0°C (b) 25°C (c) 45°C。
图10. FUDS条件下的不同温度下的SOC估计轨迹 (a) 0°C (b) 25°C (c) 45°C。图9和图10显示，随着放电接近结束，估计误差显著增加；这归因于低SOC区域电池极化效应的加剧，从而增加了系统复杂性和拟合难度。尽管如此，所提出的混合模型在整个SOC估计周期内仍保持了高精度。此外，图10展示了在US06条件下的估计轨迹，其特性与DST和FUDS条件下的观察结果相似。这些结果证明了该模型在多种驾驶条件和温度范围内的强大适应性，突显了其在电池管理系统中的实用价值。

表4展示了HO–TCN–Transformer算法在不同温度下的R平方值、RMSE和MAE。结果表明，该算法能够在各种温度条件下准确估计SOC，体现了模型的跨温度泛化能力。决定系数非常接近1。特别是在25°C的DST条件下，R平方值最高，这是因为训练集中25°C的数据比例较高。

3.3.2 消融实验比较
(1) CALCE数据集
为了验证改进措施的有效性，对TCN、TCN-Transformer和HO–TCN–Transformer模型进行了比较。这些模型使用相同的训练集进行训练，并使用包含25°C三种驾驶条件（US06、FUDS和DST）数据的测试集来评估它们的性能。图11、图12、图13、图14、图15和图16直观地展示了三种模型在三种驾驶条件下的SOC估计轨迹和估计误差的比较。从图中可以清楚地看到三种模型之间的性能差异。观察SOC轨迹，HO–TCN–Transformer的估计轨迹与实际轨迹最为吻合。虽然TCN模型和TCN–Transformer模型也能合理地捕捉到真实SOC的总体趋势，但仔细检查会发现存在显著差异。误差图进一步证实了这一发现，显示HO–TCN–Transformer模型的误差波动范围比其他两个模型小得多。

表5记录了定量实验结果。结果显示，在所有测试条件（US06、FUDS和DST）下，HO–TCN–Transformer模型始终具有最高的拟合度，并且误差指标显著降低。具体而言，HO–TCN–Transformer模型的RMSE和MAE至少比TCN模型降低了约50%，比TCN–Transformer模型降低了约38%。这表明HO–TCN–Transformer模型的性能全面优于改进前的模型，模型改进的有效性得到了进一步验证。

(2) 实验数据
为了验证模型在不同电池类型上的泛化能力，图17和图18展示了在实验数据集上验证的SOC轨迹。SOC估计曲线图清楚地表明，融合模型具有更强的估计能力，其估计曲线更接近真实曲线。引入的hippo优化算法提高了模型与数据集之间的适应性，从而获得了更高的精度。

表6显示了算法的量化误差。在US06和FUDS操作条件下，HO–TCN–Transformer模型的估计精度与TCN–Transformer模型相当（在US06条件下误差大约高7-27%，在FUDS条件下误差大约低16-32%），而其误差比TCN模型降低了约38-46%。

3.3.3 与其他模型的比较
为了更好地说明所提出模型的优越性，本研究在自建数据集上将其与CNN–LSTM和BP神经网络等常见模型进行了比较。如图19所示，以FUDS条件为例，蓝色曲线代表真实SOC，橙色曲线代表HO–TCN–Transformer模型的估计曲线。可以清楚地看到，新模型在真实曲线附近的波动较小，更接近实际SOC值。

4. 结论
本研究提出了用于锂离子电池SOC估计的HO–TCN–Transformer模型。该模型通过将TCN模型与Transformer串联集成，增强了模型提取长距离序列特征的能力，最终提高了模型的精度。此外，使用hippo优化算法寻找更适应性强的超参数组合，提高了模型的性能和效率。进一步地，通过在DST、US06和驾驶条件下使用不同温度的电池数据来验证模型，结果显示所提出的模型具有良好的估计性能。尽管在低温条件下的误差略有增加，但RMSE仍低于0.5%。这表明该模型在各种温度下都具有稳健的性能。此外，对不同电池类型的实验验证了该模型在多种电池化学成分和规格下的强大泛化能力。与TCN和TCN–Transformer模型的比较证实了所开发模型的优越性。然而，混合模型不可避免地会增加计算复杂性。具体来说，所提出的HO–TCN–Transformer混合模型完成一个完整周期（从训练到输出估计）平均需要大约3分钟，而TCN模型仅需要约2分钟，这意味着与独立的TCN架构相比，计算开销增加了约50%。未来的工作应侧重于通过模型剪枝或轻量级注意力机制来降低计算复杂性，将框架扩展到多电池组配置，并集成考虑电池老化的机制以实现联合SOC–SOH估计[45]。