基于深度强化学习辅助的图神经网络的电池寿命预测方法

《Journal of Energy Storage》：A battery life prediction method based on graph neural network assisted by deep reinforcement learning

　　

•基于 DQN 的图生成优化了早期循环特征相关性挖掘。
•改进的 GraphSAGE 融合了全局注意力和相对位置编码。
•早期特征扩展增强了模型在有限样本上的能力。
•该方法在多个电池数据集上表现出高精度和鲁棒性。

引言
随着新能源电池的广泛应用，电池安全性日益凸显。得益于高能量密度、高功率密度和长循环寿命等显著特性，锂离子电池已广泛应用于无人机、电动汽车和便携式电子产品等新能源电池相关行业 [1], [2]。然而，锂离子电池存在固有的安全风险，在老化、极端运行环境或不当使用等条件下可能点燃甚至爆炸，导致财产损失和人员伤亡 [3], [4]。因此，精确评估电池健康状态对于运行安全管理至关重要。剩余使用寿命（RUL）定量表示电池在当前运行条件下达到最低规定容量阈值所需的剩余充放电循环次数 [5]。准确的 RUL 预测使用户能够评估电池安全参数和健康状况，从而通过主动维护策略预防电池相关事故。在实际工业应用中，早期阶段 RUL 预测已成为关键需求。通过仅基于最初几十次循环的退化数据外推总寿命，这种方法大幅减少了与长期物理老化测试相关的令人望而却步的时间和经济成本。此外，这种早期预测能力为新制造电芯的快速质量分拣和电池的可靠评估提供了至关重要的时间窗口。因此，推进准确的早期阶段 RUL 预测框架不仅具有理论意义，也是高效电池生命周期管理的迫切工业需求。

电池 RUL 预测，特别是在电池退化初期阶段实施时，构成了电池安全管理领域的一项关键挑战。电池 RUL 预测方法主要包括四种：(1) 基于模型的方法；(2) 统计模型；(3) 传统机器学习模型；以及 (4) 基于深度学习的方法，其中后三种基于数据驱动方法 [6], [7], [8]。基于模型的方法包括电化学模型、等效电路模型、经验退化模型等，基于电池内部的物理和化学原理 [9]。数据驱动预测方法基于从早期电池循环过程中提取的各种特征，通过数据处理和构建预测模型来预测电池剩余寿命。

统计模型利用统计理论从时间序列数据中提取特征以构建预测模型，这是最早用于数据驱动电池寿命预测的方法。统计方法包括自回归模型、卡尔曼滤波算法、粒子滤波算法等，基于数学统计理论用于预测锂离子电池的 RUL [5], [10]。基于传统机器学习的电池 RUL 预测模型包括高斯过程回归 [11]、支持向量回归 [12] 和支持向量机（SVM）[13]。Fei 等人 [14] 进一步开发了一种专为电池数据分析设计的综合机器学习框架，系统整合了特征提取、特征选择和寿命预测功能。

随着深度学习技术的快速发展，其在时间序列预测领域的显著优势在学术界获得了广泛认可。目前，常用的作为基础模型的深度学习方法包括卷积神经网络（CNN）[15]、长短期记忆网络（LSTM）[16]、循环神经网络 [17] 等。在这些基础架构的基础上，大量研究致力于开发用于电池 RUL 预测的新模型，显著进展包括时间卷积网络（TCN）和基于 Transformer 的方法 [18], [19]。基于这些研究，一些混合深度学习方法被应用于预测电池 RUL [20], [21]。

近年来，图神经网络（GNNs）在电池 RUL 预测领域展现出独特优势 [22], [23], [24], [25], [26]。GNNs 擅长处理非欧几里得数据和复杂特征关系 [27]，这使它们在捕获电池循环特征之间的相互作用方面表现出色。Wang 等人 [22] 提出了一种基于神经架构搜索的创新方法，通过 GNNs 估算锂离子电池容量，优化数据聚合和特征融合过程，简化了网络设计并提高了模型适应性。为了进一步捕获复杂的非线性交互并提高在不同电池材料间的泛化能力，Chen 等人 [28] 基于互信息构建图结构，并引入融合邻接矩阵和边特征的图感知自注意力机制。Wei 和 Wu [24] 提出了一种构建具有最优图熵的无向图的创新两阶段优化模型，并基于该图开发了具有不同注意力机制的图卷积网络（GCN）模型，用于预测锂离子电池的健康状态和 RUL。此外，Liu 等人 [29] 提出了一种傅里叶图神经网络（FourierGNN），以解决分离内部时间依赖性和空间动态相关性所导致的建模不确定性。通过将多变量健康指标转换为全连接超变量图节点，他们利用频率域中的傅里叶图算子有效地解耦复杂的时空关系。

这些研究表明使用早期电池数据预测电池 RUL 的可行性，并验证了 GNNs 在电池寿命预测领域的有效性。然而，现有方法需要大量数据筛选工作，且通常使用相关性作为评估特征的标准，而未考虑低相关性特征对预测电池 RUL 的贡献。例如，现有方法 [24], [25] 仍依赖于数据相关策略来获取图结构，关注相关性而未充分考虑整体图结构。此外，当前预测模型通常采用各种归一化技术 [30]，这可能会丢弃反映数据固有特性、相关性和图结构的特征。此外，GNNs 本身也存在某些局限性。使用 GNNs 从数据学习时，多层学习后节点特征的过度累积可能会掩盖节点特定信息，减少节点间的差异性，并阻碍模型对数据的全面理解 [27]。

作为 GNNs 的一种，GraphSAGE [31] 能够灵活捕获节点特征与拓扑结构之间的非线性关系，聚合图节点信息，并利用消息传递学习嵌入在图结构中的特征，展现出强大的多节点特征学习能力。因此，在本研究中，选择 GraphSAGE 模型作为电池 RUL 预测的基准模型。但是，如何获得 GraphSAGE 模型的最佳图结构仍然是应用中的关键研究点。近年来，强化学习作为一种分析特征关系的方法，在电池 RUL 预测领域被越来越多地应用 [32], [33], [34]。许多研究人员利用强化学习进行特征选择以及分析特征之间的关系。作为一种经典的深度强化学习算法，深度 Q 网络（DQN）[34] 常用于电池策略控制和过程优化。在本研究中，利用 DQN 发现 GraphSAGE 模型特征之间的最优图关系。

在本工作中，我们提出了一种 RUL 预测方法，针对电池早期循环过程数据，以实现电池 RUL 的准确预测。本文的贡献总结如下：
1. 提出了一种基于 DQN 的图结构生成方法，以探索 GraphSAGE 模型特征之间的最优图结构。该方法使用 GraphSAGE 作为环境，并设计了基于最小图密度和有效图连接性的奖励函数以获得最优结构。
2. 提出了一种改进的 GraphSAGE 模型来预测电池 RUL。该模型整合了物理信息编码和时间特征提取，以增强数据表示能力。它还引入了全局图注意力机制和位置信息编码，以改善节点重要性识别和跨层特征交互的捕获。
3. 我们分析了不同图结构对预测结果的影响，使用 MIT 数据集在提出的方法与现有典型预测方法之间进行了对比实验，并探讨了电池寿命预测中的关键问题。

本文其余部分组织如下：第 2 节介绍所提出的方法，包括基于 DQN 的图结构算法和改进的 GraphSAGE 模型。第 3 节介绍本文使用的数据、实验和分析。第 4 节总结研究工作并提出未来研究方向。

章节片段
方法
本文提出了一种基于 DQN 的方法来获取图结构，以及一种基于特征扩展、全局注意力机制和相对位置编码的改进 GraphSAGE 模型，以实现电池寿命的准确预测。图 1 展示了所提出方法的流程图。最初，处理原始电池数据以从早期充电循环中提取多维健康特征。这些早期循环特征作为后续的基础节点信息

实验与结果分析
在本节中，我们使用两个不同的电池数据集（MIT 数据集和 HUST 数据集）进行了系统实验，以验证所提出方法的有效性。根据数据集的具体规模将其划分为训练集和测试集，详见第 3.1 节。

所提出的改进 GraphSAGE 模型使用 Adam 优化器进行训练，学习率为 1×10?3，权重衰减为 1×10?5。DQN 算法的初始化参数是

结论与未来工作
RUL 预测在锂离子电池管理中起着关键作用。基于对各种电池特征之间相关性的分析，我们引入了一种基于 DQN 的图结构生成方法来确定特征之间的动态关系，并进一步提出了一种改进的 GraphSAGE 模型用于电池 RUL 预测。具体来说，开发了一种集成 DQN 的特征分析方法论，以自动识别电池数据中的图结构。此外，改进的 CRediT 作者贡献声明

CRediT 作者贡献声明
韩深：写作 - 审稿与编辑，写作 - 原稿，验证，软件，方法学。李凤连：写作 - 审稿与编辑，写作 - 原稿，项目管理，方法学，资金获取，概念化。邵建力：项目管理，概念化。金澄：可视化，验证，数据整理。李汉章：写作 - 审稿与编辑，验证。丁跃敏：写作 - 审稿与编辑，监督。许丽春：写作 - 原稿，

利益冲突声明
作者声明他们没有任何已知的竞争经济利益或个人关系可能会影响本文所报告的工作。

致谢/资金
本工作得到了中国山西省科技合作与交流专项项目资助（编号：202304041101035）。

韩深 | 李凤连 | 邵建力 | 金澄 | 李汉章 | 丁跃敏 | 许丽春