《Journal of Energy Storage》：A physics-informed framework with proximal policy optimization for lithium-ion battery state-of-health estimation
编辑推荐：
•提出了一种PPO-PINN方法用于电池健康状态估计。•PPO将物理约束安排为一个按周期进行的决策过程。•残差驱动模块准入与固定和权重重分配。•隐式场对传质、极化、热行为和老化行为进行正则化。引言锂离子电池是电动汽车和固定式储能系统的基石，其健康状态直接影响安全性、可用性和全
- •
提出了一种PPO-PINN方法用于电池健康状态估计。
- •
PPO将物理约束安排为一个按周期进行的决策过程。
- •
残差驱动模块准入与固定和权重重分配。
- •
隐式场对传质、极化、热行为和老化行为进行正则化。
引言
锂离子电池是电动汽车和固定式储能系统的基石，其健康状态直接影响安全性、可用性和全生命周期成本[1]，[2]，[3]，[4]。因此，可靠的电池健康状态（SOH）估计是电池管理的核心功能。该任务之所以困难，在于电池退化是非线性的、与电芯个体相关的，并且在越过拐点（膝点）或膝点初期过渡后常常加速恶化[5]，[6]，[7]，[8]，[9]，[10]。这些变化源于耦合的老化机制，包括固-电解质界面（SEI）增长、锂储量损失、活性材料损失以及阻抗上升，它们各自的相对影响随电化学体系和运行历史而变化[11]，[12]，[13]。
SOH估计方法的发展可分为以物理模型驱动、数据驱动和混合驱动三条路径。等效电路模型和伪二维模型提供了可解释的结构，但随着电芯老化，其参数变得越来越难以可靠辨识[14]，[15]，[16]，[17]，[18]，[19]，[20]。数据驱动估计器从运行测量中学习非线性关系[21]，[22]，[23]，[24]，[25]，[26]，包括弛豫电压、小样本和深度学习等建模方式[27]，[28]，[29]。支持向量回归（SVR）、卷积神经网络-Transformer（CNN–Transformer）模型以及时空卷积网络-Transformer（TCN–Transformer）模型提供了有用的内部训练参考架构[30]，[31]，[32]。迁移注意力机制、Shapley可加性解释（SHAP）以及通道分解卷积注意力进一步改善了特征复用和可解释性[30]，[33]，[34]。在单个电芯整个寿命期内调度多个物理正则化项的研究仍然较少涉及。
物理信息神经网络（PINNs）将观测数据与物理控制方程、残差惩罚项或不等式先验相结合[35]，[36]，[37]。电池相关研究已将电化学、传质和退化结构纳入时序预测器[38]，[39]，[40]，[41]，[42]，[43]，[44]，[45]。然而，固定的物理权重向量可能无法良好匹配整个寿命期，因为残差和梯度尺度会以不同的速率演化。关于梯度平衡、自适应加权、多目标训练、残差衰减、神经切空间核、不确定性加权以及梯度归一化的工作已经记录了这一优化问题[46]，[47]，[48]，[49]，[50]，[51]，[52]，[53]，[54]。
强化学习为将约束调度视为一个序列决策问题提供了一种自然的方式。近端策略优化（PPO）使用裁剪式策略更新[55]，并已应用于电池充电、能源管理和健康管理[56]，[57]，[58]，[59]，[60]。本文利用PPO依据训练残差来配置预定义的约束库；电化学阶段从未作为标签直接提供。我们将所形成的由PPO控制的物理信息神经网络称为PPO-PINN。图1给出了概念流程，第3节描述了所实现的模型。
三项设计选择使该实现方法独具特色。第一，并行因果卷积分支、双向LSTM编码器、时序注意力机制以及按协议区分的专用头共享一个解码器，该解码器同时输出SOH估计值和无量纲隐式场。第二，PPO控制器依据按周期残差证据调度三个动态隐式场模块（C4–C6），同时通过动作掩码、激活斜坡、硬激活间隔以及固定和投影来界定一个可行的非负权重预算。第三，所有实验均采用不可变的电池级数据划分方案，并使用包含预测值、残差、投影权重、激活日志和文件哈希的工件注册表。XJTU、MIT和EV数据集各自独立拟合；实验评估的是各数据集特有的行为，而非不同电化学体系之间的直接迁移。
章节摘要
数据集与评估划分
使用了三个互补的数据集：来自MIT的受控快充电芯、来自XJTU的多协议电芯以及来自现场电动汽车的充电记录。每个数据集均独立训练模型。训练集、验证集和测试集按电池或车辆标识进行划分，从而确保来自同一台设备的周期和时序窗口保持在同一划分中。图2展示了相应的退化轨迹或容量指数曲线。
- 1)
MIT-Stanford-Toyota Research Institute（TRI）电池循环寿命数据集
总体架构
图3提供了估计器的概念性概览。所实现的路径使用并行因果卷积和循环-注意力编码来生成SOH估计值和隐式约束场；PPO控制器在离散边界处更新可行的约束调度。预测器参数在每个训练周期后优化，而滚动窗口则每隔五个预测器训练周期在探索阶段重建并更新策略。XJTU v4的200周期实验使用0–59周期用于
实验结果与分析
所有实验均使用表1中列出的不可变电池级数据划分方案进行。均方根误差（RMSE）和平均绝对误差（MAE）以百分点报告，而平均绝对百分比误差（MAPE）以百分比报告。支持向量回归（SVR）、卷积神经网络-Transformer（CNN–Transformer）以及时空卷积网络-Transformer（TCN–Transformer）基线方法与所提出的方法使用相同的输入特征和数据集划分方案。
CRediT作者贡献声明
徐泽正（Zezheng Xu）：撰写——初稿、软件、方法论、调研、概念构思。陈铄（Nuo Chen）：撰写——初稿、验证、方法论、调研、概念构思。唐晓波（Xiaobo Tang）：方法论、调研、概念构思。王泽源（Zeyuan Wang）：验证、调研。王智远（Zhiyuan Wang）：验证、方法论、调研。
生成式AI及AI辅助技术在写作过程中的使用声明
在撰写手稿的过程中，未使用任何生成式AI工具来创建插图；AI仅被最少程度地用于代码优化。
基金资助
本工作得到了国家自然科学基金（项目编号：52407109）以及江苏省自然科学基金（项目编号：BK20240593）的资助。
利益冲突声明
作者声明不存在任何已知的、可能影响本文所报告工作的竞争性经济利益或个人关系。
Zezheng Xu|Nuo Chen|Xiaobo Tang|Zeyuan Wang|Zhiyuan Wang
