基于物理信息的强化学习方法用于超级电容器参数估计，涵盖充电和放电过程

《Journal of Energy Storage》：Physics-informed reinforcement learning for supercapacitor parameter estimation across charging and discharging intervals

　　Nermin M. Salem | Mohamed A.M. Shaheen | Hany M. Hasanien
电气工程系，工程与技术学院，未来大学，埃及开罗11835

**摘要**
准确估计超级电容器（SC）参数对于预测建模、实时控制以及高效设计储能系统至关重要。传统的优化方法往往难以捕捉超级电容器充放电行为的非线性时变特性。在本研究中，开发了一种基于强化学习（RL）的框架，使用近端策略优化（PPO）算法通过最小化测量值与模拟值之间端电压的平方误差和（SSE）来适应性地估计模型参数。参数估计问题被构建为一个连续控制任务，其中RL代理与基于物理的超级电容器模型交互，并在预定义的范围内迭代更新其参数。实现了一个多步骤环境以实现顺序学习和在线控制，使代理能够实时精细化充放电区间内的参数估计。与传统的确定性优化技术相比，所提出的RL方法表现出较高的估计精度和快速的收敛性。此外，还进行了敏感性分析以评估参数变化对模型性能的影响，结果证实了参数在各种条件下的鲁棒性。该框架为设计、建模和优化下一代基于超级电容器的储能应用提供了一种可扩展和自治的途径。

**引言**
准确的参数估计是设计和建模储能设备（如超级电容器[1]）的基础。传统上，超级电容器建模依赖于等效电路模型和基于电化学的公式，其中模型参数通过大量的实验室测量和曲线拟合程序来确定[2][3]。采用恒电流充放电（GCD）测试和循环伏安法等技术来收集用于参数识别的实验数据[4]。虽然这些方法有效，但通常需要大量的实验室工作、重复测量和手动调整，从而导致设计周期中额外的时间和成本。由于电化学系统的复杂性，越来越需要数据驱动的方法来高效提取可靠参数，同时减少实验工作量[5][6]。
随着可再生能源的发展，需要先进的储能技术来应对其不规律性。人工智能（AI）为先进储能技术（AEST）领域提供了新的机遇。参考文献[7]回顾了AI在可再生能源驱动的海水淡化中的应用，其讨论分为四个部分，探讨了各种AI技术如何做出贡献，得出AI支持优化、预测和控制的结论。此外，参考文献[8]利用人工神经网络（ANN）通过两步法预测锂离子电池的发热情况，实验结果证明ANN在确定电池状态方面的有效性。因此，机器学习（ML）技术最近作为储能研究中参数估计的强大工具出现[9][10]。在文献中，ML算法如随机森林、梯度提升、支持向量机和人工神经网络已被应用于从实验数据集中预测电容、等效串联电阻和退化率[11][12]。例如，已经开发了数据驱动框架，将循环数据与结构材料特征相结合，从而能够在不同运行条件下预测寿命和容量保持率[13]。这些方法通过无需密集实验室测试即可提供预测性洞察，从而减少了实验工作量[14]。然而，传统的ML模型一旦训练完成通常就是静态的[15]，这限制了它们对新实验条件或如实时参数调整等动态优化任务的适应能力[16]。
传统优化算法已广泛应用于电化学模型的参数估计[17][18]。尽管这些方法可以实现准确的解决方案，但它们具有对初始条件的敏感性、对局部最小值的敏感性以及在收敛前需要大量评估的局限性[18]。此外，它们的操作方式是静态的[19]，其参数通过预定义的搜索规则进行调整，而不是根据新数据进行反馈驱动的适应[20][21]。
除了ML之外，混合元启发式算法也被用于超级电容器和电池的参数识别[22]。例如，结合全局和局部搜索策略的组合，如混合鱼鹰-鹦鹉优化算法，将鱼鹰优化算法的全局搜索能力和鹦鹉优化的局部细化能力结合起来，以克服单一优化方法的局限性[23]。尽管这些混合方法提高了搜索效率并降低了过早收敛的概率，但它们仍然难以保证全局最优[24]。这种弱点在高度非线性优化问题的参数中尤为明显。另一方面，基于RL的方法动态平衡了对新参数区域的探索和之前成功解决方案的利用，这种动态平衡使代理能够更高效地导航复杂和高维的参数空间[25]。这种适应性使RL适合捕捉超级电容器在充放电区间内的非线性动态。
RL是ML的一个子领域，由于其能够在非线性优化问题中动态平衡探索和利用，因此在储能应用的参数估计中得到了越来越多的研究[26]。与传统监督ML相比，RL的优势在于它不需要标记的训练数据集[27]，而是直接与环境交互并接收引导参数选择以提高准确性的奖励[28]。这一特性使RL适用于实验科学，因为它可以适应性地指导参数估计，并减少实验室设置中所需的试错循环次数。RL在电池建模中的应用已经在实验设计和参数识别方面显示出有希望的结果[29][30]。在各种算法中，近端策略优化（PPO）被认为是连续控制问题的一个稳健候选者[29][30]，因为它在高维参数空间中的稳定性和效率[30][31][32]。PPO探索有界设计空间的能力使其适用于超级电容器参数估计，特别是在充放电期间存在电阻性和电容性元件的情况下。PPO使连续动作空间（如参数识别问题中遇到的空间）中的学习变得稳健[32]。将其应用于超级电容器设计参数的估计，减少了对大量实验工作的依赖。代理直接最小化测量值与模拟值之间端电压的差异，这是所提问题的目标，该目标表示为平方误差和（SSE）。这样，实验数据得到了更有效的利用，同时学习过程自主地探索了否则需要大量物理迭代的可行参数范围。奖励函数被构建为模拟值与测量值之间端电压的平方误差的负和。虽然这个目标是纯粹数据驱动的，但通过环境的动态性保持了物理一致性，因为每次奖励评估都需要解决受电路定律和能量平衡约束控制的基于物理的超级电容器模型。因此，违反物理行为的参数更新会导致电压不匹配和奖励减少。尽管当前的公式强调全局轨迹精度，但未来的扩展可能结合时间-局部误差加权、基于物理的正则化项或多目标奖励结构，以进一步提高鲁棒性和物理可解释性。
本工作的创新之处在于将RL应用于超级电容器系统的实时参数估计。与训练完成后就是静态的传统ML或元启发式方法不同，所提出的RL框架在运行过程中动态调整超级电容器模型参数，从而实现来自实验反馈的连续学习。这种闭环方法使RL代理能够在探索和利用之间实现平衡，从而进行最优参数调整和适应。此外，目标是在不同的充放电条件下实现准确估计。
所得框架不仅降低了对外部物理测试的依赖，还提供了在两种操作状态下都具有良好泛化的参数估计。仿真结果突显了RL驱动方法在加速设计过程、提高建模精度和降低实验工作成本方面的潜力。据作者所知，文献中尚未报道过RL（特别是PPO）在超级电容器模型在线参数估计中的应用。现有研究主要依赖于确定性或元启发式优化算法（如遗传算法GA、粒子群优化PSO、海象优化算法WOA和指令集架构ISA）进行离线参数识别，或使用卡尔曼滤波等状态估计技术进行实时监控[23]。虽然这些方法显示出了良好的精度，但它们往往缺乏自适应的顺序决策能力，并不是为了在参数调整期间平衡探索和利用而设计的。相比之下，所提出的基于PPO的框架实现了充放电区间内的在线和自适应参数估计，使代理能够根据测量反馈迭代地精细化模型。这为数据驱动的实时优化电化学储能系统开辟了一个新的方向。

**论文其余部分组织结构如下：**
第2节讨论了超级电容器的数学模型和问题表述，包括其约束条件。第3节介绍了方法论。第4节讨论了结果和比较。第5节提供了结论。

**超级电容器建模和问题表述**
本研究中的超级电容器由图1所示的等效电路模型表示[23]。该模型准确捕捉了双层电容器端电压的行为。这个等效电路模型由三个并联的RC支路组成，每个支路模拟了双层电容器的不同响应。第一个（即时）支路负责捕捉快速的初始充放电过程，响应时间以秒为单位。

**方法论**
在RL方法中，选择PPO是因为其在稳定性和样本效率之间的平衡。PPO属于策略梯度算法家族，通过最大化预期累积奖励来直接优化参数化策略π?[33]。与简单的策略梯度方法不同，PPO引入了一个剪裁的替代目标来约束策略更新，从而避免了由于梯度步长过大导致的不稳定性。这一属性对于计算成本高昂的情况非常重要。

**结果与分析**
参数估计问题被构建为一个RL任务，并使用Stable-Baselines3[33]实现的PPO来解决。RL环境将代理动作与参数向量关联起来，并在两个独立的时间间隔内执行超级电容器模拟：充电间隔1（0-23秒）和放电间隔2（23-28秒）。之后，它根据模拟值与测量值之间端电压的平方差负值提供奖励。通过反复交互……

**结论**
本研究提出了一个基于物理的强化学习框架，用于充放电区间内的超级电容器参数估计。通过在基于PPO的优化循环中嵌入详细的等效电路模型，所提出的方法通过直接最小化测量值与模拟值之间的差异，实现了物理意义上的参数的自适应识别。与静态优化技术不同，所提出的多步骤RL方法……

**作者贡献声明**
Nermin M. Salem：撰写——原始草案、软件实现、方法论研究、形式分析。
Mohamed A.M. Shaheen：撰写——原始草案、研究、形式分析、数据整理、概念化。
Hany M. Hasanien：撰写——审稿与编辑、可视化、验证、形式分析、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本报告中报告的工作。