一种基于学习的电池健康状态平衡和容量最大化方法，适用于可重构电池系统

《Journal of Energy Storage》：A learning-based method for battery health balancing and capacity maximization in reconfigurable battery systems

　　刘佩|李大|朱金|程博远|吴宇|杨琦|李伟林
西北工业大学自动化学院，西安，710129，中国

**摘要**
锂离子电池在大型储能和电动出行系统中得到越来越广泛的应用，但在系统层面，性能退化和电池单元之间的不一致性带来了严峻挑战。在这些挑战中，实现有效的健康状态（SOH）平衡尤为困难，尤其是在动态可重构电池（DRB）系统中。为了解决DRB架构中缺乏针对SOH的平衡策略的问题，本文引入了一个潜在指标——相对电荷状态（ReSOC），并提出了一种基于ReSOC的深度强化学习算法R-M-DQN，旨在同时提高SOH的均匀性和最大化系统级别的能量利用率。综合案例研究表明，所提出的R-M-DQN方法显著提升了SOH平衡性能，并最大化了系统的可用容量，优于现有的平衡策略。

**引言**
随着移动电子设备、电动交通、医疗设备和军事装备的快速发展，作为基础支撑技术的电池储能系统（BESS）近年来取得了显著进展[1]、[2]、[3]。大多数传统的BESS采用固定的串并联配置来满足负载的电压和电流需求。然而，当具有不同制造公差或不同历史运行条件的电池单元以固定拓扑结构永久连接时，它们的不一致性会随着时间的推移而累积，导致所谓的“最弱环节效应”[4]。这种效应意味着整个电池组的性能受到最弱电池单元的限制[5]、[6]。特别是，电池单元之间的SOH差异在决定电池组的可用寿命和能量容量方面起着主导作用。SOH较低的电池单元会更早达到使用寿命终点，而SOH较高的电池单元则被迫提前停止放电，从而导致大量能量浪费和系统利用率降低[6]。这些限制表明，仅关注SOC的传统平衡策略不足以应对长期老化问题。因此，实现SOH平衡对于提高使用寿命一致性、增强能量利用率和确保BESS的可靠运行至关重要。

现有的电池平衡方法大致可以分为三类：基于硬件的平衡架构、基于模型的控制方法和基于学习的方法：
(a) 基于硬件的控制：早期解决电池不平衡的努力主要集中在电路级别的平衡拓扑上。被动平衡方法[7]、[8]通过并联电阻耗散多余能量，实现简单但能量损失大且平衡时间长。主动平衡方法[9]、[10]通过专用转换电路将高SOC电池的电荷转移到低SOC电池，虽然提高了平衡效率，但额外的硬件、控制逻辑和故障风险显著增加了系统复杂性。为了解决这些问题，研究人员越来越多地关注可重构电池架构，特别是DRB系统[11]、[12]、[13]、[14]。这些系统允许电池单元之间的灵活互连，从而调整拓扑结构以提高容错能力和平衡性能。代表性贡献包括全面的拓扑综述[12]、模块化可重构电池系统的开发和实验验证[13]，以及提出具有半控制和全控制输出的双端口动态可重构电池[14]。尽管这些方法具有更好的灵活性，但仍严重依赖于硬件配置和预定义的控制规则。
(b) 基于模型的控制方法：除了硬件设计外，另一类研究重点是基于模型的控制方法。传统的基于模型的算法[15]、[16]、[17]、[18]、[19]（如基于共识的控制[18]或基于DAG的建模[19]）已被用于缓解不平衡问题。然而，它们的性能高度依赖于精确的系统建模和对DRB拓扑的先验知识，在复杂或不确定的环境中可扩展性较差。
(c) 基于学习的方法：最近，基于学习的方法因其在无模型情况下的适应能力和交互能力而受到重视[20]、[21]、[22]。从AlphaGo[23]等标志性应用到能源管理[24]、电网电压控制[25]和电池尺寸优化[26]、[27]等能源相关问题，深度强化学习（DRL）在顺序决策问题中展现了强大的能力。在DRB系统的背景下[28]首次将DRL应用于平衡控制，主要目标是SOC均衡。随后的研究[29]通过在电动汽车应用中动态重构电池拓扑来实现平衡。然而，这两项研究仅解决了SOC不平衡问题，没有考虑随着电池组老化而日益严重的SOH差异问题。仅关注SOC的平衡无法防止容量利用不足或由SOH不一致性引起的过早退化。

此外，准确估计电池状态是有效平衡和控制电池系统的基本前提。大多数现有策略严重依赖于对关键状态（尤其是SOC和SOH）的精确了解来支持决策。近年来，开发了多种先进的SOH估计方法。基于模型的方法通常将等效电路或电化学模型与状态观测器（如扩展卡尔曼滤波器）结合，以实现SOC-SOH联合估计[30]、[31]。数据驱动方法，包括基于充电特征的SOH估计模型、自回归SOH模型的误差补偿方法，以及结合变分模式分解和深度学习网络的混合方法，已被广泛用于提取退化特征并提高SOH预测的准确性和鲁棒性[32]、[33]、[34]。此外，还提出了结合物理约束的混合和学习框架，以增强神经网络的可解释性和泛化能力[35]、[36]。尽管取得了这些进展，但准确的SOH评估通常仍需要多次充放电循环的频繁测量或基于详细物理和电化学模型的重复估计。同时，数据驱动方法严重依赖于大规模、高质量的历史数据集进行训练。在实际电池管理系统中，这些严格要求在现实世界运行条件下难以满足。

**总结**
目前存在两个主要的研究空白：
1. 现有的基于DRL的DRB控制器未纳入SOH平衡，主要是因为直接的SOH感知控制需要准确且频繁的SOH估计，这既困难又计算密集，并且对估计误差敏感。
2. 缺乏旨在最大化电池组总可用容量的DRB控制方法，尤其是在SOH不均匀的情况下。

**本文的贡献**
本文的主要贡献如下：
(1) 我们提出了一种新的DRB系统SOH平衡原理，无需直接进行SOH估计。通过引入ReSOC，我们从理论上证明了可以通过ReSOC均衡来解决SOH不平衡问题，并明确了相应的最优平衡目标。
(2) 基于这一ReSOC原理，我们推导出了一种在SOH不均匀条件下最大化电池组总可用容量的平衡策略。
(3) 将SOH平衡问题表述为马尔可夫决策过程（MDP），并开发了一种无需使用系统模型的无模型DRL控制器来确定最优重构动作。广泛的案例研究证明了其在改善SOH平衡和增加DRB系统可用容量方面的有效性。

本文的其余部分安排如下：第二节介绍DRB系统，并基于提出的ReSOC指标阐述SOH平衡的理论基础以及可释放容量最大化原理。第三节在马尔可夫决策过程框架内表述SOH平衡问题，并介绍所提出的R-M-DQN控制策略。第四节描述电池系统环境和用于性能评估的参数设置。第五节展示了不同控制策略下的比较结果。最后，第六节总结了本文并概述了未来工作的潜在方向。

**技术细节**
**动态可重构电池系统模型**
DRB系统通常具有简单、灵活、动态可控且易于故障隔离的可重构拓扑结构。这些特性使DRB系统在能效和系统安全性方面显著优于传统电池储能系统[37]。因此，DRB系统越来越多地应用于各种领域，包括卫星电源[38]和储能站[39]。在DRB系统中，多个因素（包括深度等）共同影响其性能。

**方法论**
为了解决电池系统中的SOH平衡问题，本章提出了一种基于深度Q网络的可重构平衡控制策略R-M-DQN，结合了ReSOC驱动的平衡机制、可释放容量最大化理论和深度强化学习，如图5所示。基于ReSOC的SOH平衡问题被表述为马尔可夫决策过程，其中定义了状态空间、动作空间和奖励函数。随后，在强化学习框架Gym[50]中实现了电池环境，如图7所示。电池状态转换由安时（Ah）计数方法控制，通过该方法以确定性方式更新SOC和ReSOC。该环境反映了DRB系统的开关操作逻辑和状态演变。作为代表性配置，考虑了一个由十个电池单元串联连接的系统，每个时间步有七个电池单元参与。

**结果与讨论**
本节对比分析了三种具有不同平衡目标的控制策略在可重构串联电池系统中的表现：DQN、R-DQN和所提出的R-M-DQN。基于DQN的策略仅关注SOC平衡，没有明确考虑与SOH相关的退化问题。相比之下，R-DQN引入了ReSOC作为潜在指标，通过调节电池单元之间的相对放电深度（DOD）来实现面向SOH的平衡。在R-DQN的基础上，提出的R-M-DQN进一步优化了平衡性能。

**结论**
本文提出了一种基于深度强化学习的动态可重构电池系统的SOH平衡框架。通过引入ReSOC作为潜在指标，所提出的方法能够实现自适应的电池单元级放电调节，从而减轻传统基于SOC的策略无法解决的退化不一致性问题。该问题被表述为马尔可夫决策过程，并开发了R-M-DQN控制器来共同优化SOH平衡和可释放容量利用率。

**作者贡献声明**
刘佩：撰写——审稿与编辑、撰写——原始草稿、可视化、软件开发、方法论研究、形式化分析。
李大：资源获取、资金筹集、形式化分析、概念化。
朱金：监督、资源获取、方法论研究、资金筹集、概念化。
程博远：资源获取、方法论研究、形式化分析、数据整理、概念化。
吴宇：监督、资源获取、项目管理、研究调查、资金筹集、概念化。

**作者声明**
刘佩是本文的第一作者。李大和朱金是共同通讯作者。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。

**致谢**
本研究得到了国家自然科学基金（编号52502516）、陕西省自然科学基础研究计划（编号2025JC-YBQN-521）、陕西省科学技术协会青年人才支持计划（编号20250471）以及中央高校基本科研业务费（编号D5000240294）的支持。