《Energy Advances》：Pretrained battery transformer (PBT): a foundation model for battery life predictionOpen Access
编辑推荐：
电池循环寿命的早期预测对于改进电池设计、制造和部署至关重要。然而，尽管机器学习已取得令人鼓舞的进展，电池寿命预测仍受制于数据稀缺以及电池化学体系、规格、化成协议和运行条件之间的显著异质性。尽管迁移学习已被广泛探索以缓解这些挑战，但其有效性受到缺乏能够整合异质性
电池循环寿命的早期预测对于改进电池设计、制造和部署至关重要。然而，尽管机器学习已取得令人鼓舞的进展，电池寿命预测仍受制于数据稀缺以及电池化学体系、规格、化成协议和运行条件之间的显著异质性。尽管迁移学习已被广泛探索以缓解这些挑战，但其有效性受到缺乏能够整合异质性电池寿命数据并为目标场景特化提供广泛可用知识的基础模型的限制。在此，研究人员介绍了预训练电池变压器（pretrained battery transformer, PBT），一个集成式基础模型，包含一个通用PBT和针对各目标场景的特化PBT模型。其核心是电池知识编码的混合专家（mixture-of-experts, MoE）层，使得通用PBT能够从13个异质性锂离子电池数据集中整合共享的循环模式-寿命关系，同时保留不同老化机制下的专家特化能力。由此产生的通用PBT提供了一个共享的知识与参数基础，特化PBT模型借助有限标注数据从中构建，以捕获目标特定的退化行为。在涵盖来自锂离子、钠离子和锌离子电池的977只电池和532种老化条件的15个下游数据集中，特化PBT模型取得了最先进的性能，平均优于最强比较模型24.8%，最高达73.9%。该研究据研究人员所知建立了首个面向电池寿命预测的基础模型，并标志着从孤立的、场景特定的建模向可复用知识基础支持的数据高效特化的转变，对受稀缺和异质性数据约束的可持续能源预测问题具有更广泛的意义。
**研究背景与问题**
可充电电池是低碳能源转型的核心，支撑电动汽车、电网储能和便携式电子设备。电池寿命通常以容量衰减至额定容量80%时的充放电循环次数来衡量。传统上，确定电池寿命需要进行数月甚至数年的全寿命循环实验，成为电池开发和评估的主要瓶颈。因此，早期电池寿命预测对于优化电池设计、生产和利用至关重要。数据驱动方法已在早期电池寿命预测中取得显著成果，早期方法通常依赖领域知识构建特征，如差分电压特征、电压-电流曲线衍生特征等，但这类特征工程方法常依赖手工特征、额外测量或先验知识，限制了其跨化学体系和运行条件的通用性。神经网络提供了一种更通用的替代方案，但电池寿命预测仍受两个基本挑战制约：寿命数据稀缺，以及正负极材料、电解质、制造工艺、化成协议和运行条件差异带来的显著异质性。数据异质性导致电压-电流分布偏移（即域偏移），使从零训练或跨数据集迁移的模型性能下降。迁移学习虽被探索用于缓解这些问题，但现有源模型并非为整合多样化电池寿命数据而设计，缺乏能够从异质数据集中学习广泛适用的循环模式-寿命关系并提供统一参数基础以供目标场景特化的通用预训练模型。为此，研究人员构建了PBT，据研究人员所知是首个面向电池循环寿命预测的基础模型。
**研究方法概述**
研究人员编制了目前最大且最多样化的电池寿命数据库，包含16个公开数据集，涵盖977只电池、532种老化条件，涉及多种化成协议、放电深度、充电协议、压力因素、材料、运行温度和化学体系，较此前最大数据库包含2.61倍电池数量、4倍物理格式、8.71倍化学体系、1.8倍运行温度、2.2倍充放电协议和2.89倍老化条件。PBT框架以BatteryMoE为核心模块，该模块包含电池知识编码的门控网络和专家网络。软编码器利用大语言模型（LLM）将老化条件文本描述转化为向量表示以指导初始专家权重；硬编码器基于电池知识（正极、负极、物理格式和运行温度）施加物理约束，仅保留与输入电池属性匹配的专家。通用PBT在13个锂离子电池数据集上预训练，整合共享的循环模式-寿命关系；特化PBT模型通过微调或适配器调整从通用模型参数基础构建，使用有限目标数据捕获场景特定退化行为。模型采用AdamW优化器，以均方误差为损失函数，使用平均绝对百分比误差（MAPE）作为评估指标。
**研究结果**
*通用PBT整合了来自异质数据集的综合电池寿命知识*：在13个锂离子数据集上，通用PBT总体MAPE为0.151，较第二优模型降低22.7%；在已见老化条件下降低22.6%，在未见老化条件下降低22.8%；在12个数据集中9个取得最优结果，其中8个数据集MAPE降低超过15%。
*面向预训练覆盖电池规格的目标场景构建特化PBT模型*：在12个预训练覆盖规格的目标数据集上，特化PBT均取得最低MAPE，在8个数据集上优于最强比较模型超过10%，平均提高23.2%；特化PBT较通用PBT总体MAPE降低9.3%，对已见和未见老化条件分别降低12.8%和6.6%。
*面向超出预训练覆盖电池规格的目标场景构建特化PBT模型*：在大规格工业锂离子、钠离子和锌离子三个目标数据集上，特化PBT分别较最优比较模型降低MAPE 42.1%、19.0%和31.3%，证明了PBT框架对非锂离子化学体系和工业电池设计的适应性。
*PBT性能来源分析*：消融实验表明，软编码器和硬编码器均对性能有贡献，二者作用互补；LLM表示优于可学习查找嵌入；BatteryMoE架构优于通用MoE架构；电池规格与化成及运行条件信息互补；数据规模增加可持续提升性能，且BatteryMoE使PBT能够更高效地利用预训练数据。
**讨论与结论**
PBT框架中通用模型提供可复用的电池寿命知识基础，特化模型捕获目标特定退化行为，在15个下游数据集上一致优于竞争方法。直接应用通用PBT在规格显著偏移下误差较高，但经有限目标数据特化后性能大幅提升。预测精度受输入信息含量和训练数据对目标域退化模式覆盖程度限制。PBT可支持下一代电池开发和制造质量控制，可嵌入闭环优化框架加速候选筛选，或为基于配方的替代模型提供伪标签。未来方向包括纳入更全面的老化条件描述、改进不确定性估计以及融合电压-电流之外的互补测量。BatteryMoE的两级知识注入策略可为其他数据稀缺和异质性预测问题提供通用设计范式。总体上，该研究表明定制化基础模型可为解决电池寿命预测中的数据稀缺和异质性挑战提供有效途径，领域知识可指导基础模型设计，使稀缺异质实验数据在可持续能源应用中更具可复用性。
