基于机器学习方法的钙钛矿催化二氧化碳分解性能预测 陈佳怡（Jiayi Chen）、 王坤（Kun Wang）、 谢华清（Huaqing Xie）、 马克荣（Kerong Ma）和 李坤伦（Kunlun Li）

《Energies》：Performance Prediction of Perovskite-Catalyzed CO2 Decomposition Based on Machine-Learning Method Jiayi Chen, Kun Wang, Huaqing Xie, Kerong Ma and Kunlun Li

　　摘要 准确预测配电网络运行状态对于实施主动故障预警系统至关重要。然而，随着分布式能源资源的高渗透率，测量数据表现出强烈的非线性和多尺度时间特性，给现有的预测方法带来了重大挑战。当前主流方法面临一个关键困境：传统的循环神经网络（RNN）模型（例如LSTM）在长序列预测中存在梯度消失和内存瓶颈问题，难以捕捉长期演变趋势。相比之下，虽然标准Transformer模型在全局建模方面表现出色，但其平滑效应使得它们对电压骤降等微妙瞬态变化不敏感，并且计算复杂度较高。为了解决“难以捕捉瞬态变化”和“无法同时处理长期趋势”的双重挑战，本文提出了一种故障前兆趋势预测模型，该模型将扩展长短期记忆（XLSTM）与Informer结合，称为XLSTM-Informer。为了提取瞬态特征，构建了一个基于XLSTM的局部编码器。通过用改进的指数门控机制替换传统的Sigmoid激活函数，该模型显著提高了对电压和电流瞬时波动的敏感性。此外，引入了矩阵记忆结构以有效缓解长序列训练过程中的信息遗忘问题。为了克服建模长期依赖性的挑战，使用Informer作为全局解码器。利用其ProbSparse稀疏自注意力机制，该模型在准确捕捉长距离时间依赖性的同时大幅降低了计算复杂度。在真实世界配电网络数据集上的实验结果表明，与单独的CNN、LSTM和其他基线模型以及传统的LSTM–Informer混合方法相比，所提出的模型实现了更低的均方误差（MSE）和平均绝对百分比误差（MAPE）。特别是在极端运行条件下——如持续的高夏负荷和冬季供暖高峰负荷——该模型成功克服了传统方法的局限性，能够同时准确预测局部前兆和全局趋势。这为配电网络中的主动预警系统提供了可靠的技术基础。

1. 引言
配电网络作为连接电网和终端用户的关键环节，直接影响社会和经济运行的可靠性。随着“双碳”战略的推进，分布式能源资源（DERs）的控制和管理策略变得越来越复杂[1,2]。分布式光伏的高渗透率，加上电动汽车等高度可变负荷的广泛采用，已将传统的单向辐射式配电网络转变为具有强源-负荷交互作用的复杂主动配电网络（ADNs）。特别是在低压配电层面，由于光伏的高渗透率导致的电压违规问题已成为主要的控制挑战[3,4]。这种转变显著增加了系统的脆弱性和运行不确定性。
在极端天气事件（如热浪）[5]日益频繁以及农村地区“煤改电”计划导致的负荷激增的背景下，配电网络中的故障模式现在表现出强烈的非线性、高随机性和复杂的演变机制[6]。因此，为了跟上主动配电网络故障检测的新兴趋势[7]，基于多源数据的故障前兆的主动预测和早期识别逐渐取代了传统的故障后紧急修复模式，并成为提高电网韧性的关键策略[8]。
故障预测的核心是从大量时间序列数据中提取有效特征并推断演变趋势。早期研究主要依赖于物理模型或简单的信号处理技术，例如基于小波变换的方法用于早期短路故障检测，在特定频率带特征提取方面表现良好[9]。然而，这些方法在拓扑结构频繁变化的主动配电网络中适应性较差。随后，数据驱动方法逐渐占据主导地位。其中，浅层机器学习算法被广泛应用：一些研究人员利用随机森林和集成投票机制来提高故障预测准确性[10]；其他人采用XGBoost结合粒子群优化（PSO）来实现高效故障识别[11,12]；还有基于“故障基因序列”和序列对齐技术的创新方法用于智能配电网络的精确状态映射[13]。此外，改进的BP神经网络（例如通过Harris Hawks优化）在考虑天气因素的故障预测中表现出良好性能[14]。然而，这些浅层模型通常严重依赖手动特征工程，在面对大规模高维监测数据（如保护继电器、干扰记录器）时难以捕捉长期时间依赖性[15]。
为了从时间序列数据中提取深层特征，深度学习方法应运而生。值得注意的是，深度学习不仅在时间序列预测方面显示出巨大潜力，而且在基于视觉的关键配电设备检测方面也表现出色（例如SGI-YOLOv9模型）[16]。在时间序列领域，循环神经网络（RNN）及其变体——长短期记忆（LSTM）已成为主流。LSTM通过其门控机制有效缓解了传统RNN的梯度消失问题，并被广泛应用于短路电流预测[17]和早期故障概率序列分类[18]。尽管LSTM在短到中期序列上表现优异，但在处理配电网络中的超长期故障前兆（如逐渐老化的绝缘或持续过载）时仍存在内存瓶颈和低计算效率问题。
近年来，随着大型语言模型（LLMs）和Transformer架构的兴起，基于注意力的时间序列预测成为研究热点。一些研究探索了优化后的LLMs用于配电网络中的绝缘故障预测，展示了它们在捕捉全局上下文信息方面的巨大潜力[19]。然而，虽然标准Transformer在建模全局依赖性方面表现出色，但其自注意力机制会导致与序列长度相关的二次计算复杂度。此外，它们倾向于产生“平滑效应”，使得它们对电压骤降和局部干扰等微妙瞬态特征不敏感[20]。在真实的配电网络中，故障通常起源于小的局部扰动，最终演变为系统范围的故障。
总之，现有的配电网络故障预测方法面临一个根本性的权衡，即难以捕捉瞬态变化的同时考虑长期演变趋势。单独的LSTM难以维持长期记忆，而标准Transformer则倾向于忽略关键的局部细节。为了解决这一挑战，本文提出了一种混合预测模型，将扩展长短期记忆（XLSTM）与Informer结合，称为XLSTM-Informer。该模型由两个关键组件组成：（1）基于XLSTM的局部特征编码器，利用改进的指数门控和矩阵记忆结构来专门捕捉高频瞬态故障前兆；（2）基于Informer的全局解码器，采用ProbSparse稀疏自注意力机制来高效推断长期故障演变趋势。使用来自区域配电网络的真实运行数据，本研究特别评估了该模型在典型极端情景下的性能，包括夏季高峰负荷和冬季供暖高峰，旨在为复杂运行条件下的主动配电网络提供高精度、稳健的解决方案。

2. 相关工作
为了阐明本研究的贡献，本节批判性地回顾了配电网络中故障预测方法的演变。现有文献大致分为三种主导范式：传统的深度学习基线（RNNs/CNNs）、长序列注意力机制（Transformer变体）和新兴的混合架构。下面分析了每个类别的优势和固有局限性。
基于RNN和CNN的传统深度学习方法，如长短期记忆（LSTM）网络和卷积神经网络（CNNs），已被广泛用于电网故障诊断。LSTM因其处理时间依赖性的门控机制而受到青睐，而CNNs在提取局部空间特征方面表现出色。
批评：然而，这些方法存在固有局限性。LSTM在处理超长序列（例如连续的每周监测）时存在高内存成本和梯度消失问题。同样，尽管CNNs能够有效捕捉局部波动，但其有限的接收场使得它们难以建模趋势预测所需的长距离全局相关性。
为了使Transformer及其变体能够解决长期依赖性问题，出现了基于注意力的模型，如Transformer和Informer。特别是Informer，利用ProbSparse注意力机制将计算复杂度降低到O(L Log L)，使其适用于长序列预测。
批评：尽管它们在捕捉全局趋势方面取得了成功，但标准Transformer表现出“平滑效应”。自注意力机制倾向于平均化高频信号，将有价值的瞬态故障症状（如电压尖峰）视为噪声。因此，它们往往无法捕捉对早期故障预警至关重要的尖锐瞬时变化。
混合机制和研究空白：最近的研究试图融合RNN和Transformer以结合它们的优势。然而，大多数现有的混合模型依赖于简单的并行连接或缺乏针对高频信号的专用记忆结构。
研究空白：目前缺乏一个统一的框架，可以同时锁定局部瞬态特征（使用矩阵记忆）和建模全局演变趋势（使用稀疏注意力）。本文通过提出XLSTM-Informer融合模型来解决这一空白，该模型专门设计用于平衡对突变的敏感性和长期预测稳定性。

3. 材料与方法
3.1. 总体架构
为了解决主动配电网络中故障症状弱和随机性强的问题，本文提出了一种名为XLSTM-Informer的新趋势预测框架。如图1所示，该框架由三个集成模块组成：
图1. 提出的XLSTM-Informer框架的总体架构。
数据预处理模块：负责清理原始测量数据、规范特征并通过滑动窗口生成时间序列样本。
局部特征提取模块（编码器）：利用扩展长短期记忆（XLSTM）捕捉电压/电流序列中的瞬态局部变化和短期依赖性。
全局趋势推断模块（解码器）：采用带有ProbSparse自注意力的Informer架构来建模长距离依赖性并输出多步趋势预测。

3.2. 数据获取与处理
本研究使用的数据来自中国北方唐山地区的实际配电网络测量数据。为了确保模型收敛和预测准确性，需要进行严格的数据处理。
（1）最小-最大规范化：由于数据集包含多个电气量（例如电压、电流、有功功率）且幅度不同，直接输入神经网络可能会导致梯度振荡。将所有特征映射到[0, 1]范围的最小-最大规范化如下：
??′=???????????????????????????? (1)
其中x表示原始观测值，xmin和xmax分别表示特征序列的最小值和最大值。
（2）滑动窗口构建：为了将连续时间序列预测问题转化为监督学习任务，实施了滑动窗口策略。如图2所示，输入序列长度设置为Lin（历史范围），预测序列长度设置为Lout（预测范围）。
输入序列：???? ={????????????+1,?,????}
目标序列：???? ={????+1,?,????+??????????}
在实验中，根据采样频率和故障演变特性，设置Lin = 96和Lout = 24。

3.3. 局部特征编码器：XLSTM
传统的LSTM在处理配电网络中的高频采样数据时存在存储容量有限和梯度衰减的问题。为了解决这个问题，采用了扩展长短期记忆（XLSTM）作为局部特征编码器。
图3展示了带有指数门控和矩阵记忆的XLSTM单元的结构。
图3. 带有指数门控和矩阵记忆的XLSTM单元的结构。XLSTM在标准LSTM的基础上引入了两个关键改进：
指数门控：传统的Sigmoid激活函数被指数门控机制取代。这使得模型能够更敏感地选择输入信息，从而对瞬态故障症状（如突然的电压骤降）更加敏感，同时抑制背景噪声。
矩阵记忆：标量单元状态（ct）被扩展为矩阵结构。这显著增加了内存容量，确保即使在进入全局注意力模块之前也能保留关键的局部特征。

3.4. 全局趋势解码器：Informer
提取局部特征后，高维隐藏状态被输入到Informer模块以推断未来的演变趋势。Informer专门设计用于解决标准Transformer在长序列预测中的计算效率问题。
（1）ProbSparse自注意力：标准自注意力机制需要O(L2)的计算复杂度，这非常耗资源。Informer采用ProbSparse机制，仅选择具有最高主导相关性的“Top-u”查询来计算注意力权重：
???(??,??,??)=?????????????????????(??????????????√??)??? (2)
其中????????表示稀疏查询矩阵。这将复杂性降低到O(L log L)，使模型能够有效地捕捉配电网络数据中的长期依赖性和全局周期性。(2) 生成解码器：与RNN的逐步递归预测不同，Informer使用生成式解码器在一个前向步骤中输出整个预测序列(Lout)。这避免了在多步预测过程中预测误差的累积。3.5 实验环境和评估指标所有实验都在配备NVIDIA GeForce RTX 3080 GPU和Intel Core i9 CPU的工作站上进行。所提出的模型使用PyTorch（2.0.0）深度学习框架实现。使用的优化算法是Adam，初始学习率为1 ×10?4，批量大小为32。为了定量评估预测性能，选择了三个标准指标：均方误差（MSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）。公式如下： ????????=1?????∑??=1(??????????)2 (3) ????????=1?????∑??=1∣??????????∣ (4) ???????????=100%?????∑??=1∣??????????????∣ (5) 其中????表示实际测量值，?????表示预测值，n是样本数量。4. 结果 4.1 实验数据和季节性设置为了准确捕捉故障演变的瞬态细节，数据采集系统配置为以1分钟间隔进行高频采样。数据集涵盖了典型的冬季和夏季负荷分布期，包含大约40,000个多变量时间序列样本，并过滤掉了无效记录。在研究的农村配电网络中，变压器（配电区域的起点）的低压侧电压通常保持在240伏左右。这种有意提高的运行策略补偿了线路损耗，确保了终端用户的电压稳定，通常超过城市电网的235伏标准阈值。这种做法与农村电力供应的特点密切相关，例如较长的供电半径和分散的负荷。特别是，电压超过245伏、低于220伏，甚至接近或降至198伏的样本被视为关键的故障前兆或异常状态（245伏作为关键的上/下限参考）。为了直观展示上述特点，图4展示了配电区域的典型正常运行波形。如图所示，尽管电压保持在大约240伏的高水平，但曲线保持平滑，没有突然变化。相比之下，图5展示了两种代表性的故障前兆：图5显示了在重负荷下电压的快速下降伴随着高频波动；图6描绘了电压异常上升到250伏，显示出危险的过电压趋势。本文提出的模型旨在准确区分图4中的正常高电压和图5及图6中显示的异常电压违规。图4. 基于起点提升策略的正常高电压运行波形。图5. 包含极端过电压和突变特征的故障演变波形。图6. 包含极端过电压和突变特征的故障演变波形。实验验证使用了第3.2节描述的真实世界数据集。为了全面验证所提出的XLSTM-Informer模型在复杂负荷剖面下的鲁棒性，测试集特别设计了三种典型的农村配电网络季节性场景：春季（过渡季节）：以中等负荷水平和相对稳定的波动为特征。夏季（冷却季节）：由于大规模空调设备的连续运行，负荷持续较高。冬季（供暖季节）：由于农村地区“煤改电”政策的推动，负荷在傍晚达到高峰且波动性高。为了严格评估模型在复杂运行条件下的泛化能力，我们为“极端场景”建立了严格的定量选择标准。根据中国北方配电网络的负荷特性和“煤改电”政策的运营影响，提取了三个典型数据集。具体定义和阈值如下：(1)场景I：夏季持续高负荷：这个场景代表了夏季热浪期间的电网状态，由大规模空调负荷的连续运行驱动。主要挑战在于变压器中的热积累，而不是瞬时波动。选择标准：时间窗口：10:00至16:00（高峰温度期）。负荷阈值：负荷系数（LF = Pavg/Prated）必须连续超过90%。持续时间：高负荷状态必须持续至少5小时。理由：持续的高负荷减少了设备的热裕度，使电压基线对轻微波动敏感。(2)场景II：冬季尖峰和高波动性，这个场景捕捉了冬季的傍晚高峰，受到“煤改电”政策的严重影响。住宅用电加热设备的同步使用造成了负荷的急剧增加。选择标准：时间窗口：18:00至22:00（住宅供暖高峰）。波动阈值（斜率率）：负荷斜率率（Rt）必须在15分钟间隔内超过额定容量的15%。理由：加热负荷的快速增加导致了感应冲击电流，测试了模型捕捉瞬时电压下降（瞬态特征）的能力，而不仅仅是趋势。(3)场景III：过渡季节（基线）：作为对照组，从春季/秋季数据中选取，其中日平均负荷系数在0.3到0.5之间，电压方差小于0.02。所有模型都在相同的硬件平台（NVIDIA GeForce RTX 3080）上进行了训练和测试，如第3.5节所述。4.2 总体性能比较为了严格评估所提出模型的总体趋势预测能力，我们对完整的测试数据集进行了全面的基准测试。XLSTM-Informer与主流深度学习基线（CNN、LSTM）以及最先进的变压器变体（包括Autoformer、FEDformer和原始Informer）进行了比较。定量结果如表1所示。表1. 在完整测试集上与最先进模型的总体性能比较。如表1所示，所提出的模型在所有评估指标上均表现出优越的性能。值得注意的是，与标准Informer相比，我们的模型显著降低了错误率——MSE降低了约30.1%，MAPE降低了10.6%。这些结果提供了有力证据，表明XLSTM模块的集成有效地增强了局部瞬态细节的捕捉能力，同时没有削弱Informer架构固有的全局趋势建模优势。从图7可以看出，所提出的模型取得了令人满意的性能。图7. 对比实验可视化。4.3 消融研究为了验证XLSTM（局部编码器）和Informer（全局解码器）的具体贡献，进行了消融实验。结果如表2所示。表2. 消融研究的定量比较。关于所提出方法的内部机制，可以做出以下观察：矩阵记忆的贡献：模型D（XLSTM-Sigmoid）的预测误差低于模型C（LSTM + Informer）。由于两个模型都使用了标准的Sigmoid激活函数，这种改进表明用矩阵记忆结构替换标量记忆单元有助于扩展状态容量，从而使模型在复杂的电网条件下保留更多有信息量的历史模式。指数门控的影响：值得注意的是，所提出的模型E（XLSTM-Informer）在消融变体模型D的基础上进一步提高了性能。通过使用指数门控机制而不是Sigmoid激活函数，模型有效地缓解了梯度饱和问题。这种修改使模型能够为瞬时误差梯度分配更大的权重，增强其对瞬态故障症状（例如电压下降）的敏感性，并减少了预测延迟。总体有效性：因此，模型E在所有评估指标上表现出最佳的整体性能。这表明串行融合策略有效地结合了XLSTM编码器的高频特征提取和Informer解码器的长期趋势建模，为配电网络故障症状预测提供了竞争性和可靠的解决方案。4.4 在不同季节负荷剖面下的性能分析本节重点关注模型对夏季和冬季不同负荷特征的适应性，这对于实际工程应用至关重要。定量分析（跨季节）：表3详细介绍了三个季节的预测性能。表3. 所提出模型在不同季节的性能分解。如表3所示，即使在冬季负荷波动性最高的情况下，模型也保持了高精度（MAPE < 3%），这是由于农村电加热的随机性质。结果解释：性能趋势的逆向关系：有趣的是，结果显示负荷波动性与预测误差之间存在反向关系。尽管冬季由于电加热负荷而具有“尖峰”特征，模型在该季节的表现最佳（MSE最低为0.0066，MAPE为0.45%）。冬季优越性的原因：这一现象突出了XLSTM模块的特定优势。标准LSTM通常难以处理尖峰，因为梯度饱和。然而，我们提出的模型中的指数门控机制专门设计为对这些大的瞬时梯度赋予更高的重要性（即“尖峰”）。因此，模型比春季观察到的“中等但随机”的波动更精确地捕捉到了冬季的规律性加热周期。总体稳定性：比较确认，所提出的方法不仅在稳定条件下（春季）准确，而且在处理复杂的高负荷场景（夏季和冬季）时也变得越来越有效，显示出对负荷变化的强大鲁棒性。5. 讨论 5.1 模型优越性的机制分析第3节中的实验结果表明，所提出的XLSTM-Informer模型在各种指标上始终优于传统的深度学习方法。这种优越性可以归因于其两个核心组件的互补性：解决长期依赖性问题：在“夏季”场景（图5）中，由于空调的使用，负荷持续处于高水平。传统的基于RNN的模型（如LSTM）在这种长序列中容易发生记忆遗忘，经常无法保持高负荷趋势的预测。Informer模块通过其ProbSparse自注意力机制有效地捕捉了这些全局依赖性，确保预测曲线随时间不会偏离。克服“平滑效应”：标准变压器模型的一个常见缺点是它们倾向于产生平滑的输出，就像一个低通滤波器，忽略了高频突变。这对于故障预测是致命的。在“冬季”场景中，由于电加热导致负荷突然增加，XLSTM模块发挥了关键作用。其指数门控机制作为一个高灵敏度触发器，使模型能够立即响应这些突然的变化，从而捕捉到其他模型可能错过的潜在故障症状。5.2 对农村电网主动预警的实际价值该研究使用了来自农村配电网络的数据，与城市电网相比，农村电网面临独特的挑战，例如基础设施较弱以及由于“煤改电”政策导致的负荷波动性更高。跨季节的鲁棒性：如表3所示，模型在负荷高的夏季和波动性高的冬季都保持了高精度（MAPE < 3%）。这表明该模型足够鲁棒，可以在具有变化季节模式的真实世界环境中部署，而无需频繁重新训练。从被动维护到主动运营：传统上，配电网络维护依赖于故障后的修复。所提出的模型提供了准确的多步趋势预测（覆盖接下来的几个小时）。这种能力使电网运营商能够在潜在过载或电压违规发生之前识别出来，从而采取主动措施，如减载或电压调节。这将运营范式从“被动防御”转变为“主动预警”。5.3 局限性和未来工作尽管在故障症状趋势预测方面取得了有希望的结果，但这项研究仍有一些局限性，指出了未来的研究方向。首先，当前模型专注于电学量（电压、电流）的时间序列预测。虽然它可以成功预测未来趋势并基于预测误差识别潜在偏差（早期预警），但它还无法自主诊断具体的故障类型（例如单相接地、相间短路或高阻抗故障）。在实际工程中，在触发早期预警后，运营商不仅需要知道“出了问题”，还需要知道“到底出了什么问题”以便采取有针对性的措施。因此，未来的工作将集中在基于预测趋势的快速准确故障分类上。具体来说，我们提出了一个“两阶段预测和诊断”框架，其详细设计如下：连接方案（串行融合策略）：我们计划构建一个串行管道，其中所提出的XLSTM-Informer作为上游的“症状预测器”。至关重要的是，我们将采用特征级融合策略，而不仅仅是简单的数据传输。输入接口：模型生成的高精度波形序列将作为主要输入。潜在特征共享：为了提高信息密度，XLSTM编码器提取的高维隐藏状态向量（其中包含丰富的历史波动模式）将与预测序列连接起来，然后输入到下游分类器中。

分类网络架构：我们计划设计一个具有注意力机制的多尺度时间卷积网络（TCN），而不是使用通用的分类器。

结构：该网络将利用不同核大小的膨胀因果卷积来从不同时间尺度的预测轨迹中提取特征。

机制：将集成一个注意力层，自动为关键时间步骤（例如电压骤降的确切时刻）分配权重，使系统能够区分细微的故障特征。

快速故障预诊断：通过利用当前模型的多步预测能力，这个级联系统可以分析预测的未来数据，而无需等待故障完全发展。这旨在实现“故障预诊断”，使系统能够在保护继电器动作之前更快、更准确地识别故障类型并隔离故障部分。

6. 结论

本文提出了一种新颖的XLSTM-Informer融合框架，旨在提高配电网络中故障症状的预测能力。通过将XLSTM的矩阵记忆机制与Informer的概率稀疏注意力相结合，所提出的模型有效缓解了捕捉局部瞬态变化与建模全局长期依赖性之间的固有权衡。本研究的主要发现和贡献总结如下：

卓越的预测准确性：在真实世界数据集上的全面实验表明，所提出的模型显著优于主流基线（包括CNN、LSTM）和最先进的Transformer变体（Autoformer、FEDformer）。具体来说，与标准Informer相比，所提出的方法将均方误差（MSE）降低了30.1%，平均绝对百分比误差（MAPE）降低了10.6%。这证实了串行融合架构有效缓解了频域模型中常见的“平滑效应”，确保了关键高频故障特征的保留。

在复杂负载下的鲁棒性：该模型对不同的负载特性表现出出色的适应性。季节性分析表明，该模型在冬季（以急剧的非线性加热峰值为特征）的错误率最低（MAPE为0.45%）。这表明XLSTM的指数门控机制在捕捉瞬时波动方面非常有效，使得该模型能够可靠地监测极端运行条件。

未来路线图：虽然当前的工作主要集中在趋势预测上，但我们已经为构建一个完整的“预测与诊断”系统制定了明确的路径。未来的工作将实现一个级联系统，其中预测的波形被输入到具有注意力机制的多尺度TCN中，以实现特定故障类型的分类。这一演变旨在将当前的“早期预警”能力转变为智能电网的全面“故障预诊断”解决方案。