《International Transactions on Electrical Energy Systems》：Leveraging Multihead Self-Attention Mechanism in Convolutional Neural Networks for Enhanced Vibration-Based Prediction of Transformer Fault
编辑推荐：
变压器故障可导致停电、设备损坏和高昂的维修成本，因此早期检测至关重要。传统的诊断方法如溶解气体分析（DGA）和频率响应分析（FRA）虽然有用，但常受噪声、重叠信号和变化运行条件的影响。振动分析提供了一种非侵入性、实时的替代方案来监测变压器健康状态，但由于外部噪
变压器故障可导致停电、设备损坏和高昂的维修成本，因此早期检测至关重要。传统的诊断方法如溶解气体分析（DGA）和频率响应分析（FRA）虽然有用，但常受噪声、重叠信号和变化运行条件的影响。振动分析提供了一种非侵入性、实时的替代方案来监测变压器健康状态，但由于外部噪声和复杂故障模式，分析这些信号存在困难。本研究探索使用深度学习模型从振动时间序列数据预测故障，重点关注一种混合架构，该架构结合了卷积神经网络（CNN）和多头自注意力（MHSA）。CNN有效提取局部信号特征，而MHSA捕捉长距离依赖关系和全局模式。这种组合使模型能够关注信号中最相关的部分并抑制噪声。有趣的是，研究人员的结果还揭示，当CNN用作特征提取器时，添加Transformer Encoder的前馈网络（FFN）不会提升性能，甚至可能轻微降低性能。总体而言，研究人员的实验表明，CNN–MHSA模型始终优于其他架构，包括独立CNN、MHSA、Transformer Encoder以及CNN–Transformer Encoder混合模型。在相对绝对误差（RAE）方面，CNN–MHSA模型相对于基线模型取得了持续改进。特别地，所提出的模型在考虑的超参数空间内，在所有评估的CNN配置中实现了RAE的平均降低，对于励磁电压预测降低范围为0.5%到1.3%，对于负载电流预测降低高达3.7%——这些改进具有统计显著性（p < 0.05），如通过单侧配对t检验所确定。除模型开发外，本研究在一致实验设置下对多种架构（包括独立CNN、MHSA、Transformer Encoder和混合模型）进行了系统而全面的比较评估。总体而言，研究人员的发现表明，将CNN与注意力机制相结合为准确可靠的变压器故障预测提供了强有力的方法。
**论文解读：基于CNN–MHSA混合架构的变压器振动故障预测研究**
**研究背景与问题**
变压器是电力传输和分配网络的核心设备，其故障可能导致停电、设备损坏和高昂维修成本。传统诊断方法如溶解气体分析（DGA）和频率响应分析（FRA）在噪声干扰和运行条件变化下表现有限。振动分析作为一种非侵入性、可实时监测的手段，能捕捉机械和电气故障引起的振动模式变化，但外部噪声和复杂故障模式使得信号解析困难。现有研究虽采用深度学习模型（如卷积神经网络，CNN）进行特征提取，但CNN受限于局部感受野，难以建模长距离依赖；而Transformer中的多头自注意力机制（MHSA）擅长全局依赖建模，但单独使用时对噪声敏感。目前缺乏在统一实验条件下对不同架构（CNN、MHSA、Transformer Encoder及其混合体）的系统比较，也未能清晰解释这些模型如何捕捉振动数据中的局部与全局依赖。因此，本研究旨在系统评估并提出一种结合CNN局部特征提取与MHSA全局依赖建模的混合架构，用于基于振动时间序列的变压器故障预测。该论文发表在《International Transactions on Electrical Energy Systems》。
**主要关键技术方法**
研究人员采用一台三相0.4/0.4 kV、15 kVA的浇注树脂干式配电变压器，在实验室条件下模拟欠励磁（80%–110%额定电压）和过励磁场景，通过振动传感器采集数据。关键方法包括：①数据预处理：将振动信号分割为0.02秒片段（每段60个采样点），共1430–2405个观测样本；②模型架构设计：构建五种独立或混合架构——独立CNN（四种配置，卷积核大小4–40，滤波器32–256）、独立MHSA、独立Transformer Encoder、CNN–Transformer Encoder混合及CNN–MHSA混合；③超参数调优：搜索注意力头数（4/8）、嵌入维度（32/64/128/256）、前馈网络维度（512/2048），固定批次大小250、学习率0.0001、Adam优化器、MSE损失函数，训练150轮；④评估指标：相对绝对误差（RAE）和根相对平方误差（RRSE），并用单侧配对t检验验证统计显著性。
**研究结果**
**模型性能对比**：研究人员在励磁电压和负载电流两个预测任务上，比较了所有模型在16种超参数配置下的RAE。结果显示，CNN–MHSA混合模型在所有CNN配置（CNN1至CNN4）下均表现最优，RAE低于独立CNN、MHSA、Transformer Encoder及CNN–Transformer Encoder。
**CNN–MHSA的优越性**：通过RAE的定量比较，CNN–MHSA在励磁电压预测中平均降低RAE 0.5%–1.3%，在负载电流预测中降低高达3.7%。研究人员认为，这是由于CNN提取局部稳定特征，MHSA则捕捉全局长距离依赖，二者互补。
**FFN的冗余性**：研究人员发现，在CNN–MHSA基础上添加Transformer Encoder的前馈网络（FFN）构成CNN–Transformer Encoder后，性能并未提升，甚至在某些配置下轻微下降。分析表明，CNN已提供丰富的非线性映射，额外FFN增加参数（例如CNN1–MHSA约1980万参数，CNN1–Transformer约2007万参数）在小样本下易导致过拟合，符合“剪刀效应”理论。
**统计显著性验证**：单侧配对t检验显示，CNN–MHSA与各基线模型比较的p值大多<0.05甚至<0.001，且平均RAE差值（Δ?）均为负值，表明改进具有统计显著性。
**讨论与结论**
讨论部分指出，CNN–MHSA的成功源于局部与全局特征的互补：CNN通过共享权重和有限感受野提取抗噪的局部模式，MHSA则使所有时间步直接交互，捕捉远距离依赖。超参数实验表明，卷积核大小需平衡对高频暂态和低频热故障的敏感性，注意力头数超过8个后性能趋于饱和。FFN在中小规模振动数据集中冗余，简化架构（不含FFN）更利于泛化。研究还将该发现与脑电图（EEG）信号处理、旋转机械故障诊断等领域的类似研究对比，支持了CNN–MHSA的通用性。
研究结论部分翻译如下：本研究探讨了基于振动时间序列数据预测变压器故障的多种深度学习架构的有效性，重点强调了结合CNN和MHSA的混合框架。结果一致表明，CNN–MHSA混合模型优于所有其他评估模型，包括独立CNN、Transformer Encoder、MHSA及混合CNN–Transformer Encoder。CNN–MHSA框架的有效性源于其能同时学习数据中的局部模式和长距离依赖：CNN擅长提取局部特征，MHSA通过建模全局时间关系进行补充，使混合架构实现更准确的预测。一个显著发现是，当CNN作为初始特征提取器时，加入Transformer Encoder的FFN并未提升性能，甚至因过拟合而降低精度。这凸显了对于中等规模振动数据集，不含FFN的简化CNN–MHSA设计更为高效且有效。定量上，所提模型在所有CNN配置中实现RAE的持续降低，励磁电压预测降幅约0.5%–1.3%，负载电流预测降幅达3.7%。这些改进在不同架构设置下一致，突显了方法的鲁棒性。单侧配对t检验确认了改进的统计显著性。总体而言，研究结果表明，将注意力机制与CNN结合是利用振动信号预测变压器故障的有前景解决方案。本研究还在统一实验条件下对多种深度学习架构进行了系统、一致的比较评估，证实了CNN–MHSA的优势并非特定于某一设置，而是跨不同模型变体和预测任务一致出现，为变压器故障预测提供了可靠且可泛化的解决方案。本研究在受控条件下提供了所提CNN–MHSA模型的概念验证，未来需在多种容量变压器和真实运行环境中进一步验证。
