基于多尺度卷积与隐潜在Transformer(MS-LaT)的输电线路绝缘子缺陷检测方法

《Electronics》：Data-Efficient Insulator Defect Detection in Power Transmission Systems via Multi-Granularity Feature Learning and Latent Context-Aware Fusion Xingxing Fan, Manxiang Gao, Yong Wang, Haining Tang, Fengyong Sun and Changpo Song

　　

摘要：研究人员提出一种融合多尺度卷积与隐潜在Transformer(Multi-scale Convolutional and Latent Transformer, MS-LaT)的骨干网络，用于复杂背景下输电线路绝缘子缺陷检测。针对传统循环神经网络(RNN)无法并行计算及长距离依赖建模不足、标准多头注意力(Multi-Head Attention, MHA)键值(KV)缓存内存消耗大、卷积神经网络(CNN)难以捕获全局特征等问题，该方法在输入与输出通道引入残差倒置多尺度深度可分离卷积(Multi-scale Inverted Depth-Separation Convolution, MDSC)模块及自适应TeLU(Activation Function, AdaptTeLU)，中间通道采用基于多头隐潜在注意力(Multi-Head Latent Attention, MLA)的编码器以增强全局特征提取，并集成自适应批归一化(Adaptive Batch Normalization, AdaBN)缓解域偏移。在小样本及类别不平衡条件下，MS-LaT在mAP(mean Average Precision)、参数量(Params)与浮点运算量(FLOPs, Floating Point Operations Per Second)间取得更优平衡，验证了其有效性。

论文解读：基于多尺度卷积与隐潜在Transformer(MS-LaT)的输电线路绝缘子缺陷检测

研究背景与意义

传统用于序列建模的循环神经网络(RNN, Recurrent Neural Network)如LSTM因时序依赖难以并行化，长序列训练时计算吞吐量显著下降；卷积神经网络(CNN, Convolutional Neural Network)仅能捕获局部特征，难以建模任意位置间的全局依赖。虽然Transformer凭借自注意力(Self-Attention)机制可有效建模长距离依赖并支持并行计算，但标准多头注意力(MHA, Multi-Head Attention)在推理时需维护键值(KV, Key-Value)缓存，缓存大小随序列长度线性增长，造成内存瓶颈，限制了在视觉长序列场景中的应用。在电力巡检领域，无人机(UAV, Unmanned Aerial Vehicle)采集的绝缘子图像常存在复杂背景、小目标缺陷及样本不平衡问题，现有YOLO系列及单纯Vision Transformer方案在精度与效率间难以兼顾。为此，研究人员开展将多尺度深度可分离卷积与多头隐潜在注意力(Multi-Head Latent Attention, MLA, 源自DeepSeek AI的Multi-Layer Latent Attention)相结合构建新型骨干网络的研究，旨在提升绝缘子自爆(self-explosion)、破损(damaged)及污闪(flashover)等缺陷的检测精度与计算效率，相关成果发表于《Electronics》。

主要关键技术方法

研究人员构建MS-LaT(Multi-scale Convolutional and Latent Transformer)骨干网络并与YOLOv8解耦检测头(Decoupled Detection Head)结合。数据集为国家电网合作企业提供、经清洗标注的2000张绝缘子UAV图像(Pascal VOC格式)，含完好/自爆/破损/污闪四类，按6:2:2划分为训练/验证/测试集，小样本实验设每类100、200、500共三种规模。骨干网络输入与输出通道堆叠三次残差倒置多尺度深度可分离卷积(MDSC, Multi-scale Inverted Depth-Separation Convolution)模块，激活函数采用带可训练参数α(初始1.0)的自适应TeLU——AdaptTeLU：AdaptTeLU(x)=αx·tanh(e^αx)；中间通道插入Latent Transformer(La-Transformer)，其核心为MLA机制——将K(Key)与V(Value)压缩至低维潜空间(latent space)再解压参与注意力计算以降低KV缓存——多头注意力公式为MultiHead(Q,K,V)=Concat(head₁,…,head_h)W^O，head_i=Attention(QW_i^Q, KW_i^K, VW_i^V)，Attention(Q,K,V)=Softmax(QK^T/√d_k)V。为缓解源域与目标域分布差异引入自适应批量归一化(AdaBN, Adaptive Batch Normalization)，仅用目标域无标签数据更新BN层统计量。训练基于PyTorch 1.10.1框架，初始学习率0.01指数衰减，Batch Size=64，Epoch=100，选用CIoU+DFL(Distribution Focal Loss)回归损失与BCE(Binary Cross Entropy)分类损失，评估指标含Precision、Recall、Params、FLOPs、AP(IoU=0.5)及mAP。

研究结果

3.1. Latent Transformer Module for Capturing Enhanced Global Features

研究人员将La-Transformer嵌入骨干网络中段，通过MLA压缩KV缓存降低内存占用，在只有数百标注样本及复杂航拍背景下仍能稳定训练并增强全局特征捕捉能力，优于需大规模标注或跨域对齐的现有Transformer方案。

3.2. Adaptive Activation Function: Adaptive TeLU (AdaptTeLU)

标准TeLU定义为TeLU(x)=x·tanh(e^x)，具全阶可导性与正区间近似恒等映射特性。研究人员引入可训练缩放参数α得AdaptTeLU(x)=αx·tanh(e^αx)，使网络自适应调节激活曲线斜率以抑制梯度突变；对比实验显示AdaptTeLU较ReLU、SiLU、GELU及TeLU获最高mAP(95.84%)，故选入MDSC模块。

3.3. Residual Inverted MDSC Module for Capturing Better Irregular Features

设计倒置瓶颈多尺度深度可分离卷积(MDSC)：先降维再通过三组不同尺寸二维卷积核并行提取多尺度局部特征，融合通道池化结果。引入跨层残差连接构建Residual Inverted MDSC以缓解深层梯度消失，强化对绝缘子不规则局部缺陷的特征表征。

3.4. MS-LaT Model Incorporating AdaBN

MS-LaT由输入通道(Residual MDSC+AdaptTeLU)、中间通道(La-Transformer with MLA)、输出通道(Residual MDSC+AdaptTeLU)顺序组成，辅以AdaBN在目标域无标注时仅更新BN参数实现域适应，减小源–目标特征分布差异。

3.5. Prediction Head

统一采用YOLOv8解耦检测头：分类分支用BCE损失，回归分支用CIoU+DFL损失，确保与主流YOLO系列公平对比。

4.1. Model Comparison and Evaluation Metrics

定义TP(True Positive)、FP(False Positive)、FN(False Negative)、TN(True Negative)；Precision=TP/(TP+FP)，Recall=TP/(TP+FN)；AP为P-R曲线下面积(IoU阈值0.5)，mAP为各类别AP均值；FLOPs按标准卷积公式计算。

4.2. Training Results

总样本400组时初始训练损失170.26，第100轮降至9.28，约第40轮趋稳；验证损失同步降至9.13且两曲线趋势一致，表明模型收敛稳定、无明显过拟合。

4.3. Model Comparison Experiment

与DEIM-N、RT-DETR、YOLOv13、YOLOv12、SwinTransformer、MobileViTv3及EfficientViT-M0对比，MS-LaT mAP较SwinTransformer提升6.2%、较DEIM-N提升2.2%，参数量仅微增于DEIM-N且FLOPs可控；混淆矩阵显示误检集中于完好绝缘子与污闪类（外观相似、表面覆膜难分）。可视化检测结果显示MS-LaT可有效识别清晰与模糊的小目标及多类别缺陷。

4.4. Comparison of Activation Functions

固定骨干仅替换激活函数，MS-LaT-AdaptTeLU mAP达95.84%，较次优ReLU(95.59%)提升0.25%，确认AdaptTeLU优势。

4.5. Ablation Experiment

设四组对照：仅DS-Transformer(DST)、加La-Transformer、加MDSC模块、加AdaptTeLU。逐步叠加各模块均带来mAP增益，完整MS-LaT(含AdaptTeLU+Residual MDSC+MLA)取得最高精度，验证了各改进模块的贡献。

讨论与结论

研究人员得出结论：所提出的MS-LaT网络通过在输入/输出通道引入残差倒置多尺度深度可分离卷积(MDSC)与自适应激活函数AdaptTeLU以捕获不规则局部缺陷特征，在中间通道采用基于多头隐潜在注意力(Multi-Head Latent Attention, MLA)的Latent Transformer编码器增强全局特征建模并压缩KV缓存内存开销，辅以自适应批归一化(AdaBN)缓解域偏移，在输电线路绝缘子缺陷检测任务中实现了精度(mAP 95.84%)与计算效率(FLOPs、Params)的良好平衡，尤其适用于小样本及类别不平衡条件下的复杂航拍场景。未来研究拟将该框架扩展至其他电力设备缺陷检测，并向多模态与多维传感器数据融合方向推进。