《Applied Sciences》:Receptive-Field-Aware Adaptive Fusion for Multiscale Insulator Defect Detection in Transmission-Line Images
编辑推荐:
输电线路巡检要求单一检测器同时定位完整的绝缘子串以及尺度小得多的破损瓷件和闪络损伤区域。这些目标在空间范围及对局部细节和周围上下文的依赖程度上存在差异,这在进行精确边界框定位时使跨尺度特征融合变得复杂。本研究开发了感受野感知路径聚合(receptive-fie
输电线路巡检要求单一检测器同时定位完整的绝缘子串以及尺度小得多的破损瓷件和闪络损伤区域。这些目标在空间范围及对局部细节和周围上下文的依赖程度上存在差异,这在进行精确边界框定位时使跨尺度特征融合变得复杂。本研究开发了感受野感知路径聚合(receptive-field-aware path aggregation, PRA)和双向感受野感知聚合(bidirectional receptive-field-aware aggregation, BRA),将路径聚合与感受野扩展及自适应尺度加权相结合。与路径聚合网络(path aggregation network, PANet)相比,PRA在交并比(intersection-over-union, IoU)阈值为0.5时的平均精度均值(mean average precision, mAP@0.5)上提高了2.2个百分点,在IoU阈值从0.5至0.95范围内平均的mAP(mAP@0.5:0.95)上提高了4.6个百分点;BRA分别带来了1.5和4.0个百分点的提升。Swin-T-PRA + Alpha-CIoU与Swin-T-BRA + Alpha-CIoU联合取得了最高的mAP@0.5:0.95(91.3%),相应的mAP@0.5分别为98.6%和98.5%,在RTX 3080 Ti上仅模型推理速度分别为48.5和48.3帧每秒(FPS)。在更严格的IoU阈值下更大的提升表明,当采用更严格的框重叠准则时,PRA/BRA可带来更大的收益,尽管本评估并未独立分离边界框回归机制。
输电线路巡检图像的自动筛查要求可靠地检测完整绝缘子串及局部缺陷。绝缘子提供电气绝缘和机械支撑,其表面几何结构增大爬电距离并降低不同电位导体间放电风险。长期服役过程中,表面污秽和潮气可形成导电膜,降低闪络电压并促进局部放电或闪络损伤。输电线路巡检图像中也可能出现断裂、裂纹及其他可目视识别的破损缺陷,需要精确定位。由此产生的巡检任务包含三类视觉上截然不同的目标:绝缘子串、破损瓷件和闪络损伤瓷件。完整绝缘子串呈细长形态并占据相对较大的图像区域,而两类缺陷更为局部化且更依赖细观外观线索。因此,检测器必须在保留局部细节与精确框定位的同时兼顾广泛的上下文表征。
绝缘子状态可通过基于图像的巡检和无人机辅助视觉分析,结合面向内部缺陷的超声检测进行评估。然而对于大规模输电网络,人工巡检劳动强度大、依赖操作人员经验,且在危险或难以到达的位置难以一致执行。装备成像传感器的无人机被广泛用于采集输电线路图像,这些巡检可生成大量图像集合,人工检查成本高昂,尤其当缺陷仅占较小图像区域或视觉对比度较弱时。早期基于视觉的方法通常依赖手工设计的图像特征和基于规则的分割流程,其对人工指定视觉线索的依赖性限制了适应输电线路图像中目标尺度、视角、光照及背景变化的能力。
基于卷积神经网络(CNN)的检测器显著推进了航拍巡检图像中绝缘子及相关缺陷的自动定位与识别。近期研究继续探索改进的检测架构、特征表示和优化策略。例如,Ling等人将Faster区域卷积神经网络(Faster R-CNN)与U-Net结合以定位低信噪比航拍图像中的自爆玻璃绝缘子;Zhao等人将特征金字塔引入Faster R-CNN以应对复杂背景下的绝缘子识别。替代性目标表示也得到探索,如将绝缘子串表示为关键点链,或使用并行分支定位故障区域并估计绝缘子端点。Souza等人将YOLO检测器与ResNet-18分类器相结合用于图像输电线路巡检,而Wei等人则研究了轻量级边缘检测与云端识别模型的结合。更近的工作将该研究方向扩展至现代YOLO和实时Transformer架构,如MAP-YOLOv8集成面向输电线路绝缘子缺陷检测的针对性架构修改,改进的RT-DETR方法则结合注意力增强、小目标检测层和精炼的边界感知特征聚合。相关研究还考察了边缘辅助识别、云边协同巡检、远程无人机组件检测和轻量级电力线缺陷检测流程,尽管其系统级目标不同于本文所关注的图像级检测问题。
尽管已有进展,航拍图像中的绝缘子检测仍对异构背景、视角和光照变化、目标重叠及缺陷像素覆盖有限敏感。有限标注数据进一步约束数据驱动检测器,而小缺陷区域在特征下采样过程中易丢失判别性细节。室外采集还可能引入噪声、模糊、雾状退化、光照变化和对比度变化。近期无人机研究表明,沙尘条件可引入显著色彩偏移和能见度退化,使上下文特征提取和小缺陷定位更加困难。现有工作也多考虑单一缺陷类型,而对完整绝缘子串、破损瓷件和闪络损伤瓷件的联合检测要求单一模型表征空间范围和视觉线索差异显著的目标。相关研究采用了多尺度金字塔、感受野模块、注意力机制和轻量级检测器,但比较往往强调IoU阈值为0.5时的检测性能,该指标无法反映预测框在更严格IoU阈值下的准确性,且骨干表示、跨尺度融合和框回归损失的联合作用也未被持续从该角度考察。
本研究通过感受野感知路径聚合(PRA)和双向感受野感知聚合(BRA)解决上述问题,这是面向单阶段绝缘子检测设计的两种融合颈部结构。两种结构协调多路径特征传播、多分支感受野扩展和自适应尺度加权,从而在保留局部缺陷线索的同时,为完整绝缘子串融入更广泛的上下文。卷积和视觉Transformer骨干提供替代性特征表示,IoU类损失作为框回归的互补选择被考察。CycleGAN衍生和合成雾化图像扩展了训练期间的表观范围,但不作为单独的鲁棒性实验。主要贡献在于针对目标类别空间尺度差异显著的检测问题设计和评估PRA与BRA。两种颈部将已有路径聚合、感受野和自适应融合操作集成为面向任务的结构,并利用IoU阈值为0.5和0.5:0.95的mAP评估其效果。相对于对应路径聚合参考,更严格指标下更大的改进表明PRA和BRA在采用更严格框重叠准则时提供更大收益。这些结果表征高IoU检测性能而非独立隔离边界框回归机制。在不同骨干和定位损失下评估颈部进一步厘清了在同一实验框架内特征表示、跨尺度交互和边界回归的贡献。
数据集构建采用公开绝缘子图像共2536张源图像,在源图像层面划分为1775张训练图像、507张验证图像和254张测试图像。外观变换仅在划分后应用,每张训练图像生成一张CycleGAN衍生图像和一张合成雾化图像,最终训练集包含5325张图像,比例为1:1:1。验证集和测试集保持不变,防止训练图像衍生变体进入评估子集。
YOLO V5作为参考检测器,CSPDarknet53骨干提取层次化特征,路径聚合网络(PANet)通过自顶向下和自底向上路径组合特征,P3(80×80)、P4(40×40)和P5(20×20)预测头估计类别概率、边界框坐标和目标置信度。所有后续比较均保留此检测框架,同时变换颈部、骨干或定位损失。训练目标包含分类、边界框和置信度项,分类损失使用二值交叉熵比较预测类别概率与真实标签,边界框项使用IoU损失度量检测框与真实框之间的差异,置信度项比较目标存在预测概率与对应真实值,三个预测尺度上的损失加权聚合并形成总目标。
训练图像表观多样化采用CycleGAN和合成雾化流程。合成雾化基于暗通道先验,对无雾图像计算局部块上的暗通道,从最高暗通道强度像素估计大气光A,应用白色掩模增加三个颜色通道最小值以产生雾状外观。CycleGAN用于无配对季节表观迁移,将夏季绝缘子图像转换为带积雪的冬季场景,并降低图像分辨率。模型学习两个图像域之间的映射,通过两个生成器和判别器强制循环一致性。
PRA和BRA是主要架构贡献。PANet提供参考融合拓扑,结合自顶向下和自底向上路径,自顶向下路径上采样低分辨率、语义丰富的P5特征并与高分辨率特征融合,自底向上路径向低分辨率层级传播空间细节。自适应空间特征融合(ASFF)在每个金字塔层级为对齐的特征图分配尺度相关权重,学习权重确定融合中各调整尺寸特征图的贡献。双向特征金字塔网络(BiFPN)结合自顶向下和自底向上传播以及同尺度连接和归一化可学习权重。感受野块(RFB)通过不同卷积和膨胀设置的并行分支扩展上下文覆盖,输出与输入特征图合并。将RFB添加至PANet和BiFPN产生PANet-RFB和BiFPN-RFB,随后在外融合阶段应用ASFF加权对齐特征图,最终形成PRA和BRA。
骨干比较评估了Swin Transformer-Tiny(Swin-T)、Next-ViT、EfficientViT以及ConvNeXt V1和ConvNeXt V2,使用预训练权重初始化特征提取器后在绝缘子数据集上微调。定位损失比较涵盖GIoU、DIoU、CIoU、EIoU、WIoU及Alpha-IoU变体。控制比较每次仅变化一个组件:固定骨干和颈部比较定位损失,固定骨干和定位损失比较颈部架构,固定颈部和定位损失比较骨干。后续骨干-颈部-损失组合被单独评估以考察组件兼容性。
在CSPDarknet53-PANet固定配置下,训练图像表观多样化将mAP@0.5从95.6%提高至95.8%,mAP@0.5:0.95从79.7%提高至82.2%。定位损失比较中,Alpha-CIoU在固定分割上达到数值最高的83.1% mAP@0.5:0.95,相对于CIoU其mAP@0.5从95.8%变为95.9%(+0.1个百分点),mAP@0.5:0.95从82.2%变为83.1%(+0.9个百分点)。这些结果来自单一训练-验证-测试划分,未经重复运行方差估计或统计显著性检验,因此应作描述性解释而非统计显著性能差异。颈部比较中,在相同外观多样化训练集、CSPDarknet53和CIoU固定条件下,PRA相对于PANet将mAP@0.5提高2.2个百分点,mAP@0.5:0.95提高4.6个百分点,BRA分别产生1.5和4.0个百分点的增益。Tri-BiFPN和ASFF未能匹配PRA或BRA,表明仅增加融合路径无法产生相同模式。在骨干-颈部-损失组合中,Swin-T-PRA + Alpha-CIoU与Swin-T-BRA + Alpha-CIoU联合取得最高mAP@0.5:0.95(91.3%),对应mAP@0.5分别为98.6%和98.5%。选取更强骨干并未消除与颈部和定位损失相关的性能差异。效率方面,Next-ViT在所报告模型中GFLOPs最高而FPS最低,EfficientViT-PRA和EfficientViT-BRA虽然GFLOPs低于Swin-T-BRA,但实测FPS更低,表明更少操作数并未在所报告硬件上转化为更高吞吐量。
讨论部分指出,绝对性能反映训练图像外观多样化与模型组件设计的联合效应,而报告中的PRA/BRA增益量化了相对于在相同外观多样化训练集上训练的PANet的增量架构改进。破损瓷件缺陷仍然比完整绝缘子串和闪络损伤瓷件更困难,这一持续差距与数据不平衡和目标尺度差异相关。破损瓷件实例频率低于其他两类,损伤区域通常占据较小图像区域并强烈依赖视角和局部几何,使判别线索更易在特征提取和跨尺度融合中衰减。PRA和BRA改善了破损瓷件相对PANet基线的召回率和AP@0.5:0.95,但类别间差距仍然存在。
最终模型选择方面,尽管Swin-T-PRA + Alpha-CIoU和Swin-T-BRA + Alpha-CIoU取得最高mAP@0.5:0.95(91.3%),但召回率在输电线路缺陷检测中是关键考量,因为漏检可能使缺陷在巡检过程中未被识别。Swin-T-BRA + CIoU提供了更合适的性能平衡,达到98.9% mAP@0.5和90.9% mAP@0.5:0.95,破损瓷件召回率为96.5%,闪络损伤召回率为100%,并在所评估Swin-T配置中获得最高总体F1分数0.983,同时保持48.3 FPS推理速度。因此,综合考虑减少漏检的重要性以及整体检测精度、F1性能和推理效率,该研究选择Swin-T-BRA + CIoU作为最终模型配置。
结论部分,控制比较表明所提出颈部在更严格定位准则下比IoU=0.5时提供更大增益。相对于PANet,PRA将mAP@0.5和mAP@0.5:0.95分别提高2.2和4.6个百分点,BRA分别产生1.5和4.0个百分点的提升。进一步的骨干-颈部-损失比较显示这些增益依赖于特征表示、跨尺度聚合和边界回归之间的交互。结果表明感受野感知自适应跨尺度融合对于异构尺度绝缘子目标在更严格IoU检测准则下尤为有效。当前结论仍限于所评估数据集和协议,未来工作将考察重复运行变异性和统计显著性、类别均衡与小缺陷导向训练策略、跨数据集和跨线路泛化、恶劣天气条件以及资源受限巡检平台上的端到端部署。