一种基于迁移学习的多尺度自适应方法,用于输电线路缺陷检测
《Engineering Applications of Artificial Intelligence》:A multi-scale adaptive method based on transfer learning for transmission line fitting defect detection
【字体:
大
中
小
】
时间:2026年05月05日
来源:Engineering Applications of Artificial Intelligence 8
编辑推荐:
志远浩 | 春毅东 | 睦仓马 | 姚雪 | 小燕陈 | 如风蒙 | 顺恒王 | 大凯王
内蒙古工业大学电力学院,呼和浩特,内蒙古,010080,中国
**摘要**
对输电线路配件的可靠状态监测对于提高电网安全性和降低维护成本至关重要。然而,在无人机(UAV)检测图
志远浩 | 春毅东 | 睦仓马 | 姚雪 | 小燕陈 | 如风蒙 | 顺恒王 | 大凯王
内蒙古工业大学电力学院,呼和浩特,内蒙古,010080,中国
**摘要**
对输电线路配件的可靠状态监测对于提高电网安全性和降低维护成本至关重要。然而,在无人机(UAV)检测图像中检测缺陷具有挑战性,原因是存在极端的角度变化、微小的目标(如螺栓和销钉)容易导致误检和漏检、背景杂乱,以及难处理的样本(如散布在常规大小物体中的小物体)会减缓收敛速度。为了解决这些问题,本研究提出了一种基于人工智能的缺陷检测方法,该方法结合了两阶段迁移学习策略和图像背景去噪技术,使检测器能够逐步学习输电线路配件的区分性特征。在此基础上,对You Only Look Once版本11(YOLOv11)检测器进行了改进,以增强多尺度特征提取能力、提高对小目标的适应性和减轻训练过程中难处理样本的影响。实验结果表明,所提出的方法在 Intersection over Union 阈值为0.5时的精确度为88.4%,平均精度为81.3%(mAP@0.5),在0.5到0.95的阈值范围内平均精度为60.3%,且运行速度为每秒68.1帧(FPS)。与相应的基线检测器相比,该方法在这些指标上分别提高了4.7%、4.5%和4.9%,证实了其在复杂背景中对输电线路配件缺陷检测的有效性及其在近实时UAV辅助输电线路检测中的实际潜力。
**1. 引言**
配件是用于电力系统中连接、固定和保护架空输电线路及变电站设备的铁或铝制配件,统称为电力配件。它们的主要功能包括机械负载传递、稳定的电气连接以及支持导体悬挂、拼接和间距调整,这对于输电线路的安全运行至关重要(Miralles等人,2014年)。典型的配件包括张力夹具、均衡环、减振器、螺栓和销钉。分裂销钉用于固定绝缘子等组件,而减振器则用于抑制风引起的振动,防止损坏和螺栓松动。这表明销钉和减振器在维护输电线路的长期安全和稳定性方面发挥着互补作用。在UAV检测中,销钉和减振器通常会一起被观察到,如图1所示。长期暴露在恶劣环境中可能导致缺陷。例如,销钉的缺失可能会导致螺栓脱落,从而造成连接松动或导体掉落;减振器的缺陷可能会增加导体疲劳和损坏的风险。这些故障可能导致严重的安全隐患和巨大的经济损失(Siddiqui和Park,2020年),这使得这两种配件的缺陷检测尤为重要。尽管已有大量研究针对张力夹具、分级环和间隔件等配件进行了缺陷检测,但销钉和减振器受到的关注相对较少。缺失的销钉容易与完好的螺栓混淆,所占比例不到1%;这些组件体积小、难以标注且检测难度大,特别是在背光条件下。缺失销钉的像素占图像的约0.1%至0.5%,大约占减振器像素的15%,并且由于观察距离的原因,减振器在图像内部的尺度变化也较大。因此,检测销钉和减振器的缺陷需要一个具有改进的小目标适应性的多尺度框架。
**2. 相关工作**
2.1. 使用图像处理方法进行输电线路缺陷检测
海斌等人(Wu等人,2014年)通过贝叶斯盲修复提高了图像质量,以减轻无人机引起的模糊,随后通过阈值分割进行前景和背景分离。利用Hessian矩阵增强了管状结构和棱线结构,使Snake模型能够在无需手动初始化的情况下定位减振器。马等人(2021年)使用双目相机获取深度图,并通过结合颜色、纹理和深度特征来检测绝缘子。然而,这些传统方法的泛化和鲁棒性有限。因此,最近的研究越来越多地采用深度学习进行基于UAV的螺栓、销钉和减振器缺陷检测,尤其是针对小目标和复杂背景的情况。
2.2. 基于深度学习的输电线路配件缺陷检测
用于小目标检测的深度学习方法可以分为两类。第一类方法是直接估计类别概率和边界框(Tian等人,2019年;Kong等人,2020年;Lin等人,2020年),例如YOLO和SSD。第二类方法是先生成候选区域,然后再进行分类和定位(Ren等人,2017年;Cai和Vasconcelos,2018年;Qiao等人,2021年)。一般来说,单阶段方法速度更快,而双阶段方法精度更高。由于检测速度在电力检测中至关重要,通常更倾向于使用单阶段检测算法。然而,由于植被的高频干扰、光照变化和塔架结构造成的背景复杂性、多尺度几何特征提取不足、上采样过程中的细节损失以及阻碍损失收敛的难处理样本,输电线路配件缺陷检测仍然具有挑战性。本文提出了一种基于迁移学习的MSA-YOLO方法,用于多尺度销钉和减振器缺陷检测。该方法基于改进的YOLOv11(Ultralytics,2024年),在多尺度特征提取、特征重建和 Loss 优化方面进行了针对性的改进,并应用于UAV检测图像中的输电线路配件缺陷检测,尤其是针对具有小目标、大尺度变化和复杂背景的销钉和减振器缺陷检测,同时在检测精度和效率之间取得平衡,以支持更高效和可靠的电力检测。
**3. 方法**
由于在检测输电线路配件缺陷时面临诸多挑战,如缺陷样本有限、背景噪声复杂、提取目标的多尺度信息困难、上采样后细节特征丢失以及少数难处理样本对整体损失收敛的影响,本文提出了一种基于MSA-YOLO的迁移学习方法。该方法采用两阶段迁移学习策略和背景去噪作为整体训练框架,使检测器能够从浅层几何特征逐渐学习到更深层次的语义信息。同时,将多尺度膨胀卷积和多尺度膨胀注意力整合到主干网络中,以增强多尺度特征提取、局部细节建模和长距离依赖性学习,并减少冗余。通过引入可学习的特征偏移量改进了颈部采样模块,从而在上采样过程中减轻细节模糊和边缘混叠,提高了小目标特征的表现。引入WeiIoU(WoISubtraction)来改善难处理样本下的梯度分配,从而提高训练稳定性和定位性能。
本文的其余部分组织如下:第二节回顾了输电线路配件检测的相关工作;第三节介绍了针对小目标的多尺度缺陷检测方法;第四节描述了实验设置,与主流方法进行了比较,并报告了消融研究;第五节总结了本文的工作。应当注意的是,尽管这些合成样本有助于缓解数据不平衡问题,但它们仍可能相对于真实的检查图像引入一定程度的偏差。下载:下载高分辨率图像(795KB)下载:下载全尺寸图像图3. 使用DeepFillv2.3.2的区域擦除和样本替换策略生成了有缺陷的样本。这是一种基于选择性平滑的图像背景去噪方法。
输电线路塔通常位于山区、森林和田野中,这些地方的航空图像背景容易受到高频噪声的影响。这种噪声会模糊小物体的边界,阻碍几何细节的提取,导致漏检和误报。为了解决这个问题,本研究提出了一种选择性的色彩和频率域平滑策略,用于两阶段迁移学习,该策略在抑制背景噪声的同时保留了塔体和目标线索。然后使用学到的权重在未平滑的原始图像上进行预训练,以实现更深层次的语义特征学习。
3.2.1. 特定背景区域提取
主要背景由绿色和黄色色调主导。为了减少对光照变化的敏感性,将RGB图像转换为HSV用于颜色分割。调整后,绿色阈值从[32, 40, 40]变为[106, 255, 255],黄色阈值从[17, 50, 100]变为[35, 207, 243]。两个掩码的并集产生了颜色掩码Mcolor。为了去除噪声点和填充Mcolor中的小孔,应用了核大小为k1 = 3 × 3的形态学开运算和闭运算。
3.2.2. 关键结构边缘恢复
在获取到颜色掩码Mcolor之后,关键结构边缘恢复方法构建了一个保留结构的掩码Mstruct,以在背景平滑后保持塔体和配件的清晰度。该方法突出显示刚性金属结构的高对比度边缘,同时抑制细小的植被纹理。具体来说,将RGB图像转换为灰度图像并进行高斯平滑处理,然后应用形态学梯度算子来增强塔体、横臂和导体周围的强度过渡。接着通过自适应阈值二值化梯度,并移除小的孤立成分,以保留连贯的结构轮廓。由于塔体通常位于图像中心,将清理后的边缘图与一个中心垂直带掩码Mband相交,以抑制远处的背景边缘。剩余的边缘被 dilation 以重新连接断开的段并稍微扩大保护区域。最后,将几何边缘线索与颜色先验融合。设Medge表示清理后的二值结构边缘掩码。最终的结构掩码定义为
(1)Mstruct = dilation(Medge ∩ Mband, k2, iter = 2),其中核大小为k2 = 3 × 3,迭代次数iter设置为2,dilate(·)表示形态学膨胀。提取的关键结构边缘的可视化结果如图4所示。下载:下载高分辨率图像(2MB)下载:下载全尺寸图像图4. 关键结构边缘的可视化。
3.2.3. 选择性平滑处理
基于Mcolor和Mstruct掩码,最终平滑区域和结果按公式(2-3)计算得出。比较图如图5所示。
(2)Rsmooth = Mcolor ∧ Mstruct,
(3)Iresult = Ioriginal ° Rsmooth ⊕ (G ? Ioriginal) ? Rsmooth,
其中符号°表示逐元素乘法,符号?表示卷积操作,G是高斯平滑滤波器,Ioriginal是原始输入图像,核大小为k3 = 15 × 15,标准差为σ = 5。下载:下载高分辨率图像(2MB)下载:下载全尺寸图像图5. 平滑图像与原始图像的比较。
3.3. YOLOv11网络架构
为了平衡鲁棒性和效率,本研究使用YOLOv11作为基线模型,并引入了关键的改进来提高其多尺度适应能力。YOLOv11是一个单阶段检测器,它在一个网络中直接预测边界框偏移量和类别概率,实现了定位和分类的同时进行。原始的YOLOv11由三个部分组成:骨干网络、颈部网络和头部网络。骨干网络以C3k2为中心,它替换了YOLOv8中的C2f模块;更深层次的瓶颈层和具有不同核大小的残差连接形成了C3k模块,以实现更高效的特征提取。颈部网络使用PANet(路径聚合网络)和SPPF(空间金字塔池化快速)进行多尺度特征融合,并引入了C2PSA来结合并行多尺度卷积与空间和通道注意力,以强调目标区域。头部网络包括在多尺度特征图上的三个检测分支,并采用了YOLOv10风格的深度可分离卷积DWConv来减少参数和计算量。输出包括分类置信度和边界框回归结果。
3.4. 基于多尺度适应性的改进YOLOv11网络MSA-YOLO
在多尺度物体检测中,模型往往倾向于检测大型目标,而小目标的特征在经过多次下采样后容易被削弱或丢失。为了解决这个问题,本节引入了膨胀卷积、带有可学习特征位移的自适应上采样以及WIoU损失函数(Tong等,2023年)。膨胀卷积在有限的计算开销下扩大了感受野,避免了大核卷积带来的大量参数。Jiao等人(2023年)将这一思想引入到视觉变换器(ViTs)中,并提出了DilateFormer。Dosovitskit等人(2021年)通过将不同膨胀率的卷积输出输入到多头注意力机制中,进一步改进了信息融合。特征位移自适应上采样学习了采样位置偏移,以更好地保留不同尺度上的小目标细节和边缘。WIoU通过考虑不同难度的样本来优化了优化过程。多尺度改进的架构如图6所示。此外,多分辨率可以被视为多个尺度的离散化(Jiao等,2025年);因此,本研究使用1280 × 1280的输入图像。下载:下载高分辨率图像(514KB)下载:下载全尺寸图像图6. 多尺度适应性改进的YOLOv11网络的总体架构。
3.4.1. 多尺度膨胀C3k2模块MDC-C3k2
为了解决输电线路配件的尺寸变化以及小目标细节容易丢失的问题,本研究改进了原始的C3k2模块,并提出了一个多尺度膨胀C3k2模块,称为MDC-C3k2。这个新颖模块的主要设计思想是通过构建一个并行的多分支结构,结合多尺度上下文信息提取与目标几何结构表示(Yu和Koltun,2016年;Ma等人,2022年;Yan等人,2022年)。与使用大尺寸卷积来扩大感受野相比,膨胀卷积在有限的计算开销下扩大了感受野并增强了多尺度特征捕获能力。MDC-C3k2将原始的C3k2分支和多尺度膨胀卷积分支MDC并行放置。MDC模块的定义如下:
(4)y = conv1 × 1[Concat(FC3k2(x), FMDC(x)],
在MDC中,三个具有膨胀率1、2和4的并行膨胀卷积形成了一个金字塔结构,用于在不同感受野下模拟局部上下文。输入特征首先通过1 × 1卷积扩展通道数,然后分组生成yd1、yd2和yd3。这增加了特征组之间的多样性,并增强了模型区分配件细节的能力。应用填充操作以保持特征图的大小与C3k2分支一致。三个输出沿通道维度连接起来,然后通过1 × 1卷积进行聚合和参数简化。之后,使用组归一化(GN)和SiLU激活函数优化了特征分布,如图5所示。GN通过采用通道分组策略,在小批量场景中减少了批量统计的不稳定性,从而有效保持了多尺度特征的分布特性。结合平滑的非线性SiLU激活函数,GN增强了特征的区分能力。因此,GN为后续网络模块提供了更加完整融合、特征描述更强的多尺度特征表示。SiLU激活函数如图6所示。最后,MDC特征与C3k2特征连接起来,通道通过1 × 1卷积恢复,如图7所示。
(5)FMDC(x) = SiLU(GN(conv1 × 1(Concat(yd1, yd2, yd3}}},
(6)SiLU(x) = x1 + e^(-x),
其中GN(·)表示组归一化,x是输入特征张量,yd_i表示通过膨胀率为i的特征张量卷积得到的结果。
3.4.2. 多尺度膨胀注意力机制MSDA-α
类似于上述思想,本节旨在改进注意力机制的多尺度特征提取,而不引入额外的参数。具体来说,通过结合前面提到的DilateFormer中的多尺度膨胀注意力机制,增强了YOLOv11网络中的标准自注意力模块。本研究提出了一个可学习的温度参数α来调整k和q之间的点积,形成了MSDA-α模块,以提高模型的适应性。进一步添加了一个通道注意力块,以强调信息丰富的多尺度线索并抑制冗余。MSDA采用了滑动窗口膨胀注意力方案,如图8所示。给定一个输入特征图x ∈ RH × W × C,一个1 × 1卷积扩展通道并重塑为Q、K和V,如(7)所示。对于膨胀率r = [1, 2, 3],MSDA在以(i, j)为中心的ω × ω大小的窗口内以r的速率稀疏采样Q、K和V。对于每个r和每个头,分别并行计算注意力,然后恢复空间布局,并将不同r的输出沿通道维度连接起来以融合多尺度信息。注意力在(i, j)处的计算和连接结果分别表示为(8)和(9)。因此,MSDA-α实现了具有多尺度感受野的局部注意力。
(7)[Q, K, V] = Reshape(Conv1 × 1(x)),
(8)Attention(r(xij) = Softmax(QrkrTdk)Vr,
(9)MSDAoutput = Concat(Attention1, Attention2, Attention3)W,
其中xij表示位于(i, j)的窗口特征,W是将连接特征映射回原始尺寸的输出投影矩阵。
在标准注意力计算中,缩放因子1/dk是一个理论推导出的固定值,用于防止由于点积值过大导致梯度消失。然而,这种固定设计无法捕捉不同尺度下目标的特征分布。为了提高模型在多尺度检测框架中检测小目标的能力,MSDA中的固定缩放因子dk被全局共享的可学习参数α所替代,由此产生的注意力得分计算公式如(10)所示。
(10)Attention(xij) = Softmax(QrkrTαVr),
其中α的初始值在训练过程中进行优化。这种方法允许模型根据输入数据的统计特性动态调整注意力得分的尺度,自动平衡不同注意力头的梯度幅度,增强对小目标关键特征的关注,并提高模型在各种场景下的适应性。
3.4.3. 基于特征位移学习的自适应上采样模块AUPS
上述的浅层网络改进减少了小目标的遗漏并增强了多尺度适应性。然而,YOLOv11在FPN的自上而下上采样路径中采用了几近邻插值,这对于多尺度小目标场景来说并不理想。几近邻像素复制可能会引入马赛克伪影,模糊特征图,并产生锯齿状的边界,从而降低多尺度特征融合的效果。为了解决这个限制,本节引入了一个自适应上采样模块AUPS(Liu等人,2023年),如图9所示。AUPS用可学习的采样位置偏移替换了固定插值,实现了尺度自适应上采样,同时保持了效率和边缘细节。
给定一个输入特征图x ∈ RB × C × H × W和一个上采样因子s,AUPS输出y ∈ RB × C × HS × WS。一个1 × 1卷积预测每个位置的偏移量,然后通过分组策略将特征分成g个通道组来并行学习多级采样。像素重新排列生成高分辨率的偏移图,该图被添加到初始采样网格Pinit中,形成最终的采样网格Δfinal。为了避免过大的偏移量,AUPS应用了范围约束(如(11)所示,1 × 1卷积输出在像素重新排列前被缩放了0.25倍。
(11)Δfinal = PS(Conv1 × 1(x) · 0.25) + Pinit,
其中PS(·)表示将通道从2Cgs2重新排列为2Cg的像素重新排列,并将空间尺寸从H × W扩大到sH × sW,Conv1 × 1(·)是一个用于偏移的1 × 1卷积。Pinit是基于均匀分布理论生成的初始采样网格策略(如(12)所示。
(12)pinit = {(-s + 1)^2s + is, (-s + 1)^2s + js | i, j = 0, 1, ?, s?1},
其中s是上采样放大倍数,i和j分别表示水平和垂直网格索引。表示?s + 1^2s是为了确保采样点在输入像素周围对称分布,is和js是相对位置坐标。
3.4.4. 损失函数的改进
边界框回归对于准确定位至关重要,损失设计直接影响收敛性和性能。YOLOv11默认使用Complete IoU(CIoU),它通过添加中心距离和宽高比惩罚来增强IoU。尽管CIoU在一般数据集上表现良好,但它不太适合这种输电线路配件缺陷检测任务。遮挡和背光经常产生难处理的样本,在训练早期导致较大的误差和噪声较大的梯度;后期,容易处理的样本占主导地位,削弱了对难处理样本的监督,降低了收敛稳定性和泛化能力。由于存在微小缺陷、背景复杂以及缺陷样本数量有限,这项任务的样本难度和定位质量存在较大差异。因此,WIoU更加适用,因为它能够自适应地重新分配梯度并帮助稳定边界框回归。本节介绍了Wise IoU v3(WIoUv3),它采用了一种动态的、非单调的关注机制。WIoUv3构建了一个异常值指数来分配梯度增益,强调典型的高质量样本,并逐渐增加对困难样本的关注,以实现更稳定的收敛。WIoUv3源自WIoUv1。WIoUv1引入了基于距离的关注方式,并定义了RWIoU来替代CIoU中的中心距离和纵横比项,从而减少了来自复杂样本的有害梯度。具体定义见式(13)和(14)。(13)LWIoUv1=RWIoU·LIoU,(14)RWIoU=exp((x?xgt)2+(y?ygt)2(Wg2+Hg2)?),其中x, y, xgt, ygt是预测框和真实框的中心坐标。Wg和Hg是最小边界框的宽度和高度,Wi和Hi表示交叠框的宽度和高度,如图10所示。下载:下载高分辨率图像(193KB)下载:下载全尺寸图像图10. 最小包围框(绿色)和中心点的连接(红色)。(关于此图例中颜色的解释,请参阅本文的网页版本。)在此基础上,WIoUv3定义了锚框的异常值程度β来量化样本的相对难度,如式(15)所示。样本被分为简单样本β<δ、普通样本β≈δ和困难样本β>δ。δ是控制异常值程度的超参数,LIoU ̄表示单个样本的IoU损失,LIoU?表示当前批次的平均IoU损失。在早期训练中,LIoU ̄较高且β大多数样本集中;随着训练的进行,LIoU ̄降低而困难样本的β增加,从而增强了它们的贡献。然后WIoUv3使用β来构建动态非单调关注系数γ(见式(16)用于梯度分配,这会减少简单样本的权重并抑制困难样本的异常值影响。与单调关注不同,γ先降低然后增加,从而实现选择性梯度训练。(15)β=LIoU?/LIoU ̄,(16)γ=βδ/αβ?δ,其中α是用于控制梯度增益的超参数。最终的WIoUv3损失函数定义为(17)。(17)LWIoUv3=γ·LWIoUv1。3.5. 两阶段迁移学习策略为了帮助模型更好地关注目标特征,首先训练平滑后的图像数据集以建立一个预训练模型。然后,使用训练好的权重作为预训练模型来训练原始图像数据集,实现两阶段迁移学习过程。与标准的预训练和微调不同,这种策略在同一任务内从平滑后的图像数据集迁移到原始图像数据集。通过首先关注目标的浅层几何信息,模型能够适应后续训练中更复杂的深层语义信息。阶段1:使用之前描述的图像平滑方法处理图像并生成一个平滑后的数据集。然后在该数据集上训练模型,以学习目标的形状和纹理等几何特征,以及它们所在传输塔的语义信息等相对稳定的语义特征。这种方法有助于防止将具有相似几何特征的对象误识别为目标对象。阶段2:使用第一阶段训练中学习到的目标几何特征的参数权重作为预训练模型,并在原始图像数据集上进一步训练模型以提高深层语义学习。为了确保网络的稳定性和鲁棒性,在此阶段冻结了主干网络的参数,并优化了模型的深层部分,强调学习包含复杂背景的深层语义特征,从而增强网络对全局信息的理解。整个迁移学习过程如图11所示。下载:下载高分辨率图像(560KB)下载:下载全尺寸图像图11. 两阶段迁移学习的整体架构。4. 实验结果与分析4.1. 数据收集本研究构建了一个用于传输线配件缺陷检测的数据集,包括公开数据和自收集数据。公开数据来自开放研究数据集和其他网络资源,并在允许的许可下获取。自收集数据由内蒙古北方航空技术有限公司使用DJI Matrice 300 RTK无人机在鄂尔多斯供电局管理的架空输电线上收集。在数据增强之前,数据集由公开数据和自收集数据组成,比例大约为6:1,这有助于平衡数据的多样性和实际相关性。该平台配备了Zenmuse H20T云台相机,具有23倍混合光学变焦和最高200倍数字变焦,为自收集部分生成了5472×3648像素的图像。公开图像的分辨率范围较广,从1920×1080到5472×3078像素。4.2. 图像数据过滤传输线配件中使用的销钉是分体销钉,而振动阻尼器则根据跨度长度和当地风速等运行条件进行选择。常见的振动阻尼器类型包括扭转型、预扭型和音叉型。本研究的数据集涵盖了分体销钉和这三种阻尼器类型,并包括阻尼器重量缺失和螺栓上销钉缺失的缺陷。此外,还标注了完好的振动阻尼器和带有分体销钉的螺栓。这样设计的目的是为了增强对传输线组件的细粒度特征学习,使模型能够更好地区分正常结构和缺陷结构,并减少视觉上相似目标之间的误报。筛选后,保留了1071张无人机遥感图像。数据集涵盖了传输线走廊典型的多样化背景,包括天空、植被和交通走廊。原始图像在照明、拍摄距离、天气条件和背景复杂性方面存在差异,通过数据增强进一步增强了这些差异,以更好地反映无人机检查场景。数据增强后,数据集扩大到了3213张图像,带有10,313个标注标签,如表1所示。为了进一步分析数据集中目标的规模分布,数据集统计显示,在1280×1280的输入分辨率下,4267个目标实例小于64×64,2143个位于64×64到128×128之间,3903个大于128×128。在数据增强之前,原始图像首先被分为训练集和验证集,数据增强仅应用于训练集,且来自同一原始图像的所有增强样本都保留在同一子集中。表1. 数据集统计。数据集# 图像数量# 标签数量# 完好振动阻尼器数量# 有缺陷的振动阻尼器数量# 螺栓上销钉缺失的数量# 螺栓上有分体销钉的数量训练集259782412458200120231759验证集6162072576482538476总计32131031330342483256122354.3. 实验环境和参数实验中使用的硬件和软件平台配置见表2。表2. 检测系统配置。平台配置操作系统WindowsCPUInter(R) Core (TM) i9-14900HXGPUNVIDIA GeForce RTX 4060笔记本电脑GPUGPU加速器CUDA 11.8和cuDNN 8.7.0深度学习框架PyTorch 2.1.0编译器PyCharm和Anaconda脚本语言Python 3.10用于训练的实验参数列在表3中。在两阶段迁移学习过程中,第二阶段的学习率为0.008,其余参数与表3一致。表3. 实验参数。参数配置输入尺寸1280×1280×3优化算法SGD批量大小4训练周期100学习率0.01动量0.937权重衰减0.00054.4. 评估指标本文使用每类精确度(P)和整体精确度(P)、IoU 0.50时的平均精确度(mAP@0.5)以及IoU 0.50–0.95时的平均精确度(mAP@0.5:0.95)作为准确度指标,同时使用每秒帧数(FPS)和浮点运算次数(FLOPs)作为速度指标。mAP是所有类别AP的平均值,较高值表示更好的性能。mAP@0.5是在IoU阈值0.50时计算的,而mAP@0.5:0.95是在IoU阈值0.50到0.95之间取平均值。FLOPs衡量模型的计算复杂性,FLOPs越大表示计算需求越高。mAP和AP的计算公式见式(18-20),(18)P=T/P+FP,(19)AP=∫0^1P(r)dr,(20)mAP=1/c∑i=1^cAP(i),其中TP(True Positive)是正确识别的正面样本数量,FP(False Positive)是错误识别的正面样本数量。4.5. 对比研究为了评估本研究提出的模型检测传输线配件缺陷的有效性,我们将该模型与上述数据集上的其他代表性基线模型进行了比较。为了公平起见,所有比较模型都在相同的设置下进行了训练和评估,输入分辨率为1280×1280,训练周期为100,使用SGD优化器,并进行最佳检查点比较。实验结果见表4。研究结果表明,所提出的算法在检测小尺寸和不同尺寸的缺陷方面有所改进,同时保持了实际检查工作流程所需的处理效率。表4. 我们提出的模型与主流检测模型在本实验中使用的数据集上的性能比较。模型PmAP@0.5mAP@0.5:0.95FPSFLOPs(G)RTMDet (Lyu et al., 2022)0.7580.6420.38720.080.0SSD (Liu et al., 2016)0.6810.5600.31545.738.2RetinaNet + R50 (Lin et al., 2020)0.7120.5940.36821.854.5Faster R-CNN + R50 (Ren et al., 2017)0.7960.7190.50213.7103.3RT-DETR + R50 (Zhao et al., 2024)0.7750.6790.46735.1125.6DAB DETR + R50 (Liu et al., 2022)0.6830.5310.24822.029.4Deformable-DETR + R50 (Zhu et al., 2021)0.7180.6100.24621.352.2YOLOv10 (Wang et al., 2024)0.8350.7660.55359.28.2YOLOv11 (Ultralytics, 2024)0.8370.7680.554105.86.7我们的模型0.8840.8130.60368.1从表4中列出的性能指标来看,所提出的方法实现了0.884的精确度(P)、0.813的mAP@0.5和0.603的mAP@0.5:0.95,优于比较模型,并表现出更出色的整体性能。由于数据集中目标数量众多且尺寸变化明显,基于DETR的方法在这种任务中处于劣势,因为它们共享的基于查询的端到端检测范式对于密集的小对象和精细的局部细节效果较差,导致性能相对较弱。同时,该模型保持了较低的计算负载(9.4 GFLOPs),同时实现了较高的推理速度(68.1 FPS)。这个值是在表2中描述的硬件配置下测量的,批量大小为1。这表明它适用于近实时的电力检查应用,其中必须迅速处理大量无人机图像而不影响缺陷检测的可靠性。在实际的电力检查工作流程中,所提出的模型更适合于无人机图像获取后的后端分析阶段,可以在服务器上部署进行近实时的缺陷检测和结果可视化。4.6. 消融研究和实际可行性分析4.6.1. 每个改进网络结构中模块的有效性分析表5显示了MSDA-YOLO在传输线配件缺陷数据集上的消融结果,包括MSDA-α、MDC-C3k2和AUPS的所有单个模块和组合子集。由于本节关注缺陷检测性能,因此仅报告了缺陷类别的AP50值。MSDA-α改进了多尺度特征聚合,使得精度相比基线提高了2.1%,mAP@0.5提高了1.2%,mAP@0.5:0.95提高了0.9%。使用MDC-C3k2时,改进幅度分别为2.7%、1.1%和0.7%。AUPS在上采样和定位后提高了特征完整性,精度提高了1.5%,mAP@0.5提高了1.0%,mAP@0.5:0.95提高了1.0%。组合模块始终优于单个模块。当三个模块集成在一起时,精度、mAP@0.5和mAP@0.5:0.95分别达到了86.2%、78.8%和57.1%,分别比基线提高了2.5%、2.0%和1.7%,显示出所提出模块之间的明显互补性。表5. MSDA-α、MDC-C3k2和AUPS模块的消融实验。MSDA-αMDC-C3k2AUPSPmAP@0.5mAP@ 0.5:0.95FPSFLOPs(G)AP50有缺陷的振动阻尼器螺栓上销钉缺失0.8370.7680.554105.86.70.9280.802?0.8560.7790.55988.37.80.9420.816?0.8640.7790.561104.28.30.9390.810?0.8520.7780.56494.16.80.9510.808??0.8410.7830.55676.09.40.9440.814??0.8440.7800.56270.5780.9370.820??0.8680.7790.5687.28.30.9300.919???0.8620.7880.57171.09.40.9500.8264.6.2. MDC-C3k2中并行扩张卷积的最佳扩张率表6比较了MDC-C3k2中并行多尺度扩张卷积的扩张率设置。[1, 2, 4]配置获得了最佳的整体性能,mAP@0.5为77.9%,mAP@0.5:0.95为56.1%。相比之下,[1, 2, 5]和[1, 3, 5]引入了较大的扩张间隙,可能会导致网格伪影和局部细节的损失,而[1, 2, 3]提供的接收场较小,多尺度适应性强度有限。因此,[1, 2, 4]被作为MDC-C3k2的默认设置,以平衡准确性、效率和特征丰富性。表6. 不同扩张率下MDC-C3k2的模型性能比较。扩张率配置PmAP@0.5mAP@0.5:0.95[1, 2, 3]0.8590.7790.557[1, 2, 4]0.8640.7790.561[1, 2, 5]0.8320.7740.560[1, 3, 5]0.8720.7720.5604.6.3. 不同注意力机制的比较表7比较了这个数据集上的注意力机制。Swin Transformer和MSDA-α都使用滑动窗口;然而,Swin Transformer采用固定窗口,而MSDA-α通过不同扩张率的扩张注意力并行聚合多个接收场(Liu et al., 2021),并进一步引入了具有有限参数增长的可学习缩放因子。Swin Transformer提供了轻微的AP增益,但降低了整体精度。相比之下,MSDA-α改进了所有指标,达到了85.9%的精度、78.0%的mAP@0.5和56.3%的mAP@0.5:0.95,仅参数增加了少量。δ、普通样本β≈δ和困难样本β>MSDA-α 的表现也优于卷积块注意力模块(CBAM),后者重新加权了通道和空间特征,但缺乏长距离建模,可能导致漏检,并且参数较少,同时没有显著增加复杂性。表7 对不同注意力机制进行了比较。
注意力机制 | PmAP@0.5 | mAP@0.5:0.95 | FPS | FLOPs(G)
|----------------|-----------|------------------|-------|------------|
| C2PSA | 0.837 | 0.768 | 0.554 | 105.8 |
| Swin-Transformer | 0.819 | 0.772 | 0.554 | 82.5 |
| CBAM | 0.844 | 0.775 | 0.555 | 117.1 |
| MSDA-α | 0.856 | 0.779 | 0.559 | 88.3 | 7.8 |
MSDA-α 中可学习缩放因子的有效性分析
为了验证可学习缩放因子的有效性,我们比较了固定缩放和可学习 α 的效果,结果总结在表8 中。引入可学习 α 一致性地提高了性能,表明用可学习参数替换固定超参数对这个数据集是有益的。
表8. 可学习缩放因子 α 带来的精度提升
参数类型 | PmAP@0.5 | mAP@0.5:0.95 | FPS | FLOPs(G)
|---------|---------|------------------|------|------------|
| 固定值 | 0.849 | 0.774 | 0.557 | 88.7 |
| 可学习 α | 0.856 | 0.779 | 0.559 | 88.3 | 7.8 |
不同损失函数的有效性
基于上述结构改进,我们比较了不同的损失函数,如表9 所示。WIoU 在28个周期内将平均 Box损失和 Cls损失降低到0.9以下,取得了最佳性能,准确率达到了87.4%,mAP@0.5为79.7%,mAP@0.5:0.95为57.3%。相比之下,CIoU 和 SIoU(Gevorgyan, 2022)需要超过40个周期才能降低到0.9以下,并且在相同的训练预算下精度较低,如图13所示。这是因为 WIoU 在早期训练中提供了更有效的梯度分配,提高了在有限迭代次数内的困难样本学习,并增强了定位和泛化能力。
表9. CIoU、SIoU 和 WIoU 损失函数之间的性能指标比较
方法 | 周期(IoU损失<0.9) | PmAP@0.5 | mAP@0.5:0.95 | FPS | FLOPs(G) |
|---------|------------|---------|-------------|--------|-----------|
| WIoU | 50 | 0.874 | 0.797 | 0.573 | 36 |
| Defective Vibration Damper | 41 | 0.862 | 0.788 | 1.094 | 0.95 |
| Bolt with Missing Split Pin | 44 | 0.860 | 0.781 | 0.563 | 0.94 |
| CIoU | 44 | 0.860 | 0.781 | 0.944 | 0.808 |
| SIoU | 28 | 0.874 | 0.797 | 0.573 | 0.944 |
下载:下载高分辨率图像(269KB)
下载:下载全尺寸图像
图13. CIoU、SIoU 和 WIoU 损失函数之间的收敛速度比较
表10 评估了 WIoU 超参数 α 和 δ 的影响。当 α = 2.5 且 δ = 2 时,损失稳步下降但收敛缓慢,在相同的训练预算下指标较差。当 α = 1.6 且 δ = 4 时,性能有所提高。最佳平衡点在 α = 1.9 和 δ = 3,这平衡了过度梯度增益导致的不稳定和梯度增益不足导致的收敛缓慢。在这种设置下,精度、mAP@0.5 和 mAP@0.5:05 分别达到了87.4%、79.7% 和 57.3%。基于对网络模型的改进,使用 WIoU 的改进模型在精度、mAP@0.5 和 mAP@0.5:0.95 方面分别比基线模型提高了3.7%、2.9% 和 1.9%。
表10. WIoU 中 α 和 δ 的消融研究
参数 | PmAP@0.5 | mAP@0.5:0.95 |
|------|---------|------------|
| α = 2.5, δ = 2 | 0.840 | 0.786 |
| α = 1.9, δ = 3 | 0.874 | 0.797 |
| α = 1.6, δ = 4 | 0.892 | 0.790 |
当 α = 2.5 时,模型过度关注复杂样本,增加了训练成本。当 δ = 2 时,梯度增益函数的有效范围较窄,限制了对大规模变化的适应性;因此,这种设置不适用于输电线路缺陷检测。当 α = 1.6 时,困难样本被低估,细粒度特征学习不足。因此,选择 α = 1.9 和 δ = 3 来强调困难样本,同时不过度敏感,实现稳定高效的学习。
4.6.7. 转移学习第二阶段中平滑预训练模型的分析
为了验证平滑图像预训练模型的有效性,我们将其与原始图像预训练模型和 MS COCO 进行比较。训练进行了100个周期,学习率为0.008。与非迁移学习相比,原始图像预训练模型仅在 mAP@0.5:0.95 方面有轻微的提升,而 mAP@0.5 下降了0.3%。相比之下,平滑图像预训练模型将 mAP@0.5 提高了1.4%,mAP@0.5:0.95 提高了2.8%。mAP@0.5 曲线及其峰值显示在图14中。直接在原始图像上进行训练(200个周期)早期就收敛,但在最后100个周期中提升很小,证明了所提出的两阶段策略的好处。
表11. 第二阶段迁移学习中三种预训练模型之间的性能指标比较
预训练模型 | PmAP@0.5 | mAP@0.5:0.95 |
|---------|---------|-------------|
| Original-Image Pretrained Model | 0.838 | 0.794 | 0.936 |
| MS COCO | 0.850 | 0.782 | 0.847 |
| Smoothed-Image Pretrained Model | 0.854 | 0.811 | 10.948 |
MS COCO 预训练模型的表现最差,可能是由于领域差异较大:MS COCO 缺乏具有强几何先验的输电线路拟合数据,限制了边缘、角落和轮廓级别线索的浅层特征学习。总体而言,训练结果的差异主要是由于预训练模型之间的领域一致性和背景干扰程度不同。相比之下,平滑图像预训练模型在第二阶段的表现最佳,提高了准确性和泛化能力。
表12 比较了迁移学习第二阶段中冻结主干网络参数的不同计划。所有指标都优于非迁移学习,当冻结训练周期(F)与未冻结训练周期(non-F)的比例为100:0时,获得了最佳结果,准确率达到了0.884,mAP@0.5为0.813,mAP@0.5:0.95为0.603。这些结果分别比不进行迁移学习的基线模型高出4.7%、4.5%和4.9%。
通过在第一阶段训练平滑图像,主干网络被鼓励学习与目标相关的几何先验,同时减少了背景干扰。在第二阶段的原始未平滑数据集上进行迁移学习时,冻结主干网络有助于保留所学的先验。因此,100:0 的设置通过保留第一阶段获得的几何先验,同时减少了原始图像中更复杂背景的干扰,取得了最佳的整体性能。
图15. 展示了基线算法和我们提出的算法在检测结果上的比较。这些典型示例表明,所提出的方法在结构干扰、背光场景和远距离检查图像中对微小缺陷的检测更有效,与基线算法相比,减少了漏检和误报。在实际的输电线路检查中,漏检可能会延迟维护并影响操作安全性,而误报可能会增加手动验证的工作量和检查成本。
结论
本文提出了一种基于迁移学习的多尺度目标缺陷检测方法,适用于输电线路配件的小目标检测,重点关注螺栓和振动阻尼器的缺陷,以满足实际的电力检查要求。开发了一种包含背景去噪的两阶段迁移学习策略,以实现逐步的缺陷特征学习。基于这一策略,构建了一个改进的基于 YOLOv11 的检测器,称为 MSA-YOLO,具有多尺度自适应增强和改进的上采样功能,以在复杂的检查背景下实现更鲁棒的缺陷检测。此外,采用了 WIoU 来改善不同难度级别样本的训练平衡。所提出的方法达到了88.4%的精度、81.3%的 mAP@0.5 和 60.3%的 mAP@0.5:0.95,分别比基线模型提高了4.7%、4.5%和4.9%。与现有方法相比,所提出的框架有效结合了两阶段迁移学习和多尺度自适应特征增强,能够在复杂的输电线路检查背景下更鲁棒、更准确地检测多尺度缺陷,尤其是小目标。然而,当前研究仍受到数据集中配件类别和缺陷类型范围的限制。未来的工作将进一步丰富数据集并提高检测精度。此外,还将探索多模态配准用于背景去噪,例如利用红外图像。
CRediT 作者贡献声明
郝志远:撰写-原始草稿、可视化、验证、软件、方法学、研究。
董超翼:撰写-审阅与编辑、监督、项目管理、资金获取、概念化。
马卓苍:撰写-原始草稿、软件。
薛垚:撰写-审阅与编辑、监督。
孟瑞峰:监督、项目管理。
王书恒:验证、研究。
王大凯:可视化、研究。
在本文的准备过程中,作者独立设计了研究、开发了算法、进行了实验,并起草和修订了手稿。仅在最后阶段使用了生成式 AI(具体为 ChatGPT)来协助语言润色,提高清晰度和可读性。使用该工具后,手稿根据需要进行审阅和编辑,导师进行了逐行修订。作者对发表文章的内容负全责。