一种基于GBE-YOLOv8模型的新型PCB表面缺陷检测方法
高超,
张欣,
白梦婷,
连晓琴,
陈世超
《Micromachines》:A Novel PCB Surface Defect Detection Method Based on the GBE-YOLOv8 Model
Chao Gao,
Xin Zhang,
Mengting Bai,
Xiaoqin Lian and
Shichao Chen
【字体:
大
中
小
】
时间:2026年03月11日
来源:Micromachines 3
编辑推荐:
摘要 在印刷电路板(PCB)制造领域,表面缺陷检测是生产线中的关键过程,直接影响后续电子产品的质量和安全性。然而,由于PCB布局复杂,实时准确检测微小表面缺陷仍然是一个重大挑战。为了解决这个问题,本研究提出了一种基于改进的YOLOv8的新型Ghost-Bi
摘要 在印刷电路板(PCB)制造领域,表面缺陷检测是生产线中的关键过程,直接影响后续电子产品的质量和安全性。然而,由于PCB布局复杂,实时准确检测微小表面缺陷仍然是一个重大挑战。为了解决这个问题,本研究提出了一种基于改进的YOLOv8的新型Ghost-BiFPN-Efficient-YOLOv8(GBE-YOLOv8)模型架构,用于PCB缺陷检测。该模型的主干网络采用轻量级的Ghost Conv部分替代常规卷积,从而降低计算复杂性和参数数量。颈部网络包含一个名为G-C2f的多阶段特征融合模块和一个名为BiFPN-Concat的动态加权模块,以增强模型表征PCB缺陷的能力。模型的头部网络采用Efficient Head,结合了混合深度卷积和部分卷积,进一步优化了检测精度和计算效率。同时,使用公开可用的数据集对模型性能进行了全面评估,并通过类别激活热图分析了每种改进方法的工作机制,以进一步提高模型的可解释性。实验结果表明,与基线模型和其他几种先进的对象检测算法相比,所提出的方法在各种评估指标上表现出显著优势,其mAP@0.5、mAP@0.5:0.95、参数数量、GFLOPs和FPS分别达到了98.9%、61.4%、2.6百万、7.5和252。此外,每种优化方法都实现了预期的设计目标,所有优化方法的组合应用使模型能够在检测精度和计算复杂性之间达到最佳平衡。因此,这项研究可以为工业生产线中PCB表面缺陷的高精度实时检测提供可靠的技术解决方案。
1. 引言
在印刷电路板(PCB)质量控制系统 中,缺陷检测起着决定性作用。目前,计算机视觉技术已经开发出多层次的检测方法,包括传统的图像处理技术(如阈值分割和边缘检测),以及机器学习和深度学习算法。这些技术解决方案正在迅速取代人工检查,实现了质量检测的智能化升级。尽管自动光学检测(AOI)技术已被广泛用于检测PCB上的表面缺陷,但PCB集成和小型化的趋势给基于机器视觉的PCB缺陷检测方法带来了以下挑战:
(1) PCB复杂的物理结构导致了多种类型和形状的表面缺陷。这些缺陷通常尺寸较小,特征相似,背景复杂。因此,检测算法必须具备强大的多尺度特征提取能力,同时能够有效区分不同缺陷之间的细微差异,尤其是在复杂的布线背景下。因此,显著提高小目标的检测精度是PCB缺陷检测算法面临的主要挑战。
(2) PCB组装线的生产过程要求实时缺陷检测。降低模型复杂性可以提高检测速度,但这往往以牺牲部分检测精度为代价。此外,低复杂度的模型更适合在资源受限的边缘计算终端上部署。因此,有效平衡检测精度和模型复杂性是PCB缺陷检测算法面临的另一个挑战。
近年来,结合机器视觉和深度学习的对象检测算法展示了强大的自学习能力,使其在PCB缺陷检测中得到广泛应用。基于生成候选区域的机制,基于深度学习的PCB缺陷检测算法主要分为两种对象检测范式:两阶段和一阶段[1]。两阶段对象检测范式的代表性算法是R-CNN系列[2,3]。Li等人[4]使用VGG16[5]作为Faster R-CNN的特征提取网络,并结合RGB数据增强技术实现了PCB缺陷检测。Hu等人[6]进一步采用ResNet50[7]作为Faster R-CNN的特征提取网络,并将其与生成对抗区域提案网络(GARPN)[8]和ShuffleNetV2[9]集成。这种方法提高了PCB缺陷检测的精度,同时实现了模型的轻量化。此外,Li等人[10]提出了一种基于特征金字塔网络(FPN)的检测器。通过将Faster R-CNN和FPN作为其基础架构,并使用RoIAlign[11]技术,该模型显著提高了对PCB上微小缺陷的检测性能。两阶段对象检测范式的推理速度较慢,因为其模型复杂性较高。一阶段对象检测范式的代表性算法包括SSD[12]和YOLO系列[13]。Shi等人[14]提出了一种改进的SSD网络,通过语义映射模块将深度特征传播到浅层,有效提高了模型对PCB微小缺陷的检测能力。Chen等人[15]引入了一种使用Swin Transformer作为特征提取网络的Transformer-YOLO检测模型,显著提高了模型检测PCB缺陷的精度。Ling等人[16]提出了一种改进的YOLOv8检测模型,该模型结合了轻量级ghost卷积,降低了计算开销,有效加快了模型对PCB缺陷的检测速度。与两阶段对象检测范式相比,一阶段方法通常具有更低的模型复杂性,更符合PCB缺陷检测的实时要求。然而,在PCB复杂的物理结构下,实时准确检测各种微小缺陷仍然是一个未解决的挑战。在本研究的背景下,微小缺陷被定义为占图像总面积不到0.25%的缺陷。
为了解决上述问题,考虑到YOLOv8n在检测精度和速度方面的平衡性能,本研究选择YOLOv8n作为基线模型。我们优化了其主干网络、颈部网络和头部网络,分别增强了模型的特征提取、特征融合和对象检测能力。本研究的主要贡献如下:
(1) 本研究提出了一种基于改进的YOLOv8n的新型Ghost-BiFPN-Efficient-YOLOv8(GBE-YOLOv8)模型架构。与基线YOLOv8n相比,GBE-YOLOv8的mAP@0.5、mAP@0.5:0.95和FPS分别提高了3.1%、11.7%和8.2%,而参数数量和GFLOPs分别减少了13.3%和7.4%。
(2) 在模型的主干网络中引入了轻量级的Ghost Conv模块,部分替代常规卷积,从而降低了计算复杂性和参数数量。这一改进加快了模型对PCB缺陷的检测速度。
(3) 模型的颈部网络包含一个名为G-C2f的多阶段特征融合模块和一个名为BiFPN-Concat的动态加权模块。这些组件增强了模型表征PCB缺陷的能力,从而提高了检测精度。
(4) 在模型的头部网络中设计了一个结合混合深度卷积和部分卷积的Efficient Head,进一步优化了检测精度和计算效率。
本文的结构如下。第2节全面回顾了当前PCB缺陷检测方法的研究现状。第3节详细介绍了GBE-YOLOv8模型的网络架构和改进方法。第4节使用公开数据集验证了所提出的算法,并将其性能与其他主流先进检测模型进行了比较。第5节提出了研究结论并概述了未来的研究方向。
2. 相关工作
2.1. 基于视觉的PCB表面缺陷检测方法
早期的PCB表面缺陷检测完全依赖于人工视觉检查,至今仍有许多公司采用这种方法。然而,随着对生产质量和效率要求的提高,人工检查的低效率和高的漏检率逐渐成为制约产品质量控制的瓶颈。近年来,自动光学检测(AOI)技术由于其高效率和精度而在PCB表面缺陷检测中得到了广泛应用[17]。
在相关研究的早期阶段,许多学者将阈值分割[18]、边缘检测和图像分割[19]等方法集成到AOI系统中,以实现PCB表面缺陷的自动检测。然而,这些传统的图像处理方法只能对缺陷的存在进行二值判断,无法提供缺陷类别和位置等关键信息。随后,支持向量机[20]、随机森林[21]和贝叶斯算法[22]等传统机器学习方法也被集成到AOI系统中,以实现PCB表面缺陷的自动分类。然而,这些传统机器学习方法严重依赖特征工程,难以准确定位缺陷,导致检测精度波动较大。深度学习方法采用端到端的特征学习机制,自动从数据中提取特征,在PCB表面缺陷检测的精度方面显示出显著优势。其中,YOLO系列模型利用其端到端的检测能力直接从输入图像中输出目标类别和位置信息,在检测精度和速度方面表现出色。Adibhatla等人[23,24]使用YOLOv2和YOLOv5对PCB上的表面缺陷进行二分类检测,分别达到了98.82%和99.74%的检测精度。Zhao等人[25]提出了一种基于注意力机制和多源信息融合的ShuffleNetV2-YOLOv5模型。与YOLOv3tiny和YOLOv4tiny等轻量级模型相比,该模型在浮点运算次数更少的情况下实现了更高的精度。Tang等人[26]通过改进YOLOv5开发了一种新的PCB-YOLO模型架构,使用EIoU损失函数优化了预测框和检测框之间的回归过程,显著提高了模型定位微小PCB缺陷的能力。Yuan等人[27]通过修改原始模型中的中型和大型目标检测头部及其相应的特征金字塔结构,设计了一种新的YOLO-HMC模型架构,实现了检测精度和推理速度之间的良好平衡。
2.2. 基于YOLOv8的PCB表面缺陷检测方法
YOLOv8系列模型采用了先进的骨干网络和颈部架构,注重在保持精度和速度之间的最佳平衡的同时,增强特征提取和对象检测性能。因此,这些模型也被广泛应用于工业PCB缺陷检测场景。例如,Khan等人[28]在清华大学人机交互开放实验室的PCB表面缺陷数据集上评估了YOLOv8n和YOLOv8s模型,两种模型的mAP@0.5分别达到了95%和98%。Yi等人[29]在YOLOv8的主干网络中引入了深度可分离卷积,在颈部网络中引入了高效的多尺度注意力模块,进一步提高了模型检测PCB缺陷的精度。Liu等人[30]提出了一种改进的基于YOLOv8的PCB表面缺陷检测方法,采用FasterNet作为主干网络以减少不必要的计算开销和内存使用,并用基于C2f标准化的注意力模块替换了颈部网络中的C2f模块,进一步降低了模型的计算负载和参数数量。Li等人[31]在YOLOv8中引入了C2f-SimAM模块,并添加了一个小目标检测头部,增强了模型对微小PCB缺陷的感知能力。尽管现有的基于YOLOv8的PCB表面缺陷检测方法已经取得了相对满意的结果,但它们在复杂背景下的高精度、实时检测多个微小缺陷方面的性能仍有待进一步提高。
与YOLOv8相比,Ultralytics新发布的YOLOv11在COCO数据集上实现了更高的平均精度和计算效率。然而,在数据量有限且需要快速迁移学习的任务中,其性能表现不佳。此外,YOLOv8已在包括木材[32]、钢铁[33]和绝缘体[34]在内的多个行业中广泛应用于表面缺陷检测,其综合性能已得到充分验证。因此,为了便于在资源受限的边缘计算终端上部署该模型,本研究选择了成熟稳定的YOLOv8作为基础架构,并优化了其检测精度和计算效率。
3. 方法
3.1. GBE-YOLOv8模型的整体框架
本研究设计了一种轻量级且高精度的GBE-YOLOv8模型用于PCB表面缺陷检测,其架构如图1所示。GBE-YOLOv8模型包括三个核心网络:用于特征提取的主干网络、用于特征融合的颈部网络和用于缺陷检测的头部网络。具体来说,主干网络采用轻量级的Ghost Conv模块部分替代常规卷积,有效降低了模型的计算负载和参数数量,同时保留了特征图的冗余性,从而提高了检测速度。颈部网络采用名为G-C2f的多阶段特征融合模块和名为BiFPN-Concat的动态加权模块,实现了缺陷特征的深度融合,增强了模型在不同尺度和语义层次上感知信息的能力,从而提高了检测精度。头部网络采用Efficient Head,结合了混合深度卷积和部分卷积,进一步优化了模型的检测精度和计算效率。
3.2.3.2.1 GBE-YOLOv8模型的改进方法 3.2.1. Ghost Conv模块 在YOLOv8n中,特征图的冗余主要体现在空间维度的重复激活和通道维度的信息重叠上,这两者都会降低模型的检测精度和推理速度。直接丢弃冗余特征图会严重削弱对微小PCB缺陷的检测能力。因此,本研究选择用Ghost Conv模块替换YOLOv8n主干网络中的一些常规卷积操作。这种改进有效地减少了模型的计算负载和参数数量,同时保留了特征图的冗余性,从而提高了其推理速度。Ghost Conv模块的网络结构如图2所示。对于给定的输入特征图X,首先应用常规卷积生成内在特征图??,然后使用简单的线性运算????将??映射到幽灵特征图??,最后将??和??连接起来得到完整的输出特征图Y。??和??的计算方法分别表示在方程(1)和(2)中。
??=??? ? ?? (1)
???????=????,???(????),???=1,2,3,?,??;??=1,2,3,?,???1 (2)
图2. Ghost Conv模块的网络结构。在这些方程中,?? ∈???? × ??? × ??,其中h和w分别表示X的高度和宽度,c表示X的通道数;*表示卷积操作;f表示卷积核,?? ∈????? × ??? × ??? × ??? × ??,k × k表示卷积核的大小,m表示内在特征图的数量;s表示应用于每个内在特征的操作次数,包括1个恒等映射和?? ?1个线性操作;????表示第i个内在特征图;???????表示从????派生的第j个幽灵特征图;????,??表示用于生成???????的线性操作。因此,Ghost Conv模块总共输出m × s个特征图。当生成具有相同大小和通道数的输出特征图时,Ghost Conv的计算负载和参数数量可以减少到常规卷积的1/s [35]。
3.2.2 G-C2f模块 PCB缺陷通常具有复杂背景、小尺寸和细微特征相似性的特点。然而,YOLOv8n中的C2f模块难以有效捕捉不同缺陷之间的细微特征差异,其多尺度融合机制对复杂背景的适应性有限,从而导致模型检测精度较低。因此,本研究将YOLOv8n颈部网络中的C2f模块优化为G-C2f模块。这种改进增强了模型在不同尺度和语义层次上感知信息的能力,特别是加强了其对小目标缺陷特征的表示能力,从而提高了模型对PCB缺陷的检测精度。G-C2f模块的网络结构如图3所示。它采用多阶段特征融合架构,处理流程分为三个关键步骤。首先,输入特征通过卷积层进行初级特征提取,结果传递给Concat模块。其次,应用分割操作将特征图等分为两个具有相同通道数的子特征图。一个子特征图直接保留原始信息并传递给Concat模块,而另一个子特征图通过两个级联的Ghost Bottleneck模块进行深度特征增强。最后,Concat模块执行特征通道的连接和融合,然后通过输出卷积层进行特征重组和降维。通过保留原始特征和增强特征的并行处理路径,该设计不仅确保了基本特征的完整性,还实现了高级特征的深入挖掘。
3.2.3 BiFPN-Concat模块 在PCB表面缺陷检测任务中,不同类别的缺陷(如缺孔、短路和伪铜)在特征空间中表现出不同的多尺度特性。YOLOv8n采用的FPN + PAN模块采用了一种均衡的特征融合方法,未能充分考虑到不同尺度特征对最终检测结果的差异性贡献。这导致大尺度目标特征在梯度反向传播过程中占主导地位,从而抑制了小尺度目标特征的学习,最终导致微小缺陷的漏检。为了解决这个问题,本研究参考了BiFPN [36]的设计原理,并将YOLOv8n颈部网络中的FPN + PAN模块优化为BiFPN-Concat模块。通过动态地为不同尺度的特征分配权重系数,该模块提高了模型对微小PCB缺陷的召回率。BiFPN-Concat模块的网络结构如图5所示。它采用快速归一化融合来动态确定特征的权重系数,并根据每个特征图对输出的贡献进行加权融合。这种融合机制的计算过程表示在方程(3)中。
??=∑????????+∑??????·???? (3)
图5. BiFPN-Concat模块的网络结构。在方程中,????表示输入特征,????和????是可学习的权重,??表示输出特征,?? =0.0001是一个为避免数值不稳定而引入的小值。同时,对????应用ReLU激活函数以确保???? ≥0。以图5中的P4层为例,方程(4)和(5)描述了该层的特征融合和输出过程。
???????4=C?o?n?v?(??1·???????4+??2·R?e?S?i?z?e?(???????5)??1+??2+??) (4)
??????????4=C?o?n?v?(??′1·???????4+??′2?·???????4+??′3·R?e?S?i?z?e?(??????????3)??′1+??′2+??′3+??) (5)
在这些方程中,???????4表示自上而下路径中第四层的中间特征图,??????????4表示自下而上路径中第四层的输出特征图,C?o?n?v表示卷积操作,ReSize表示上采样或下采样操作。
3.2.4 高效头部模块 在PCB表面缺陷检测任务中,目标通常具有复杂背景、小尺寸和相似结构的特征。YOLOv8n的检测头部采用固定大小的卷积核设计,在特征提取过程中具有单一尺度的感受野,难以在复杂背景噪声中准确区分微小缺陷。为了解决这个问题,本研究开发了一个高效头部,该头部结合了混合深度卷积(MixConv)[37]和部分卷积(PConv)[38],基于YOLOv8n检测头部的解耦双分支结构。这种设计使模型能够捕获不同分辨率的特征模式,同时减少计算负载。高效头部模块的网络结构如图6所示。MixConv采用通道分组策略将输入特征图划分为几个子空间,每个子空间由不同大小的卷积核处理。最后,通过连接实现多尺度特征融合。在本研究中,三种大小的卷积核(3 × 3、5 × 5和7 × 7)并行集成,构建了一个具有分层感受野结构的MixConv模块。PConv是一种高效的卷积设计,仅在部分输入通道上执行卷积操作,而保持其余通道不变。这种稀疏计算模式可以显著降低计算负载。常规卷积和PConv的FLOPs分别根据方程(6)和(7)计算。
??R?C?o?n?v=?×??×??2×??2 (6)
??P?C?o?n?v=?×??×??2×??2?? (7)
图6. 高效头部模块的网络结构。在这些方程中,?和??分别表示输入特征图的高度和宽度,??表示卷积核的大小,??表示输入通道的数量。对于典型的部分比率?? =?????? =14,PConv的FLOPs仅为常规卷积的1/16。
4. 实验与结果 4.1 实验设计 4.1.1 数据集 本研究采用了北京大学发布的公开HRIPCB数据集[39]作为PCB缺陷检测的基本数据集。该数据集包含693张图像,涵盖了六种常见的PCB缺陷类型,即缺孔(图7a)、鼠咬(图7b)、开路(图7c)、短路(图7d)、毛刺(图7e)和伪铜(图7f)。图7. 各种PCB缺陷的示例。红色框表示缺陷的位置。(a) 缺孔;(b) 鼠咬;(c) 开路;(d) 短路;(e) 毛刺;(f) 伪铜。HRIPCB数据集中的六种缺陷样本根据7:2:1的比例随机均匀地分为训练集、验证集和测试集。由于HRIPCB数据集的样本数量有限,不足以完全验证模型的泛化能力,本研究通过应用图像增强技术(包括几何变换、边界框裁剪、图像过滤和图像噪声注入)增强了每个子集的样本多样性。增强后的数据集命名为HRIPCB-E,包含总共10,668张640 × 640像素大小的图像。HRIPCB-E数据的标签统计信息如图8所示。每种缺陷类型的样本数量相对平衡,缺陷位置在图像中均匀分布,所有缺陷的大小不超过总图像大小的4%,超过60%的缺陷不超过总图像大小的0.25%,被归类为微小缺陷。图8. HRIPCB-E数据的标签统计信息。
4.1.2 实验环境和模型超参数设置 本研究在配备15个vCPU Intel(R) Xeon(R) Platinum 8474C(Intel Corporation,美国加州圣克拉拉)和NVIDIA GeForce RTX 4090D(NVIDIA Corporation,美国加州圣克拉拉)的工作站上进行模型训练和测试。对于比较实验,SSD、RT-DETR-L、YOLOv8n、YOLOv11n和GBE-YOLOv8模型使用PyTorch 2.0.1深度学习框架实现。GBE-YOLOv8的超参数设置如表1所示。在训练阶段,综合考虑模型的收敛速度、收敛稳定性和在验证集上的收敛损失,批量大小设置为16,总训练周期设置为100,初始学习率设置为0.01,动量参数设置为0.94,学习率衰减因子gamma设置为0.1。在测试阶段,置信度阈值设置为0.348,此时模型获得了最高的F1分数;非最大值抑制(NMS)阈值设置为0.45,此时模型在避免重复检测和防止漏检之间取得了良好的平衡,所有其他参数保持默认值。表1. GBE-YOLOv8的超参数设置。
4.1.3 模型评估指标 本研究采用平均精度(AP)和平均精度(mAP)作为模型检测精度的评估指标,分别在0.5和0.5:0.95的交并比(IoU)阈值下进行评估,即AP@0.5、AP@0.5:0.95、mAP@0.5、mAP@0.5:0.95。AP表示给定类别的精度-召回(P-R)曲线下的面积。P-R曲线的横轴表示召回率(R),纵轴表示精度(P)。AP和mAP的值范围均为[0,1],较大的值表示模型的综合检测精度更高。它们的计算方法分别表示在方程(8)和(9)中。
AP=∫10???(??)????(??) (8)
mAP=1???∑????=1AP?? (9)
在这些方程中,P(R)表示P-R曲线的函数,N表示样本类别的总数,APi表示第i个类别的AP。同时,本研究还采用千兆浮点运算(GFLOPs)和参数数量作为模型复杂性的评估指标。GFLOPs表示模型在推理阶段所需的浮点运算总数,常用于评估模型的计算复杂性。参数表示模型在训练阶段需要学习的参数总数,是评估模型轻量级性能的核心指标。GFLOPs(每秒浮点运算次数)和参数的较小值表明模型的计算复杂性较低,轻量级性能更好。模型检测速度通过每秒帧数(FPS)来评估。4.2 结果与分析 GBE-YOLOv8模型在HRIPCB-E数据集上的训练和验证迭代曲线如图9所示。模型的损失函数和评估指标在100个周期内均收敛,显示出良好的稳定性和一致性。因此,将总训练周期设置为100被认为是合理的。从损失函数的迭代过程来看,模型的边界框损失和分类损失都迅速降至1.0以下,证明了模型在缺陷定位和分类方面的强大能力。从评估指标的迭代过程来看,模型的精确度、召回率和mAP@0.5都迅速提高到0.9以上,mAP@0.5:0.95提高到0.6以上,进一步证实了模型的高检测精度。此外,所有损失函数和评估指标的平滑曲线与其原始曲线非常吻合,进一步表明模型的训练过程稳定,没有观察到显著的过拟合或波动。图9. 模型训练和验证的迭代曲线。(a) 训练过程中边界框损失的变化。(b) 训练过程中分类损失的变化。(c) 训练过程中分布焦点损失的变化。(d) 验证过程中边界框精确度的变化。(e) 验证过程中边界框召回率的变化。(f) 验证过程中边界框损失的变化。(g) 验证过程中分类损失的变化。(h) 验证过程中分布焦点损失的变化。(i) 验证过程中边界框mAP@0.5的变化。(j) 验证过程中边界框mAP@0.5:0.95的变化。表2展示了GBE-YOLOv8模型在六种缺陷类别上的检测精度。在AP@0.5指标下,模型对所有缺陷类别的检测精度均超过98%。在更严格的mAP@0.5:0.95指标下,模型的检测精度也超过57%。对于较大的缺陷类型“missing_hole”,模型的AP@0.5和mAP@0.5:0.95值分别达到了99.4%和64.0%。对于与正常样本最相似的缺陷类型“short”,模型的AP@0.5和mAP@0.5:0.95值分别达到了98.2%和57.5%。这些实验结果证实了模型对各种复杂微小PCB缺陷具有出色的识别能力。表2. 模型在六种缺陷类别上的检测精度。为了进一步验证GBE-YOLOv8模型的优势,本研究在相同的实验条件下,将其检测性能与Faster R-CNN、RT-DETR-L、YOLOv8n和YOLOv11n等先进模型进行了比较实验。各模型的比较实验结果见表3。在所有比较的模型中,GBE-YOLOv8的mAP@0.5最高,为98.9%,mAP@0.5:0.95为61.4%,参数最小,为2.6 M。与基线YOLOv8n相比,GBE-YOLOv8的mAP@0.5、mAP@0.5:0.95和FPS分别提高了3.1%、11.7%和8.2%,而参数和GFLOPs分别减少了13.3%和7.4%。与YOLOv11n相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了1.0%和6.4%,参数保持不变,GFLOPs增加了15.4%,FPS减少了13.1%。为了更全面地展示所提出算法的优势,并考虑到许多先进的基线模型不是开源的,我们直接引用了相关研究的实验结果进行比较分析。与YOLO-MBBi [40]相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了2.2%和8.9%,而参数减少了70.5%。与GCC-YOLO [41]相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了1.8%和12.9%,而参数减少了68.3%。与Light-PDD [42]相比,GBE-YOLOv8的mAP@0.5和mAP@0.95分别提高了5.1%和14.3%,而参数减少了32.3%。这些实验结果表明,GBE-YOLOv8在保持低模型复杂性的同时实现了最高的检测精度,从而在检测精度和模型复杂性之间实现了最佳平衡。表3. 各模型的比较实验结果。不同模型在六种缺陷类别上的视觉比较结果如图10所示,每种缺陷类别用不同的颜色标记,每个标签包含有关缺陷位置、类别和置信度的具体信息。这些实验结果表明,与其他模型相比,GBE-YOLOv8以更高的置信度检测到所有缺陷类别,并表现出更强的可靠性。此外,对于表2中检测精度最低的两种缺陷类型“short”和“spurious_copper”(也是最具挑战性的两种缺陷类型),GBE-YOLOv8在置信度方面显示出最显著的改进。具体来说,对于“short”和“spurious_copper”缺陷类型,基线YOLOv8n更容易漏检,而本研究提出的GBE-YOLOv8能够更准确地检测到它们。图10. 不同模型在六种缺陷类别上的视觉比较结果。红色框表示缺陷的位置。YOLOv8n和GBE-YOLOv8的F1-Confidence曲线如图11所示。YOLOv8n的平均F1分数在置信度阈值0.430时达到最大值0.94,而GBE-YOLOv8的平均F1分数在置信度阈值0.348时达到最大值0.98。与基线YOLOv8n相比,GBE-YOLOv8在六种缺陷类别上的F1-Confidence曲线更加平滑,峰值更高且更宽。值得注意的是,GBE-YOLOv8在容易混淆的缺陷类别(如spur和spurious_copper)上显示出最显著的F1分数改进。这些实验结果证实,GBE-YOLOv8在检测精度和召回率之间实现了卓越的平衡,并在置信度阈值适应性方面表现出更强的鲁棒性。图11. YOLOv8n和GBE-YOLOv8的F1-Confidence曲线。(a) YOLOv8n;(b) GBE-YOLOv8。为了进一步验证模型在实际应用场景中的推理性能,我们选择了一款名为MIC-711-ON的边缘计算设备进行部署测试。该设备基于NVIDIA Jetson Orin Nano(CPU:6核Arm Cortex-A78AE v8.2 64位CPU;GPU:最多1024核NVIDIA Ampere架构GPU,具有32个Tensor Core;内存:最多8 GB LPDDR5;NVIDIA公司,美国加州圣克拉拉)并运行在JetPack 6.0操作系统上。实验过程中,训练好的基线YOLOv8n和提出的GBE-YOLOv8首先被转换为引擎格式。随后,两个模型都被部署在MIC-711-ON设备上以测量它们的推理速度。实验结果显示,YOLOv8n和GBE-YOLOv8的FPS分别为27和30,改进后的模型FPS提高了11.1%。4.3 消融研究为了彻底研究Ghost Conv、G-C2f、BiFPN-Concat和Efficient Head对模型性能改进的具体贡献,本研究对GBE-YOLOv8进行了系统的模块消融实验,并使用类别激活热图[43]分析了每个模块的功能,以提高模型的可解释性。首先,本研究采用YOLOv8n作为基线模型,并在其主干网络中引入了一个轻量级的Ghost Conv模块来部分替代常规卷积。随后,分别引入了G-C2f、BiFPN-Concat和Efficient Head模块来分析每个单独模块的性能贡献。最后,将上述三种改进方法成对引入以评估模块组合的性能贡献。GBE-YOLOv8的消融实验结果见表4。表4. GBE-YOLOv8的消融实验结果。(1)Ghost Conv:与YOLOv8n相比,通过引入Ghost Conv模块,A模型的参数和GFLOPs分别减少了16.7%和8.6%,而mAP@0.5和mAP@0.5:0.95仅分别减少了0.2%和0.7%。这些实验结果表明,基于Ghost Conv的优化可以在保持高检测精度的同时显著降低模型复杂性,从而提高模型的推理速度,并为轻量级模型部署奠定基础。(2)G-C2f:与A模型相比,通过引入G-C2f模块,AB模型的mAP@0.5和mAP@0.5:0.95分别提高了0.7%和3.8%,表明基于G-C2f的优化可以显著提高模型的检测精度。比较AC和ABC模型以及AD和ABD模型,可以观察到使用成对优化方法时,G-C2f模块仍然能提高检测精度。这表明BiFPN-Concat或Efficient Head模块不会抑制G-C2f模块的贡献。与ACD模型相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了1.5%和5.5%,表明所有优化方法的组合应用可以进一步增强G-C2f模块的贡献。引入G-C2f模块前后A模型的类别激活热图如图12所示。实验结果证实,G-C2f模块可以显著抑制背景噪声,同时增强模型对各种缺陷类型的响应的焦点和强度。图12. 引入G-C2f模块前后の类别激活热图。红色框表示缺陷的位置。(3)BiFPN-Concat:与A模型相比,通过引入BiFPN-Concat模块,AC模型的mAP@0.5和mAP@0.5:0.95分别提高了0.8%和3.9%,表明基于BiFPN-Concat的优化可以显著提高模型的检测精度。比较AB和ABC模型以及AD和ACD模型,可以观察到使用成对优化方法时,BiFPN-Concat模块仍然能提高检测精度。这表明G-C2f或Efficient Head模块不会抑制BiFPN-Concat模块的贡献。与ABD模型相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了1.4%和5.2%,表明所有优化方法的组合应用可以进一步增强BiFPN-Concat模块的贡献。引入BiFPN-Concat模块前后A模型的类别激活热图如图13所示。实验结果表明,在训练初期,模型容易漏检(mouse_bite)和误检(spur)。引入BiFPN-Concat模块后,模型的检测准确性和收敛速度显著提高。图13. 引入BiFPN-Concat模块前后の类别激活热图。红色框表示缺陷的位置。(a) 未引入BiFPN-Concat模块;(b) 引入BiFPN-Concat模块。(4)Efficient Head:与A模型相比,通过引入Efficient Head模块,AD模型的mAP@0.5和mAP@0.5:0.95分别提高了0.9%和4.0%,而参数保持不变,GFLOPs仅略微增加了1.4%,表明基于Efficient Head的优化可以在保持低模型复杂性的同时显著提高检测精度。比较AB和ABD模型以及AC和ACD模型,可以观察到使用成对优化方法时,Efficient Head模块仍然能提高检测精度。这表明G-C2f或BiFPN-Concat模块不会抑制Efficient Head模块的贡献。与ABC模型相比,GBE-YOLOv8的mAP@0.5和mAP@0.5:0.95分别提高了1.7%和5.8%,表明所有优化方法的组合应用可以进一步增强Efficient Head模块的贡献。引入Efficient Head模块前后A模型的类别激活热图如图14所示。实验结果表明,在添加Efficient Head模块之前,模型在检测较大缺陷类型(如missing_hole)时能够准确定位缺陷,但在检测较小缺陷类型(如mouse_bite和spur)时,模型的焦点显著偏离缺陷位置,甚至导致漏检和误检。添加Efficient Head模块后,模型对各种缺陷类型的定位精度大大提高。图14. 引入Efficient Head模块前后の类别激活热图。红色框表示缺陷的位置。总之,每种优化方法都达到了预期的设计目的,并从不同角度提高了模型的性能,例如减少参数数量和计算负载,以及提高检测精度。此外,G-C2f、BiFPN-Concat和Efficient Head模块的联合应用可以进一步增强各个优化方法的贡献,使模型能够在检测精度和复杂性之间达到最佳平衡。5. 结论本研究提出了一种基于基线YOLOv8n的新型GBE-YOLOv8模型架构,用于PCB缺陷检测。具体而言,该模型的主干网络采用轻量级的Ghost Conv部分替代了常规卷积,从而降低了模型的计算复杂性和参数数量。模型的颈部网络利用名为G-C2f的多阶段特征融合模块和名为BiFPN-Concat的动态加权模块来增强模型对PCB缺陷的特征表示能力。模型的头部网络采用了Efficient Head,它结合了混合深度卷积和部分卷积,进一步优化了模型的检测精度和计算效率。实验结果表明,与基线模型和其他几种先进的物体检测算法相比,所提出的GBE-YOLOv8模型在关键评估指标(包括检测精度、参数数量、计算复杂性和检测速度)上表现出显著优势。此外,消融研究证实每个优化模块都实现了其预期的设计目标,所有优化模块的联合应用使模型能够在检测精度和复杂性之间达到最佳平衡。尽管GBE-YOLOv8模型在PCB缺陷检测任务中取得了显著成果,但仍存在一个值得进一步探索的问题。在本研究中,该模型严重依赖大量标记样本进行训练。然而,在实际工业场景中,通常只能获得少量具有各种缺陷类型的标记PCB样本。因此,有必要利用来自现实世界场景的自收集数据集来进一步优化模型的小样本学习能力。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号