SSFF-DETR：一种用于微系统设备的表面污染物检测变压器，采用尺度序列特征融合技术 崔梦晓（Mengxiao Cui）、 卢丽萍（Liping Lu）和 李汉山（Hanshan Li）

《Applied Sciences》：SSFF-DETR: A Surface Contaminant Detection Transformer for Microsystem Devices with Scale Sequence Feature Fusion Mengxiao Cui, Liping Lu and Hanshan Li

　　摘要 微系统设备广泛应用于航空航天等关键领域。在制造过程中产生的各种污染物具有形态多样且容易受到背景干扰的影响，这使得它们难以被检测。为了解决这个问题，本文提出了一种基于尺度序列特征融合（SSFF-DETR）的微系统设备表面污染物检测变压器。该模型基于实时检测变压器（RT-DETR）框架，以更快的高效通道注意力（Faster-ECA）作为主干网络，增强了污染物关键特征的提取能力和计算效率。通过在主干网络末端引入动态特征区域协作注意力（DFRCA），有效增强了污染物特征与背景之间的对比度，从而提高了模型识别污染物的能力。同时设计了一种基于尺度序列特征（SSF）和三分支特征融合（TFF）的编码器，通过增强多尺度表示，有效保留了复杂背景下的污染物细节特征，并减轻了深度网络传输过程中的特征丢失问题。实验结果表明，与RT-DETR模型相比，SFFE-DETR模型的平均精度（mAP）提高了2.6%。同时，每秒千兆次浮点运算次数（GFLOPs）减少了2G，参数数量减少了0.8M。这为微系统设备中高精度、高效率的表面污染物自动化检测提供了一种可行的解决方案。

1. 引言
在工业制造过程中，由于工作环境、设备操作和人为操作等因素，产品表面不可避免地会附着各种意外的残留物或外来物质，这些物质统称为污染物[1]。在微系统设备的制造过程中，污染问题尤为突出。微系统设备是指使用微电子和微机械加工技术制造的微型化、高度集成的功能单元[2]。其制造过程涉及光刻、蚀刻和键合等多种精密工艺[3,4]。在此过程中，工艺产生的残留物、环境颗粒的沉积以及设备磨损产生的微粒容易附着在设备表面，形成各种类型的污染物。这些污染物的存在对微系统设备的性能和可靠性构成了严重威胁，可能导致电路短路、信号干扰、接触不良甚至设备故障。因此，在设备封装前对其进行精确检测是确保产品质量和可靠性的关键步骤[5]。然而，污染物的检测面临重大技术挑战：它们的形态高度不规则且多样，尺寸通常在微米级别，远超人眼的分辨率极限，必须使用金相显微镜等高精度成像设备进行观察[6]。同时，污染物常常与设备基底的复杂背景难以区分，进一步增加了识别和定位的难度。因此，开发能够应对多种形态和强背景干扰的精确污染物检测技术至关重要，这直接影响到航空航天和雷达通信等领域高端设备的整体性能和可靠性。

在当前的工业场景中，微系统组件表面污染物的检测主要采用自动光学检测（AOI）技术，通过图像特征比较来识别污染物[7]。然而，对于容易与背景混淆的污染物，其识别准确性较低，漏检问题较为突出。相比之下，基于计算机视觉的自动检测方法可以有效解决这些缺点并提高检测自动化水平。这些方法主要分为传统图像处理算法和深度学习算法。传统图像处理算法依赖于人工设计的特征，在特定场景下有效，但适应性较差。而深度学习方法通过卷积神经网络等结构，能够自动学习图像的多层次特征，具有更强的泛化能力，逐渐成为复杂工业检测任务的主流技术。然而，在将深度学习算法应用于微系统设备表面污染物检测时存在显著挑战：污染物通常具有显著的形态差异，基底背景复杂多变，导致目标特征容易被背景噪声淹没，从而影响检测精度。为了解决上述问题，本文提出了一种基于RT-DETR框架的微系统设备污染物检测方法。本文的主要贡献如下：
- 构建了在金相成像条件下微系统设备污染物的数据集，并在此基础上提出了基于尺度序列特征融合（SSFF-DETR）的微系统设备表面污染物检测变压器。该模型结合了基于更快高效通道注意力（Faster-ECA）的主干网络和尺度序列特征融合编码器，降低了模型复杂性同时保证了检测精度，适用于微系统设备的污染物检测任务。
- 构建了Faster-ECA模块，整合了高效通道注意力（ECA）和高效部分卷积（PConv），不仅显著压缩了参数和计算量，还提高了污染物关键特征的提取能力。
- 鉴于污染物形状和大小的变化， 在主干网络末端引入了动态特征区域协作注意力（DFRCA），增强了识别边缘模糊和背景干扰强污染物的能力。
- 设计了基于尺度序列特征（SSF）和三分支特征融合（TFF）的编码器，通过整合多尺度特征，有效增强了小污染物的稳定表示，并有效缓解了特征丢失问题。

本文结构如下：第2节阐述了相关研究工作；第3节介绍了用于检测微系统设备表面污染物的算法网络架构；第4节进行了实验和分析；最后第5节得出结论。

2. 相关工作
早期的微系统设备检测方法主要集中在手动视觉检测、基于接触的测试和自动光学检测技术上。手动视觉检测依赖肉眼或放大设备进行直接观察[8]，虽然操作简单，但主观性强且重复性差，难以满足微米级设备的精度要求。基于接触的测试方法，如飞针测试和ICT针床检测，通过探针接触实现电气功能验证，可以有效检测电路故障，但受物理接触点布局限制，难以适应高密度封装，开发成本较高。自动光学检测（AOI）利用图像特征比较实现非接触式缺陷识别，检测速度快且可在线部署，但其准确性高度依赖于预设模板和参数配置。面对复杂背景和形状多变的污染物时，容易发生漏检或判断错误。总之，早期方法无法平衡检测精度、效率和适应不同形态污染物的能力。

随着机器学习技术的发展，基于传统机器学习算法的检测方法逐渐应用于微系统设备的识别任务。这些方法通常通过人工设计的特征提取操作符从图像中提取污染物的纹理、形状或边缘特征。与传统AOI技术相比，传统机器学习方法在一定程度上提高了对复杂特征的建模能力。对于设备缺陷检测，Bae等人[9]提出了一种基于几何特征的快速PCB孔洞检测方法，首先使用自适应边缘检测获取边缘图像，然后利用圆的对称性将PCB图像转换为距离空间以准确定位孔洞。Yang等人[10]提出了一种基于图像处理的MEMS裂纹检测方法，通过图像锐化、灰度处理、增强和Canny边缘提取获得裂纹边缘信息。Deng等人[11]提出了一种基于能量层次迭代图像配准的PCB缺陷检测方法，将图像配准问题转化为基于边缘点的能量优化问题。尽管传统图像处理方法在特定场景下有一定效果，但其适应性较差，对背景复杂和形状多变的污染物检测效果有限。

与传统机器学习方法不同，深度学习模型可以通过端到端联合优化在复杂环境中学习污染物特征，因此在工业检测领域得到了广泛应用。在检测微小缺陷方面，Tong等人[12]提出了SCP-DETR模型，增强了小目标的特征金字塔结构，提高了模型提取微小缺陷特征的能力。然而，这种方法在增强小目标检测时引入了额外的计算成本，导致模型参数数量增加。Cao等人[13]提出了MRC-DETR模型，采用自适应多残差耦合Transformer结构增强特征融合能力，但模型设计较为复杂，训练收敛速度较慢。Zhang等人[14]提出了MSA-DETR模型，设计了小目标对齐和频率增强金字塔以实现多尺度特征对齐，解决了PCB缺陷尺寸小导致的检测问题，但实时性能仍有待提升。Wang等人[15]在RT-DETR基础上提出了层次尺度敏感注意力机制（HSA），增强了小目标缺陷的特征信息，但模型复杂性较高，需要优化。Peng等人[16]提出了MDDNet主干网络，引入了HiLo注意力机制同时捕获高频和低频特征，解决了PCB微缺陷检测问题，但该模型仅在特定PCB数据集上进行了验证，其泛化能力需要进一步测试。

在检测形态多样的缺陷方面，An等人[17]提出了一种基于Transformer的LPViT模型用于PCB缺陷检测和分类；然而，Transformer模型在处理高分辨率图像时计算负担较重，难以应用于实际工程场景。Xia等人[18]提出了一种结合ConvMixer预测头的全局上下文注意力增强YOLO模型；但整体模型仍受YOLO系列主干网络基本特征提取能力的限制，难以应用于微小污染物的检测任务。Jiang等人[19]提出了一种联合多尺度PCB缺陷目标检测和注意力机制RAR-SSD，在陶瓷基底缺陷检测中，但SSD架构本身依赖于多个特征图的预测。尽管深度特征图语义丰富，但空间分辨率低，容易丢失微小目标的精确位置和详细信息。Guo等人[20]提出了基于知识蒸馏的低分辨率陶瓷基底图像缺陷检测方法，但可能难以获得足够数量的高质量样本，难以满足该方法的应用要求。He等人[21]提出了深刻特征探索和交互网络，解决了陶瓷基底表面缺陷检测中特征提取不足和特征融合效果差的问题；但其网络设计未针对尺寸更小、形状更不规则的污染物进行优化。Jiang等人[22]提出了基于YOLOv8的PCB-FS框架，采用双域卷积自适应融合空间和频率域特征，解决了PCB缺陷形状多样难以检测的问题。然而，其性能需要在更多的工业场景中进行验证。在检测模型的轻量化方面，Jiang等人[23]提出了DCR-YOLO，这是一种用于PCB表面缺陷检测的轻量级网络；然而，当应用于具有显著特征差异的微系统设备上的污染物时，其轻量级模块可能无法有效捕捉和处理这些更微妙的特征，从而导致检测性能显著下降。Kong等人[24]提出了一种基于YOLOv8n的轻量级模型GESC-YOLO，解决了PCB检测模型的高复杂性和在实时设备上部署的困难；然而，模型压缩不可避免地会导致一些表示能力的损失。Zhou等人[25]针对现有PCB缺陷检测算法的准确率低和检测速度慢的问题，提出了一种基于MSD-YOLOv5的PCB缺陷检测算法；然而，该算法对微系统设备上表面污染物的检测能力有限，因为这些污染物的规模远小于任何PCB缺陷，并且信噪比较低。Li等人[26]提出了一种高效且轻量级的PCB缺陷检测模型EL-PCBNet；然而，模型压缩和效率优化通常会以降低特征表示能力为代价，这可能使模型难以保持区分微米级污染物的能力。Lei等人[27]提出了一种轻量级的自适应卷积网络，该网络通过自适应卷积核动态调整感受野，从而在显著减少模型参数和计算复杂性的同时确保检测准确性。Zuo等人[28]提出了MDEB-YOLO轻量级实时检测网络，该网络将原始检测头基于分组卷积重构为轻量级分组卷积头。该模型在参数和速度方面有显著优化，但其对极小缺陷的检测能力不足。

目前基于深度学习的检测方法在PCB和陶瓷基板等组件上取得了显著进展，为工业质量检测的自动化和智能化奠定了重要基础。然而，模型设计通常针对的是相对明显的缺陷，难以直接应用于微系统设备的污染物检测任务。分析现有研究中提出的模型，尽管基于卷积的YOLO系列模型具有轻量级的优势，但在微级小目标的特征提取和全局上下文建模方面存在局限性。基于Transformer的DETR方法在检测微小目标方面表现出色，但它们具有较大的模型参数和高计算复杂性，使得在资源受限的工业场景中难以实现实时检测。目前，很少有研究能够同时满足多种目标形式的检测精度要求以及对轻量级模型的需求。RT-DETR作为第一个在Transformer架构上实现实时检测的模型，通过采用高效的混合编码器设计显著提高了推理速度，同时保留了全局建模能力，从而解决了上述矛盾。因此，在本文中，采用RT-DETR作为基线模型，并提出了适用于微系统设备的SSFF-DETR模型。通过优化特征提取和融合模块，构建了一个具有高精度和效率的污染物检测模型。

3. 方法
3.1. 总体架构
为了解决检测微系统设备上表面污染物的挑战，本文首先使用金相显微镜收集并构建了一个包含三种类型污染物的专用数据集。在此基础上，本文提出了一种具有尺度序列特征融合（SSFF-DETR）的微系统设备表面污染物检测Transformer。总体架构如图1所示。首先，收集到的微系统设备的高分辨率图像作为输入进入SSFF-DETR网络。在特征提取阶段，采用了更快的高效通道注意力（Faster-ECA）块作为轻量级主干网络。通过部分卷积（PConv）和高效通道注意力（ECA）的协作机制，保留了关键特征，同时抑制了复杂的背景干扰。提取的特征随后输入到动态特征区域协作注意力（DFRCA）中，进一步增强低对比度目标的特征表达。DFRCA增强后的特征被发送到基于尺度序列融合（SSF）和三分支特征融合（TFF）的编码器中进行多级特征融合。SSF分支通过序列建模捕获跨尺度依赖性，而TFF分支通过三个并行分支提取全局上下文和局部细节。最后，融合的特征由检测头解码，输出污染物的精确位置和分类结果。

在检测微系统设备上的表面污染物过程中，本研究使用了配备LED冷光源的金相显微镜来捕获图像。在整个成像过程中，关键参数（如光源强度、白平衡和曝光时间）保持不变，确保了数据集在成像条件上的一致性。这使得设备表面污染物的详细特征能够清晰呈现。如图1所示，微系统设备的污染部分非常小，最小的仅占据几十个像素。形状不规则且多样。根据形状，污染物被分为三类：金属污染物、颗粒污染物和助焊剂残留物。金属污染物主要是具有镜面反射特性的银锡珠，在图像中表现为清晰的圆形或椭圆形亮区。颗粒污染物主要是各种大小的不规则形状的灰黑色杂质，分布随机。助焊剂残留物通常表现为边缘模糊或渐变的暗色小斑块。这些不同的形态和特征为模型准确识别不同类型的污染物提供了足够的视觉证据。

3.2. SSFF-DETR
为了应对微系统设备上污染物形式多样所带来的检测挑战，本文选择RT-DETR作为基线模型。RT-DETR是一种专为实时检测任务设计的Transformer架构，集成了CNN主干网络和Transformer编码器-解码器结构。其设计兼顾了全局上下文建模能力和推理效率，适用于需要准确性和效率平衡的微系统设备和污染物检测任务。主干网络通常采用ResNet等CNN架构从输入图像中提取多尺度特征图。模型的核心在于高效混合编码器，它由两个子模块组成。基于注意力的 intra-scale 特征交互（AIFI）仅作用于最低分辨率的特征图，并通过多头自注意力机制捕获全局上下文。跨尺度特征融合模块（CCFM）通过类FPN结构融合多尺度特征，并引入RepBlock进行特征增强。编码器仅设置了一层，降低了计算成本。最后，引入了查询选择机制从编码特征中过滤出高质量的初始目标查询，Transformer解码器直接输出检测结果。在此基础上，本文提出了SSFF-DETR，通过针对性改进进一步提高了模型的污染物检测性能。其结构如图2所示。首先，为了使模型能够快速提取污染物特征并抑制复杂背景的干扰，使用四个Faster-ECA块构建了主网络。每个块由PConv和ECA组成。ECA沿通道维度重新调整特征，减少了参数数量，同时有效抑制了背景噪声。其次，对于边缘模糊且与背景对比度低的污染物（如助焊剂残留物），在主网络末端引入了DFRCA模块。该模块首先通过动态范围卷积重新排列特征的空间分布，分离对角区域中的污染物像素和背景像素。然后，使用双路径直方图自注意力机制，在全局和局部维度上聚合特征，增强了低对比度目标的表示强度。最后，为了缓解微小金属污染物和颗粒污染物在多层特征传输过程中的信息损失问题，设计了尺度序列特征融合编码器。它包含两个子模块SSF和TFF。SSF沿通道维度堆叠最后三个Faster-ECA块输出的多尺度特征，通过3D卷积进行跨尺度交互，并将融合特征注入RepC3模块以增强微小目标的细节响应。TFF使用四个Faster-ECA块提取的多尺度特征，通过上采样和特征融合操作，逐渐将深层语义信息整合到浅层细节特征中。即，上采样后的第四层输出与第二层和第三层融合，然后再进行上采样，提取的特征被反馈并与第一层和第二层融合。上述协同改进使SSFF-DETR能够在保持推理速度的同时提高对多种形式污染物的检测精度。

3.3. Faster-ECA块
为了在计算效率和特征表示能力之间取得平衡，本文构建了Faster-ECA块，该块集成了PConv和ECA。这个块可以在减少模型参数数量的同时确保提取污染物特征的能力。其详细结构如图3所示。在Faster-ECA块的特征提取过程中，输入特征图通过平均池化操作和卷积层进行降维处理，以获得低维特征。同时，特征提取和通道扩展通过Faster-ECA模块和卷积层完成；降维后的特征与通道扩展后的特征相加并融合，调整尺寸以使其与输入特征图的尺寸一致。然后特征进入残差结构。它们首先在卷积层中处理，然后通过Faster-ECA模块增强关键特征。输入特征通过跳跃连接后，通过ReLU激活并输出，形成完整的残差连接，最终产生特征。在Faster-ECA模块中，PConv和ECA结合在一起。其中，PConv仅对输入特征图的部分通道进行常规的3 × 3卷积以捕获空间特征，而其余通道保持原状不进行任何卷积操作。与对所有通道进行3 × 3卷积相比，PConv减少了参数数量，同时保留了更多特征。卷积操作完成后，特征进入ECA。通过一维卷积实现局部通道交互，并生成自适应通道权重以重新调整特征，增强提取污染物特征的能力并抑制背景噪声。ECA是一种从（Squeeze-and-Excitation）SE注意力机制改进而来的通道注意力模块。与SE不同，ECA消除了全连接层，采用自适应的一维卷积来捕获通道之间的交互关系，从而增强了对污染物关键特征的响应，同时降低了计算复杂性。具体来说，该机制首先对输入特征图进行全局平均池化（GAP），将空间维度压缩为1 × 1以获取每个通道的全局信息。然后，使用自适应函数选择一维卷积的核大小k，函数定义如下：
??=???(??)=?log2?????+?????odd (1)
其中 ?? 表示通道数量，?? =2，?? =1。这种映射确保卷积核能够覆盖合理的局部通道交互范围。通过一维卷积操作学习通道之间的依赖性后，通过Sigmoid激活生成每个通道的注意力权重；最后，这些权重与原始特征图的相应通道逐元素相乘，得到加权特征图。通过上述方法，ECA不仅增强了Faster-ECA块提取污染物特征的能力，还有效抑制了由基底复杂纹理引起的背景噪声。

3.4.动态特征区域协作注意力（Dynamic Feature Region Collaborative Attention, DFRCA）

对于那些在边缘上难以区分且与背景对比度较低的污染物类别，例如难以识别的通量残留物，本文引入了动态特征区域协作注意力（DFRCA）机制。该模块包括动态范围卷积（dynamic-range convolution）和双路径直方图自注意力（dual-path histogram self-attention）机制。其中，动态范围卷积用于重新调整分数特征（fractional features）的空间分布，而双路径直方图自注意力机制结合了全局和局部特征，旨在增强边缘模糊目标（如通量残留物）的特征表示，并抑制背景干扰。其具体结构如图4所示。

在DFRCA模块中，动态范围卷积的核心功能是重新调整分数特征的空间分布，结构上重新排列目标像素（如通量残留物）和背景像素，使卷积核能够在动态范围内进行计算，从而在抑制背景干扰的同时保留关键的目标信息。给定输入特征?? ∈????×??×??，沿通道维度将特征分为两个分支??1和??2。依次对??1进行水平排序和垂直排序。将对应于背景噪声的像素和对应于弱目标（如通量残留物）的像素分别排列在矩阵的对角线区域。沿通道维度将排序后的??1和??2连接起来，然后依次通过1 × 1点卷积和3 × 3深度可分离卷积（3 × 3 depthwise separable convolution）来完成动态范围卷积。

双路径直方图自注意力机制基于动态范围卷积输出的特征，进一步优化了对目标（如通量残留物）的注意力分配。具体来说，动态范围卷积的输出被分为特征值?? ∈????×??×??和两组查询键???????,1,???????,2 ∈??2???×??×??。然后，将其传递到两个独立的分支。首先对??序列进行排序，并根据它们的索引相应地排列查询键：

??,??? = Sort?(????×???????×??×???(??)) (5)
??1,??1 = Split?(Gather?(????×???????×??×???(???????,1),??)) (6)
??2,??2 = Split?(Gather?(????×???????×??×???(???????,2),??)) (7)

其中????×???????×??×??表示从????×??×??到????×?????的重塑操作。??是排序值的索引，Gather表示根据给定索引检索张量元素的操作。

接下来，设置间隔数为B。将排序后的特征重塑为C × B × HW/B的维度。为了提取全局和局部特征，提出了两种直方图处理方法：基于粒度的直方图细化（Granularity-Focused Histogram Refinement, GHR）和基于区域的直方图重组（Region-Wise Histogram Reorganization, RHR）。RHR将特征划分为B个间隔，每个间隔包含HW/B个像素，从而捕获大范围的动态位置信息。而GHR设置每个间隔的频率，使间隔总数等于HW/B，从而保留通量残留物边缘模糊的局部信息。随后，这两组查询键特征分别通过自注意力计算进行重塑和处理，然后在输出阶段进行逐元素乘法运算以获得最终结果。

通过上述协作机制，DFRCA能够有效解决通量残留物与背景之间的混淆问题。它在动态范围卷积中实现了目标像素的结构化重新排列，并通过双路径直方图自注意力中RHR和GHR的互补设计，同时捕获目标的全局分布和局部边缘细节，从而增强了模型对弱特征区域的感知能力。

3.5. 规模序列特征融合编码器（Scale Sequence Feature Fusion Encoder）

为了减轻多层特征传输过程中小型金属污染物和颗粒污染物的信息损失问题，本文提出了一种基于SSF和TFF的编码器，如图2所示。其中，SSF将主干网络的最后三个特征图水平堆叠并调整到相同的分辨率以便拼接。然后对这些堆叠的特征图进行3D卷积，以提取规模序列特征，从而增强小型污染物在多尺度特征中的细节响应。计算公式如下：

?????(??,?) = ?????(??,?) × ???(??,?) (11)
?????(??,?) = 123·??2·??2·(??2 + ?2)2·??2 (12)

其中f(w,h)表示高度为h、宽度为w的2D图像。Fσ(w, h)是通过使用高斯滤波器进行卷积操作得到的。σ表示用于卷积的2D高斯滤波器的缩放因子。

为了在特征融合过程中保留浅层细节信息并增强对小型污染物的检测能力，本文设计了TFF，它通过逐层上采样和加法操作逐步融合四个Faster-ECA块输出的多尺度特征，使深层语义信息逐渐融入浅层细节特征中。这有效地缓解了小型污染物特征损失的问题。其结构如图5所示。

该过程将特征分为大、中、小三个尺度。通过放大大尺度特征图的尺寸，增强了细节，从而增加了细节特征信息的丰富度。在特征编码之前，首先调整特征通道的数量以与主尺度特征一致。对于大尺度特征图，使用最大池化和平均池化组合进行下采样以保留高分辨率特征和细节。对于小尺度特征图，使用最近邻插值方法进行上采样以保持局部特征的丰富度并防止信息损失。最后，将三个相同大小的特征图（大、中、小）沿通道维度连接起来。

4. 结果

4.1. 数据集和实验环境

为了验证本文提出的模型在检测微系统设备上污染物的性能，本研究构建了一个微系统设备金相图像的数据集。使用金相显微镜收集了微系统设备的表面图像，所有原始图像的分辨率为2048 × 1536像素。为了适应深度学习模型的输入大小，将收集的原始图像分割成640 × 640像素的子图像。在此基础上，使用标注工具在所有子图像中标注污染物，构建了最终的数据集。数据集包含总共20,000个有效样本，包括6000张含有金属污染物的图像、7000张含有颗粒污染物的图像和7000张含有通量残留物的图像。为了确保训练、验证和测试阶段各类别数据分布的一致性，每个类别分别独立随机划分为8:1:1的比例。最后，它们被汇总形成训练集、验证集和测试集。这种分类方法不仅保持了数据的随机性，还确保了每个子集中类别组成的平衡。同时，考虑到样本类别之间的固有数量差异，本实验在分类损失函数中引入了类别权重机制。这使得模型在训练过程中对少数类别的分类错误施加更高的惩罚，从而引导模型更加关注样本量较小的类别。为了提高模型的泛化能力，本研究对训练集进行了数据增强。具体操作包括在?30°到+30°范围内进行随机旋转、随机缩放0.8到1.2倍、随机调整亮度和对比度±20%，以及应用核大小从3到5的高斯模糊。这种策略有效地扩展了训练样本的多样性，并增强了模型对尺度、光照和噪声变化的适应性。

本研究的所有实验都在统一的硬件和软件平台上进行，以确保实验结果的公平性。具体操作系统为Ubuntu 22.04，CPU为Intel Xeon(R) Platinum 8352V，GPU为NVIDIA GeForce RTX 4090。开发环境基于Python 3.12、PyTorch 2.5.1和CUDA 12.1。所有比较模型采用了相同的训练策略。为了确保每个模型达到最佳性能，参考了每个模型官方实现的推荐配置。参数（如梯度裁剪阈值和正则化系数）进行了微调，并在训练过程中监控验证集损失以选择最佳模型。训练超参数的具体设置如表1所示。

4.2. 评估指标

本实验采用精确度（Precision, P）、召回率（Recall, R）、平均精确度（Mean Average Precision, mAP）、精确度和召回率的加权调和平均值（F1-score）、每秒千兆浮点运算次数（Giga Floating-Point Operations Per Second, GFLOPs）以及参数数量（Params）和每秒帧数（Frames Per Second, FPS）作为检测性能的评估指标。具体公式如下：

P = TP + FPR
FN = TP + FP
mAP = 1/n * ∑i=1^N AP_i (13)

其中P表示模型精确度，R表示模型召回率，TP表示正确预测为污染物的正样本数量，FP表示错误预测为污染物的正样本数量，FN表示错误预测为非污染物的负样本数量。

精确度指的是模型预测为正的样本中实际为正的比例。召回率指的是模型正确预测为正的样本中实际为正的比例。F1分数是精确度和召回率的调和平均值，用于平衡精确度和召回率。mAP是目标检测领域的核心评估指标，它计算所有类别的精确度（AP）的平均值，从而全面评估模型在不同召回率下的性能及其整体多类别识别能力。同时，FPS、GFLOPs和Params用于评估检测效率。FPS表示模型在特定硬件平台上每秒可以处理和完成检测的图像数量，是评估模型实际部署效率和实时性能的关键指标。GFLOPs用于衡量模型前向推理计算的复杂性，反映了硬件计算资源的需求；Params表示模型中的可学习参数总量，反映了模型的存储需求和训练难度。参数数量越大，模型的理论表达能力越强，但也更容易过拟合。

4.3. 模型性能验证

为了评估本文提出的模型的检测准确性，本文分析了模型训练过程中的关键指标。训练动态可视化结果如图6所示。图中损失函数的演变曲线清楚地表明，随着训练次数的增加，训练集和验证集上的三个核心损失函数都呈现出显著且稳定的下降趋势，最终收敛到较低水平。没有观察到明显的过拟合或欠拟合现象，直观地证实了模型训练过程的稳定性和有效性。在测试集上的最终性能评估显示，所提出的模型达到了80.5%的mAP，核心评估指标P和R分别达到了83.4%和76.0%。

为了评估模型对各种污染物的检测性能，本研究还在评估系统中包含了正常的微系统设备作为特定类别。通过将模型的识别结果与实际注释进行比较，定量评估了模型在每个目标类别中的分类准确性。评估结果以混淆矩阵的形式直观地展示在图7中。在该矩阵中，横轴代表模型的预测结果，纵轴代表实际注释。通过分析混淆矩阵可以看出，由于通量残留物的特征相对清晰，模型在这种类型的异物检测中实现了80.9%的mAP（平均精度）。对于具有较小目标和不太明显特征的金属污染物和颗粒污染物，模型的mAP值分别为78.1%和76.8%，表明它可以有效检测到大多数这些目标。与基线模型RT-DETR相比，本文提出的SSFF-DETR模型在金属污染物、颗粒污染物和通量残留物的检测中分别提高了2.2%、1.6%和3.6%的AP（平均精度）值。总之，本文提出的SSFF-DETR模型在三种类型的场外物体检测任务中实现了高准确性。图7. 模型验证结果的混淆矩阵。(a) RT-DETR的混淆矩阵。(b) SSFF-DETR的混淆矩阵。

4.4. 对比实验
为了验证本文提出的SSFF-DETR模型相对于基线和主流方法的改进效果，与几种主流物体检测网络（如RetinaNet [29]、Faster R-CNN [30]、RTMDet [31]、YOLOv3 [32]、YOLOv5、YOLOv11、Deformable DETR [33] 和 RT-DETR）进行了对比实验。所有模型都在相同的硬件平台和软件环境下进行训练和测试，并使用完全相同的超参数。模型的性能对比结果如表2所示，mAP和损失函数的对比曲线展示在图8中。表2. SSFF-DETR模型的对比实验结果。MC代表金属污染物，PC代表颗粒污染物，FR代表通量残留物。图8. 各模型的对比曲线。(a) 各模型的损失对比曲线。(b) 各模型的mAP对比曲线。(c) 性能和效率对比图。从表2的数据可以看出，现有模型在处理微系统设备表面污染物检测任务时遇到了各种挑战。RetinaNet的mAP为75.2%，但FPS（每秒检测次数）仅为22。尽管该模型通过焦点损失函数缓解了类别不平衡问题，但在检测准确性和特征提取效率之间的平衡仍有改进空间。Faster R-CNN的mAP为75.1%，但其参数量为45.4 M，计算成本为210.0 G，FPS仅为15。作为轻量级模型，RTMDet的mAP为76.8%，推理速度为71 FPS。然而，其在金属污染物和颗粒污染物方面的AP略低。计算开销相对较高。YOLO系列在速度上有明显优势，其中YOLOv5的FPS为106，但其mAP为76.6%，低于RT-DETR的77.9%。YOLO系列中的YOLOv11的mAP最高，为77.4%，但三种污染物的AP值分别为77.0%、76.5%和78.7%，其在小金属污染物和颗粒污染物方面的性能仍不足。Deformable DETR作为Transformer的变体，实现了77.3%的mAP，但其GFOLPs（图形特征操作量）为173.0 G，参数量为40.8 M，FPS仅为13，难以满足实时检测的要求。RT-DETR作为Transformer架构，mAP为77.9%，参数量为20.3 M，计算成本为59.2 G。然而，它并未针对不同类型的污染物进行专门优化。其在金属污染物方面的AP为77.5%，在颗粒污染物方面为76.7%。本文提出的SSFF-DETR模型通过Faster-ECA模块和尺度序列特征融合编码器，分别实现了金属污染物和颗粒污染物的AP为79.7%、78.3%和82.5%，通量残留物的mAP为80.5%，参数量减少到19.7 M，计算成本降低到57.4 G。同时，它保持了105 FPS的推理速度，仅次于YOLOv5。总之，SSFF-DETR在检测准确性和模型轻量化方面优于对比模型。从图8可以看出，与其他模型相比，SSFF-DETR模型在收敛后实现了最高的准确性和最低的损失值，并保持了相对较快的收敛速度。

为了进一步验证本文提出的SSFF-DETR模型在微系统设备图像中检测污染物的能力，本研究选择了三种类型的污染物图像：金属污染物、颗粒污染物和通量残留物作为测试对象，并将测试结果与RetinaNet、Faster R-CNN、RTMDet、YOLOv3、YOLOv5、YOLOv11、Deformable DETR和RT-DETR模型的结果进行了比较。紫色边界框表示检测到的金属污染物，红色边界框表示颗粒污染物，蓝色边界框表示通量残留物。每个预测框右上角的数字代表它们的置信度水平。具体的视觉对比结果展示在图9中。从对比结果可以看出，本文提出的SSFF-DETR模型在检测性能上具有显著优势。特别是对于图像中特征较弱的小颗粒污染物，除了YOLOv5、YOLOv8、RT-DETR和SSFF-DETR外，其他模型的漏检程度各不相同。这表明它们在复杂背景中对微小目标的感知能力不足。即使在成功检测到目标的模型中，SSFF-DETR预测的边界框的置信度通常也显著高于其他模型，表明其生成的检测结果更准确可靠。总之，视觉对比结果充分证明了SSFF-DETR模型在物体检测任务中具有更强的识别能力和更好的检测准确性，尤其是在检测微小颗粒这一具有挑战性的任务中。图9. 不同模型检测结果的视觉对比。(a) 原始图像。紫色框代表金属污染物，红色框代表颗粒污染物，蓝色框代表通量残留物。(b) RetinaNet。(c) Faster R-CNN。(d) RTMDet。(e) YOLOv3。(f) YOLOv5。(g) YOLOv11。(h) Deformable DETR。(i) RT-DETR。(j) SSFF-DETR。“MC”标签表示金属污染物，“PC”标签表示颗粒污染物，“FR”标签表示通量残留物。

4.5. 不同特征增强模块的对比测试
为了验证DFRCA模块对微系统设备检测任务的影响，以RT-DETR作为基线模型，引入了AIFI、AIFI-DA、ASSA [34]、DPB [35] 和本文提出的DFRCA模块作为特征增强模块进行对比实验。结果如表3所示。表3. 不同特征增强模块的对比。从表中可以看出，每个特征增强模块都能在不同程度上提高基线模型的检测性能。具体来说，AIFI-DA模块优化了特征交互和解耦，将mAP提高到78.1%，同时将计算成本降低到57.5 G并将FPS提高到82；ASSA模块采用自适应稀疏自注意力，通过并行稀疏和密集分支平衡噪声过滤和信息保留，实现了77.6%的mAP，但召回率相对较低，为74.4%；DPB模块引入动态位置偏置增强以适应不规则目标，实现了78.0%的mAP，其综合性能优于ASSA；ETB模块通过频域-空间域纠缠学习增强特征表达，将mAP提高到78.4%。提出的DFRCA模块在所有指标上表现最佳，mAP为78.6%，准确率为81.2%，计算成本仅为57.3 G，参数量为20.0 M，FPS为85，实现了准确性和效率之间的最佳平衡。与基线AIFI相比，DFRCA将mAP提高了0.7%，同时没有增加计算开销，并将推理速度提高了11 FPS，充分验证了动态范围卷积和双路径直方图自注意力机制在增强边缘模糊和低对比度污染物特征方面的有效性。

4.6. 消融实验
为了验证本文提出的每个改进模块的有效性，并评估它们对网络模型性能的具体影响，设计了消融实验。所有模型都在相同的硬件平台和软件环境下进行训练和测试，并使用完全相同的超参数。不同模块组合下的详细性能对比结果如表4所示。基于表4的数据，还创建了条形图，如图10所示。表4. Faster-ECA模块、DFRCA模块和编码器的消融实验结果。“√”表示采用了该模块。所有实验编号从1到8。图10. 不同模块组合下的消融实验性能对比。从图中可以看出，引入每个模块都带来了不同程度的性能提升，随着模块的逐步集成，模型准确性显示出稳定的提升趋势。根据表3中的消融实验结果进行了详细分析。以RT-DETR为基线，当不包含任何改进模块时，模型的mAP为77.9%，参数量为20.3 M，计算成本为59.2 G，推理速度为74 FPS。单独引入Faster-ECA模块后，mAP提高到78.5%，参数量降至20.0 M，计算成本降至58.5 G，推理速度提高到92 FPS，表明该模块在增强特征提取能力的同时减少了计算负担；单独引入DFRCA模块后，mAP提高到78.6%，推理速度达到88 FPS，表明其对边缘模糊目标的识别有积极影响；单独引入尺度序列特征融合编码器后，mAP提高到78.8%，但由于引入了额外的特征融合操作，计算成本增加到61.0 G，推理速度降至68 FPS，表明该模块为了提高准确性牺牲了一定的效率。当Faster-ECA模块和DFRCA结合使用时，mAP提高到79.1%，参数量进一步减少到19.4 M，计算成本降至57.0 G，推理速度提高到98 FPS，显示出轻量化和准确性提升的协同效应；Faster-ECA模块和尺度序列特征融合编码器的组合效果最佳，mAP为79.7%，推理速度为96 FPS，证明轻量级骨干网络和多尺度融合的有效性；DFRCA和尺度序列特征融合编码器的组合将mAP提高到79.4%，但计算成本回升到60.5 G，推理速度降至85 FPS，表明两者的结合会在一定程度上增加计算负担。当三个模块全部集成时，与基线相比，SSFF-DETR的mAP提高了2.6个百分点，参数量减少了0.8 M，计算成本减少了2 G，推理速度提高了31 FPS。前端轻量化有效压缩了特征冗余。DFRCA的特征净化优化了后续输入，两者共同降低了尺度序列特征融合编码器的计算负担，使其运行更加高效。这种优化使SSFF-DETR的推理速度超过了其他改进方案。这一结果充分验证了这三个模块设计的有效性。Faster-ECA模块负责轻量级的特征提取，DFRCA模块增强了对模糊目标的识别能力，而尺度序列特征融合编码器通过多尺度融合保留了小目标的细节。这三个模块共同作用，实现了在准确性、速度和轻量化之间的最佳平衡。上述实验结果清楚地表明，本文提出的SSFF-DETR模型在准确性、轻量化设计和速度方面都优于基线模型RT-DETR，并且在所有这些方面都优于其他对比模型。然而，该模型仍存在一定的局限性。对于一些尺寸接近或小于图像传感器分辨率极限、与背景颜色对比度极低的污染物，模型仍会出现漏检的情况。这主要是由于这类目标的视觉信息太弱，难以提取和区分其有效特征。

5. 结论

为了解决微系统设备中多种形式污染物的检测问题，本文提出了一种结合尺度序列特征融合的检测变换器算法，用于微系统设备中的表面污染物检测。本文的主要贡献如下：
(1) 构建了微系统设备表面污染物的检测数据集，并基于该数据集系统地验证了所提出检测方法的可行性和有效性。这为微系统场景中的小目标检测任务提供了数据基础和评估基准。
(2) 提出了SSFF-DETR模型。该模型基于RT-DETR，并加入了Faster-ECA模块，减少了模型的参数数量和计算复杂度，同时增强了了对污染物关键区域的感知能力。引入了DFRCA模块，提高了对边缘模糊且背景干扰强烈的污染物的识别能力。基于SSF和TFF的编码器通过整合多尺度特征，增强了小污染物的稳定表示，有效缓解了特征丢失的问题。

实验结果显示，本文提出的SSFF-DETR模型在自建的微系统设备数据集上达到了80.5%的mAP值，准确率为83.4%，召回率为76.0%，F1分数为79.6%。在计算效率方面，该模型具有1970万个参数，计算成本为57.4 G FLOPs，推理速度为105 FPS。在准确性、参数数量和计算成本方面，它优于RetinaNet、Faster R-CNN、RTMDet、YOLOv3、YOLOv5、YOLOv11、Deformable DETR和RT-DETR。

尽管SSFF-DETR在金属污染物、颗粒污染物和焊剂残留物的检测准确率分别达到了78.1%、76.8%和80.9%，但在复杂的成像条件下仍存在一定的局限性。当目标被高反射区域覆盖或与背景重叠时，模型对金属污染物和颗粒污染物的漏检率会增加。此外，当前模型的性能验证主要基于本研究构建的数据集，其泛化能力仍需进一步验证。为了解决这些问题，未来的研究工作将重点设计针对反射和遮挡的增强模块，并收集涵盖更多类型微系统设备和不同成像条件的样本，以构建更加多样化的训练集。