TAFF-YOLO：一种结合Transformer和注意力机制特征融合的增强型YOLO模型，用于芯片内部缺陷检测

《IEEE Transactions on Semiconductor Manufacturing》：TAFF-YOLO: An Enhanced YOLO Model With Transformer and Attention Feature Fusion for Chip Internal Defect Detection

芯片内部缺陷检测面临传统模型难以识别微小低对比缺陷的挑战，本文提出TAFF-YOLO框架融合图像处理与Transformer模型，创新性引入DABSM模块增强全局上下文和感受野，结合ResCBAM特征融合网络及SIoU损失函数优化检测效果。实验表明该方法在三个数据集上平均精度达90.9%，模型仅2.6M参数且实时检测速度167.3FPS，有效平衡精度、复杂度与速度。

　　

摘要：

准确高效地检测芯片内部的缺陷对于确保电子产品的可靠性和产量至关重要。然而，传统的目标检测模型在处理超声图像中的这类缺陷时常常遇到困难，因为这些缺陷的尺寸极小且对比度低。为了解决这些问题，本文提出了一种新的检测框架，该框架结合了图像处理技术和基于Transformer的注意力特征融合YOLO模型（TAFF-YOLO）。该框架首先使用图像处理方法提取单个芯片图像，然后应用手工设计的特征生成算法进行数据增强，以减少过拟合现象。随后，引入TAFF-YOLO模型进行精确的缺陷定位。具体而言，该模型集成了一种可变形注意力背景抑制模块（DABSM），以增强全局上下文信息并扩大感受野，从而更有效地检测小物体。此外，特征融合网络（neck）还增加了ResBlock和卷积块注意力模块（ResCBAM），使模型能够专注于关键缺陷区域，同时抑制无关的背景噪声。平滑交并比（SIoU）损失函数进一步稳定了训练过程并提高了定位精度。来自两个私有数据集和一个公共数据集的实验结果表明，所提出的方法平均精度达到了90.9%，模型规模仅为260万个参数，推理速度为167.3 FPS，有效平衡了检测精度、模型复杂度和处理速度。这表明该方法在实时工业芯片检测应用中具有巨大潜力。

引言

芯片作为电子设备中的关键组件，在计算、通信、医疗和汽车等多个领域都发挥着重要作用。芯片缺陷检测是集成电路封装和质量测试的重要环节，其发展受到了半导体行业和学术界的广泛关注。通常，芯片缺陷可分为两类：外部缺陷和内部缺陷[1]、[2]，其中内部缺陷的检测难度更大，因为肉眼无法直接观察到。尽管非破坏性检测（NDT）技术（如X射线和超声波）可以增强内部芯片缺陷的可见性，但其实际应用受到信号噪声干扰以及手动设备检测效率低下和不准确的限制。因此，研究基于人工智能（AI）的自动检测方法来检测内部芯片缺陷显得尤为重要。这些方法不仅有望提高缺陷检测的效率和精度，还能减轻手动检测的工作负担，从而推动芯片制造行业的高质量发展。