《Optics & Laser Technology》：A deep learning-based approach for RGB Micro-LED defect detection using microscopic vision
编辑推荐：
针对Micro-LED缺陷检测中存在的像素空间相关性强、缺陷细微且多尺度特征复杂问题，提出基于MMVIS系统构建的RGB Micro-LED缺陷数据集及轻量级LCB-YOLO模型，集成LMSSDH多尺度共享解耦头、CACE通道注意力卷积增强模块和BiFPN-CARAFE结构，在测试集上达到83.0%的mAP50指标。
Xinyi Tan|Zhiguo Xie|Meiyun Chen
自动化学院，广东工业大学，中国广州市番禺区外环西路100号，510006
摘要
在微LED制造中，缺陷检测至关重要。然而，现有的检测方法由于像素的空间依赖性、多尺度特征以及微小缺陷的存在而面临挑战。为了解决这一问题，本文构建了一个微LED显微视觉检测系统（MMVIS），以收集一个新的微LED缺陷数据集。该数据集由RGB子像素组成的全彩色像素构成，这引入了空间依赖性并增加了缺陷检测的复杂性。基于该数据集和系统，提出了LCB-YOLO，这是一个轻量级的缺陷检测框架，旨在以较少的参数实现准确高效的微LED缺陷检测。首先，该框架整合了通道注意力卷积增强（CACE）模块，以加强微弱特征的提取和通道间的交互。其次，采用了BiFPN-CARAFE结构进行高效的多尺度融合，利用可学习的权重和CARAFE的内容感知上采样来保留细节和对齐性。此外，轻量级多尺度共享解耦头（LMSSDH）在较大的感受野内聚合上下文语义信息。在我们的RGB微LED数据集上的实验表明，LCB-YOLO的平均精度（mAP50）达到了83.0%，优于现有模型，展示了其优越的准确性和实际应用性。
引言
微发光二极管（Micro-LED）是一种新兴的显示技术，因其高性能特性（包括高亮度、低功耗和长寿命）而受到广泛关注[1]。除了在消费电子产品（如大屏幕显示器和AR/VR设备）中的应用外，它们在可见光通信、生物医学测试和航空显示器等领域也具有巨大潜力[2]、[3]、[4]。然而，微LED的生产过程涉及多个关键步骤，如晶圆制造、芯片转移和组装。由于尺寸小和设备密度高，这些过程极易出现缺陷，可能导致产量下降[5]。未检测到的缺陷会降低显示性能和成品产量[6]。因此，开发实时、高精度的自动化缺陷检测系统至关重要。传统上，PL、EL和AOI技术被广泛用于微LED缺陷检测[7]、[8]、[9]。然而，面对RGB微LED的空间依赖性子像素、微小缺陷和多尺度特征，传统技术的鲁棒性和适应性不足。更先进的技术，包括显微高光谱成像，也被用于表征微LED的光发射特性和效率。例如，它已被用来评估侧壁化学处理对GaN基蓝色和绿色微LED的空间分辨光学特性和效率提升的影响[10]。同样，它还被用来证明减少量子阱的数量可以减轻侧壁效应并提高AlGaInP基红色微LED的外部量子效率[11]。
深度学习的进步通过实现更全面和准确的图像特征提取，显著改善了工业缺陷检测。主流方法可以分为单阶段、两阶段和基于Transformer的方法。单阶段模型如YOLO[12]和SSD[13]直接在一步中预测边界框和类别标签，从而实现快速高效的检测性能。相比之下，两阶段模型如Faster RCNN[14]在计算复杂性更高的代价下获得了更高的准确性。最近，基于Transformer的方法如DETR[15]引入了自注意力机制来模拟全局依赖性，无需使用锚框，从而增强了特征表示。其中，YOLOv11[16]在速度和准确性之间提供了最佳平衡，特别适合实时工业缺陷检测任务。
深度学习驱动的缺陷检测方法已在PCB[17]、MLCC[18]和钢铁[19]等关键工业领域得到广泛应用。最近，提出了几种轻量级和基于注意力的检测框架，以进一步提高工业检测场景中的检测准确性和效率。例如，LAD-Net引入了一个增强注意力的轻量级网络，用于焊接表面缺陷检测，在复杂的工业条件下展示了改进的特征表示[20]。同样，YOLOv8-QR通过结合注意力机制增强了YOLOv8架构，提高了二维码表面检测中小缺陷和难以区分缺陷的检测能力[21]。
尽管深度学习技术取得了显著进展，但在微LED的实时缺陷检测任务中仍存在未解决的挑战。先前的微LED和LED研究揭示了一些有用的想法，并暴露了一些差距。例如，Chen等人[22]在显微视觉系统中提出了LBG-YOLO，达到了90.8%的mAP和69 FPS的检测速度，而Zhong等人[23]通过引入自注意力瓶颈和类平衡损失开发了CM-YOLOv5模型，以提高小缺陷检测和实时性能。然而，这些方法仅限于单色像素结构。相比之下，我们显微视觉检测系统构建的数据集在每个像素位置都包含RGB子像素。这突显了需要更强大的定位策略。除了纯算法改进外，一些研究还探索了增强成像模式以提供更丰富的线索。AOTF高光谱成像提高了光谱分离度，但它需要专门的光学设备和校准，而且已发表的评估依赖于相对有限的阵列——这对在线检测提出了部署挑战[24]。
RGB微LED缺陷检测的主要挑战在于像素的空间依赖性、微小缺陷（偏移、偏差和断裂）以及多尺度特征（外来物质）。现有的轻量级检测器如YOLOv8-Nano和EfficientDet-D0追求极端参数最小化以适应边缘部署，但往往牺牲了对小缺陷和微小缺陷的检测精度。相比之下，工业缺陷检测需要一种平衡的方法，在保持计算效率的同时增强微尺度缺陷模式的特征表示。为了满足对RGB微LED缺陷进行高效可靠检测的实际需求，本文提出了一个轻量级且性能平衡的网络模型。主要贡献如下：
- 1)
设计了一个微LED显微视觉检测系统（MMVIS），并提出了一个轻量级的LCB-YOLO模型，用于RGB微LED的实时缺陷检测，有效解决了像素空间依赖性、多尺度特征和微小缺陷等挑战。
- 2)
提出的LMSSDH是一个轻量级的多尺度共享解耦头，它结合了细节增强和尺度感知调整，以减少冗余检测并减少参数数量，从而提高准确性。
- 3)
提出的CACE是一个基于通道注意力的多尺度增强模块，它能够自适应地融合局部和全局特征，以低计算成本丰富语义表示。
- 4)
提出的BiFPN-CARAFE增强了多尺度融合和内容感知上采样，以在实时预算下更好地保留结构。
部分摘录
微LED缺陷检测方法
如图1所示，本文构建了一种微LED缺陷检测方法，包括数据集构建、模型训练和实验验证。首先，使用工业相机捕获缺陷图像，并用LabelImg进行标注，形成微LED缺陷数据集。然后，将提出的LCB-YOLO网络与LMSSDH、CACE和BiFPN-CARAFE模块集成在一起，在该数据集上进行训练和验证。最后，将训练好的模型应用于测试集进行缺陷检测。
微LED显微视觉检测系统
所提出的微LED显微视觉检测系统（MMVIS）用于芯片样本，如图7所示。该系统集成了三个关键模块：视觉成像单元（VIU）、三轴运动控制器（TMC）和数据处理器（DP）。
VIU包括一个CMOS相机、一个远心镜头和一个光源。CMOS相机用于捕获样本的图像。相机的分辨率为2448 × 2048像素，像素大小为3.45 μm × 3.45 μm。所有捕获的原始图像都是三通道的
结论
本文对RGB微LED缺陷检测进行了全面研究，包括数据集构建、理论框架设计和实验验证。使用提出的MMVIS建立了一个新的RGB微LED缺陷数据集，以解决现有单色数据集的局限性。从理论上讲，LCB-YOLO框架是通过系统设计三个集成模块开发的：LMSSDH用于尺度自适应的多尺度检测，CACE用于区分性特征
资助
这项工作部分得到了广东省自然科学基金（2025A1515010022）和广东省先进材料与电子元件国家重点实验室（fenghua-2025–0457）的支持。
CRediT作者贡献声明
Xinyi Tan：撰写——原始草稿。Zhiguo Xie：监督。Meiyun Chen：撰写——审阅与编辑。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
