基于ToF与RGB跨模态ROI生成的金属表面缺陷检测方法

《Sensors》：ToF Intensity-Guided Cross-Modal Region of Interest Generation for Metal Surface Defect Detection

　　

摘要

高速量产环境对可靠的表面检测提出了迫切需求，因为金属表面缺陷会直接影响产品可靠性和工艺稳定性。近期，自动表面检测系统越来越多地采用基于RGB图像的深度学习检测器来识别划痕、凹陷和污染等缺陷。然而，在实际检测场景中，小型金属组件的位置和姿态在帧间可能存在变化，且金属表面的反射特性会使背景纹理在视觉上与缺陷图案相似。本研究提出了一种跨模态感兴趣区域（ROI）生成框架，将飞行时间（ToF）强度图像与RGB图像相结合，在缺陷检测前定义稳定的组件级ROI。该方法利用金属表面镜面反射导致的ToF强度图像中的信号衰减和缺失模式，作为目标定位的结构线索。从ToF强度图像中提取的前景支持区域通过连通域分析被分割为目标候选区域，随后通过预标定的单应性矩阵投影到RGB坐标系中。由投影区域生成自适应目标的ROI，并将其提供给基于YOLO的缺陷检测器。实验结果表明，与基线YOLO26模型相比，该方法将mAP@50从0.585提升至0.796，证明ToF引导的目标自适应ROI生成能够有效地减少背景干扰，并提高金属表面缺陷检测中的定位稳定性。