基于扫描路径优化和YOLO的缺陷检测技术,用于检测弯曲且有光泽表面的瑕疵 作者:Min-Gyu Kim, Chibuzo Nwabufo Okwuosa, Jang-Wook Hur

《Sensors》:Scan Path Optimization and YOLO-Based Detection for Defect Inspection of Curved and Glossy Surfaces Min-Gyu Kim, Chibuzo Nwabufo Okwuosa and Jang-Wook Hur

【字体: 大 中 小 】 时间:2026年05月12日 来源:Sensors 3.5

编辑推荐:

  摘要 在工业应用中,产品缺陷检测至关重要;然而,在大规模生产环境中,尤其是对于具有光滑或曲面的产品,这一任务变得越来越具有挑战性。传统上,这类表面的检测依赖于使用量具进行人工视觉检查以及操作员的判断,这种方法不仅耗时,而且容易产生不一致性。本研究提出了一种

  摘要 在工业应用中,产品缺陷检测至关重要;然而,在大规模生产环境中,尤其是对于具有光滑或曲面的产品,这一任务变得越来越具有挑战性。传统上,这类表面的检测依赖于使用量具进行人工视觉检查以及操作员的判断,这种方法不仅耗时,而且容易产生不一致性。本研究提出了一种针对曲面和反射表面的稳健缺陷检测框架,该框架使用了KEYENCE位移激光传感器。该系统结合了Dijkstra算法、最近邻算法和遗传算法来优化激光扫描路径,以生成结构化图像数据。为了验证所提出的框架,研究人员从完好无损和有缺陷的样本中生成了数据集,并使用这些数据集训练了多个深度学习模型。通过比较分析YOLOv8、YOLOv9、YOLOv10和YOLOv11四种架构,结果表明YOLOv11取得了最佳的整体性能,其mAP50分数为0.844,同时表现出更低的计算复杂度和更快的推理速度。

1. 引言
在现代工业制造中,表面缺陷检测在确保产品质量、减少停机时间以及提高生产效率方面起着关键作用,特别是在汽车、电子和金属加工等高精度领域[1]。由于自动化检测系统能够提供更高的一致性和操作效率,它们正越来越多地被用来替代人工质量控制。最近的市场分析表明,随着制造商转向自动化质量保证系统,基于机器视觉的表面缺陷检测市场正在快速发展[2]。然而,自动化检测技术的部署仍面临一些实际限制,包括高昂的实施成本、与现有生产线的复杂集成,以及对专业技术专家的需求。

一个特别具有挑战性的场景是检测具有曲面和高度反射性的组件,如抛光金属或涂覆材料。在这些环境中,表面曲率和反射性常常会产生不规则的照明反射、眩光和低图像对比度,这大大降低了传统基于视觉的检测方法的可靠性[3]。这些光学挑战使得在实际制造环境中准确检测常见的工业缺陷(如裂纹、凹陷和划痕)变得更加困难。此外,工业自动化检测系统的成本大约为每条生产线15万到50万美元,这限制了其在中小型制造企业的应用[4]。因此,提高现有检测系统的效率和效果已成为工业质量控制中的一个重要研究目标。

传统上,操作员依靠视觉和手动检测方法来检测和分类曲面和反射表面上的缺陷,其中表面几何形状和拓扑结构显著影响缺陷的可见性和检测精度[5]。一种常用的技术是使用线宽直径量具,如图1所示。在这种方法中,操作员通过视觉比较检测到的缺陷的宽度和距离来确定产品质量。由于这一过程严重依赖于人类判断和操作员经验,因此引入了较大的变异性,并降低了检测的可靠性,尤其是在高产量制造环境中[6]。这些限制凸显了需要智能和自动化的检测方法来提高检测精度,同时保持高效的检测过程。

随着时间的推移,持续的研究努力促使出了多种缺陷检测技术的发展,包括光学和基于视觉的方法、精密激光和位移传感,以及由人工智能(AI)驱动的独特深度学习方法。光学和基于视觉的方法,如相位测量偏转测量术、结构光投影、偏振成像和光度立体成像,旨在优化图像获取和照明条件,以准确捕捉表面偏差并抑制眩光[7]。这些方法已在多个研究中得到成功应用。Cheng等人[8]提出了一种用于高反射表面的新型缺陷检测方法,他们使用抛光金属板、汽车门碗、后视镜和手机玻璃盖板作为参考样本进行了评估。在他们的研究中,他们引入了一种基于表面在缺陷位置处表现出突变梯度的梯度图表示法。同样,Xiong等人[7]结合了三角测量和红外(IR)偏转测量术的概念,无需复杂集成操作即可重建反射表面的3D地形图,从而实现了一种简单、快速且经济有效的技术,适用于金属冲压检测。此外,Müller等人[9]采用了偏振过滤来最小化表面反射性的影响。在他们的研究中,他们拍摄了两个具有不同偏振方向的图像,并利用它们之间的差异来隔离和抑制平面表面上的镜面反射,从而提高了缺陷检测的准确性。

对于使用激光和位移传感器技术在反射表面上进行缺陷检测,共聚焦激光扫描、白光干涉测量和高精度激光位移传感等方法能够在微米到纳米级别提供尺寸检测和表面轮廓测量,即使在高反射材料上也是如此[10,11]。在[12]的研究中,作者使用共聚焦激光扫描和3D重建方法进行反射表面的缺陷检测。他们应用了共聚焦激光扫描系统,通过结合振镜和压电舞台控制实现高精度3D成像,用于局部扫描,并使用XY舞台进行更大光学区域的亚孔拼接。他们在抛光熔融硅上的实验结果证实,他们的方法可以清晰地可视化和量化缺陷边界、位置和横截面尺寸,为光学制造中的定量评估和优化提供了可靠的基础。在最近的一项研究中,Yoon等人[1]使用KEYENCE位移传感器通过机器人臂从产品的光滑曲面部分生成数据。随后使用这些数据训练深度学习算法进行缺陷检测,取得了所需的准确性和可靠性。

高级深度学习算法的实现往往取决于数据集的性质,而这又受到用于生成数据的技术的严重影响[13]。然而,某些高级深度学习算法由于其更为复杂的架构而表现更好。例如,如果生成的数据集中包含的图像中反射完全掩盖了凹陷或划痕区域,那么深度学习模型的缺陷检测难度会显著增加。这是因为反射伪影可能会掩盖可靠识别缺陷所需的关键视觉特征。此外,在无法避免反射的情况下,已经开发了高级深度学习模型,如生成网络和包含注意力机制的架构,以抑制反射噪声并强调缺陷更可能发生的区域,即使这些区域只是部分可见[14,15]。然而,由于反射表面的复杂性,这些方法并不总是能够保证可靠的检测性能。在许多情况下,用于反射表面缺陷分类的深度学习模型需要额外的数据预处理。常用的技术包括数据增强、图像缩放和方向校正,以提高数据质量并增强特征表示,从而使模型能够提取更具区分性的特征,从而进行准确的缺陷分类[1]。同样,多年来,曲面也被证明是一个挑战,因为大多数数据收集机制都是固定和静态的,难以捕捉到这类表面的高质量图像。然而,具有不同自由度(DoF)的机器人臂已被用于研究,六自由度已成为现代机器人系统的标准[1,16,17]。这些机器人臂确保图像传感器相对于曲面保持最佳的方向和距离,从而捕获一致的画面,最小化由表面几何形状引起的反射或遮挡,并提高下游分类的缺陷可见性。多项研究表明,配备视觉系统的6自由度机器人操纵器在工业应用中是可行的。例如,Liu等人[18]在6自由度机器人上使用了眼动相机进行零件姿态估计;Wang等人[19]为6自由度机器人操纵器开发了一个自适应视觉伺服框架,该框架能够使用基于强化学习的PID控制器跟踪移动目标;最近的一项研究[16]使用具有RGB-D视觉引导的6自由度机器人臂进行加油任务。此外,在处理曲面和光滑表面时,另一项研究[1]结合了机器人臂和先进的成像系统来提高缺陷检测质量。

总体而言,对于基于图像数据集的缺陷检测和分类,应用诊断算法对于开发一个稳健可靠的检测框架至关重要。先进的图像分类和检测方法,包括卷积神经网络(CNNs)、视觉变换器(ViTs)和基于区域的卷积神经网络(R-CNNs),已被广泛用于提取判别性特征并提高识别性能[20,21,22]。深度学习架构如VGG16、ResNet和EfficientNet也在特征表示和迁移学习方面展现出了强大的能力,用于缺陷分类任务[23]。对于物体定位和实时缺陷检测,YOLO(You Only Look Once)和Faster R-CNN等框架通过在工业检测应用中平衡检测精度和计算效率,实现了有效的性能[24,25]。

尽管取得了这些进展,但在曲面和高度反射表面上进行可靠的缺陷检测仍然具有挑战性。复杂的照明反射、不规则的表面几何形状和低图像对比度经常降低图像质量,从而降低了传统检测方法的效果。为了解决这些挑战,本研究提出了一种优化的检测框架,该框架将基于激光的数据采集与基于深度学习的缺陷检测相结合,用于曲面和光滑表面。所提出的方法通过结构化激光扫描增强了缺陷的可见性,同时利用现代物体检测架构实现了准确高效的检测。因此,本研究的贡献包括:

- 对路径规划算法进行比较分析,以确定在计算时间和遍历效率方面最有效的方法。该分析旨在确定用于数据采集过程中优化扫描轨迹的最适合算法。
- 开发了一种优化的混合路径规划策略,将选定的路径算法与最近邻算法和遗传算法相结合,使用安装在机器人臂上的激光位移传感器生成结构化表面数据。所提出的策略通过最小化冗余运动来提高扫描效率,同时确保完整的表面覆盖。
- 使用所提出的扫描框架生成的数据集,评估了多个基于YOLO的单阶段物体检测模型在检测凹陷和划痕方面的性能。基于YOLO的架构因其能够实现高检测精度同时保持实时处理能力而被采用。
- 对检测性能和计算效率进行了全面分析,以确定所提出的框架内最适合实时缺陷检测的模型架构。

2. 理论背景
2.1. You Only Look Once (YOLO)
YOLO是一种先进的单阶段物体检测框架,旨在实现高精度的实时检测。与首先生成区域提案然后对其进行分类的传统两阶段检测器不同,YOLO将物体检测重新定义为一个单一的回归问题,通过卷积神经网络(CNN)的一次性前向传递直接将输入图像映射到边界框坐标和相应的类别概率。这种统一的架构显著降低了计算复杂性和延迟,使YOLO非常适合实时和嵌入式视觉应用[26,27]。YOLO算法通过将输入图像划分为固定的网格单元,每个单元负责预测预定义数量的边界框以及置信度和类别概率。每个边界框预测包括描述框位置和大小的空间参数,以及反映物体存在于框内可能性的对象性分数。最终检测结果是通过组合这些预测并应用非最大值抑制(NMS)来消除冗余和重叠的边界框而获得的[26,27]。尽管不如两阶段检测器准确,但YOLO的低延迟及其竞争级的精度使其更适合实时部署。然而,早期YOLO模型的准确性限制已通过后续的架构改进得到了显著缓解。例如,YOLOv1通过实现高推理速度和可接受的精度,展示了实时物体检测的可行性。在此基础上,YOLOv2通过采用Darknet-19背书、引入锚框和多尺度训练提高了检测性能。YOLOv3通过使用更深的Darknet-53背书和结合特征金字塔网络,进一步提高了检测精度,使得在不同尺度上更稳健地检测物体[26,27]。后续的迭代继续了这种平衡延迟和准确性的趋势。YOLOv4[28]引入了广泛的架构和训练优化,包括跨阶段部分(CSP)连接、空间金字塔池化和先进的数据增强策略,从而在不牺牲实时能力的情况下实现了显著的性能提升。后来的版本,如YOLOv5到YOLOv8[29,30,31,32],通过采用无锚框检测策略、改进的损失函数、增强的特征聚合和多任务学习支持,进一步细化了架构,实现了准确的物体检测以及实例分割和姿态估计等任务[27]。

最近的变体,包括YOLOv9[33]和YOLOv10[34],通过架构重新参数化和优化的标签分配策略,专注于提高训练效率和推理鲁棒性。特别是YOLOv10采用了一种无NMS的检测范式,在训练期间实施一对一的预测匹配,从而消除了推理时的非最大值抑制需求,进一步减少了延迟。这些进展共同凸显了YOLO在实现高检测精度的同时保持实时性能方面的持续进化。基于这些架构原则,预计YOLO的未来发展将进一步细化架构并采用提高效率的设计策略,以缩小单阶段检测器与双阶段检测器之间的精度差距[29]。2.2. Dijkstra算法Dijkstra算法是计算机科学中用于识别具有非负边权的图中最短路径的基础方法,由Edsger W. Dijkstra开发。由于其计算效率和简洁的逻辑,该算法已成为图论的基石[35,36,37]。它的应用范围涵盖了众多现实世界场景,包括在网络中路由数据、在GPS导航系统中计算最优路线以及解决复杂的优化问题。该算法采用贪心算法原理,在每个阶段做出一系列局部最优决策,选择当前最短的路径,目标是最终得到整个图的全局最优解[38,39]。算法首先为每个节点分配一个初始距离值。源节点的距离被设置为零,作为起点,而所有其他节点的距离最初被设置为无限大,表示它们无法到达。所有节点最初都被标记为未访问状态。核心的迭代过程包括选择具有最小临时距离的未访问节点并将其标记为已访问状态。对于每个仍然未访问的邻居节点,算法通过将当前节点的距离与连接边的权重相加来计算新的临时距离。如果这个新计算出的距离小于邻居节点的现有临时距离,则记录较短的距离,并将当前节点标记为前驱节点。这个循环会重复进行,按距离从源节点递增的顺序系统地访问节点,直到所有连接的节点都被访问。完成之后,算法计算出从源节点到图中其他每个节点的最短可能距离。在给定的图中,每个边连接的两个顶点分别用x和y表示,边权的非负值用w表示。在Dijkstra算法的执行过程中,维护两个关键数组:dist存储从源节点S到顶点y的已知最短距离,pred记录当前从S到y的最短路径上的直接前驱节点。算法从方程(1)定义的初始化阶段开始,该阶段为搜索建立了初始条件。然后算法进入迭代过程。对于当前节点x,它检查其每个未访问的邻居节点y,并使用方程(2)中的松弛规则更新它们的临时距离。一旦处理完x的所有邻居节点,x就被标记为已访问状态。算法接着选择具有最小dist值的未访问顶点作为下一个当前节点。这个循环一直持续进行,直到从源节点S可以到达的所有节点都被访问。2.3. 最近邻算法(Nearest Neighbor Algorithm, NNA)最近邻算法(NNA)是一种用于路径优化和组合问题(如旅行商问题TSP)的基本启发式方法[40]。由于其简单性和计算效率,NNA已成为路径规划和空间优化中最受欢迎的贪心算法之一。它的应用范围涵盖了物流、自主导航、制造路径调度和网络路由等多个领域,在这些领域中快速估计接近最优路径至关重要[40,41]。该算法基于贪心选择原则运行,通过一系列局部最优决策逐步构建优化路径。从初始节点开始,NNA不断选择最近的未访问节点作为下一步,假设最小化当前距离将产生接近最优的全局路径[41,42]。这个迭代过程一直持续到所有从源节点S可以到达的节点都被访问。对于每个未访问的候选点,计算当前点与该点之间的欧几里得距离,然后选择距离最小的点并将其添加到路径中,并将其标记为已访问状态。这个过程重复进行,直到所有点都被访问,最终通过累加最终路径中相邻点之间的距离得到总旅行距离(TD)。最近邻算法的优势在于其计算效率和实现的便利性,使其特别适用于实时或资源受限的环境。然而,由于其贪心特性,有时会导致次优解,尤其是在早期局部决策限制了全局优化时。尽管有这一局限性,NNA仍然是一个有价值的基线方法,也是遗传算法、蚁群优化和模拟退火等高级元启发式方法的实际基础。它在简单性和有效性之间的平衡使其成为现代路径优化研究和应用中的持久工具。2.4. 遗传算法(Genetic Algorithm, GA)遗传算法(GA)是一种受自然选择和遗传学原理启发的进化优化技术。它是一种基于群体的搜索方法,旨在在复杂和非线性问题空间中识别接近最优或全局最优解[43,44]。在覆盖路径规划的背景下,GA提供了一种强有力的方法,用于最小化总旅行距离和优化行程点访问顺序,特别是在行程点数量呈指数级增长时[45,46]。GA首先生成一组初始候选解,通常表示为染色体,这些染色体编码了可能的路径或行程点序列。然后使用适应度函数评估每个染色体的质量,该函数根据预定义的优化标准(如总旅行距离、路径平滑度或能源效率)定量评估解的质量。遗传算法通过迭代进化过程应用三种主要遗传操作:选择、交叉和变异。选择根据适应度得分识别最适合的个体,优先考虑性能更好的个体进行繁殖。交叉将选定个体的遗传物质重组以产生新的后代,促进有益特征的交换。变异在后代中引入小的随机变化,以保持遗传多样性并防止过早收敛到局部最优解。这个选择、交叉和变异的循环持续多代,每次迭代逐渐提高整个群体的适应度。当满足收敛条件(如最大迭代次数或最小改进阈值)时,过程终止。GA的一个关键优势是其全局优化能力和对 large、多维和非线性搜索空间的适应性。它并行评估多个候选解的能力提高了收敛效率,同时减少了在次优区域停滞的可能性。因此,GA已成为解决复杂路径规划、调度和控制优化问题的首选方法,而传统确定性算法往往在这方面表现不佳。3. 提出的框架架构提出的故障分类框架包括四个主要阶段:数据收集与路径优化、数据获取、数据预处理以及模型训练和分类,如图2所示。在数据获取阶段之前,需要将KEYENCE LJ-X8200位移传感器(由中国杭州海康威视数字技术有限公司制造)安装到YASKAWA机械臂上,以克服固定传感器在扫描曲面时的局限性。首先实施路径优化阶段,该阶段专注于优化机械臂的运动,使用3D CAD模型中的顶点提取来确定最短和最高效的扫描路径。在评估的各种路径优化技术中,Dijkstra算法在确定最优扫描路径方面的效率最高。此外,为了降低与路径优化过程相关的计算复杂性,还结合了NNA和GA两种算法来进一步提高计算效率。图2. 提出的检测架构。3.1. 用于最短路径生成的Dijkstra算法基于给定数据的3D顶点坐标,使用Dijkstra算法提取从起始点到最远顶点的最短路径,输入包括顶点列表P、起始点坐标start和顶点总数N。为此,实现了算法1来确定从给定起始位置可到达的最远顶点,同时保持Dijkstra最短路径搜索的基本原则。算法首先将起始坐标添加到目标候选点集合中,形成完整的顶点列表(步骤1)。每个顶点代表搜索空间中的一个潜在3D坐标。接着进行初始化,将所有节点的距离设置为无穷大,之前的节点索引设置为-1,访问标志设置为false,确保没有节点被预先分配路径(步骤2)。然后将起始节点的距离设置为零,并将其插入最小优先队列中作为遍历的初始参考(步骤3)。在下一阶段,计算所有顶点对之间的欧几里得距离,形成对称的距离矩阵D(步骤4-6)。建立矩阵后,开始主要的Dijkstra迭代循环。在每次迭代中,从优先队列中提取具有最小临时距离的节点(步骤7)。如果该节点已经被访问,则跳过以避免重复计算。否则,将节点标记为已访问,并评估其所有未访问邻居的距离(步骤8-9)。对于每个相邻的顶点v,计算替代路径成本(步骤10)。如果新计算出的距离更短,则更新临时距离和前驱节点索引,并将邻居重新放入队列中进行后续评估(步骤11-12)。这个过程一直重复,直到优先队列为空,确保从起始点到每个其他节点的最短路径距离都被完全确定(步骤13)。在最短路径传播完成后,算法识别出具有最大最短路径距离的顶点,该顶点代表在Dijkstra框架下可到达的最远顶点(步骤14)。将该顶点索引表示为dest,记录相应的累计距离dist_max。然后通过遍历prev数组中存储的前驱索引来重构最优路径,依次将每个节点添加到路径中,形成有序的轨迹(步骤15-17)。最终输出结果是重构的路径Route,表示从起始点到最远顶点的顶点序列,以及相应的最大最短路径距离dist_max。该算法有效地结合了经典的Dijkstra搜索原理和最远点提取逻辑,提供了计算效率高且空间最优的路径,非常适合机器人扫描、几何检验和精确的3D路径规划任务。算法1 最远距离Dijkstra路径提取输入:destination_challenge(目标候选点集),start_coordinates(起始坐标集),N(顶点数量)输出:start_toDEST(起始点到最远顶点的路径),accumulated_longest_shortest_distance(累积的最短距离)1:2: 初始化3: ; 创建空的最小优先队列4: 对于每对顶点 (u, v),执行以下操作5: 若 u ≠ v,则执行以下操作 6: 否则 继续7: 结束循环8: 对于每个顶点 v,执行以下操作 9: 如果 v belumVisited,则执行以下操作 10: extract_min(提取最小临时距离) 11: 如果 dist_min < dest_distance,则继续 12: 否则 结束if13: 对于每个顶点 i,执行以下操作 14: if dist_i < dist_min,则继续 15: if i != dest,则执行以下操作 16: 更新 dist_i 和 prev_index 17: 将 i 添加到 path_list 中 18: 如果 dist_i >= dist_max,则结束if19: 对于每个顶点 i,执行以下操作 20: 如果 i ≠ dest,则继续 21: 否则 结束if22: 将 u 添加到 path_list 的开头 23: 结束循环24: 对于每个顶点 i,执行以下操作 25: 如果 path_list 未为空,则将 u 添加到 path_list 的开头 26: 结束循环27: 返回 result3.2. 使用混合算法进行路径优化为了优化最短路径生成过程,采用了结合NNA和GA的混合方法。首先应用Dijkstra算法来确定从起始点到每个顶点的最短路径。然而,仅计算到单个目的地的路径不足以高效地覆盖整个搜索空间。因此,随后应用了基于TSP的覆盖路径规划方法。TSP寻找一条恰好访问所有顶点且总旅行距离最小的路径,但其高计算复杂性使得找到确切的最优解在实践中是不可行的。因此,使用了混合的NNA–GA方法来高效地近似最优覆盖路径。算法2展示了所提出的混合路径规划优化框架的详细实现过程。算法2 混合最近邻–遗传算法(NNA-GA)用于路径优化输入:N(种群规模),G(最大迭代次数),T(锦标赛规模),C(交叉概率),P(变异概率),dist_max(最小路径距离)输出:optimized_path(优化后的路径)1: 对于每对顶点 (u, v),执行以下操作2: 计算 u 到 v 的欧几里得距离3: 将 u 添加到 candidate_points 集合中,形成完整的顶点集4: 对于每个顶点 i,执行以下操作 5: 生成随机排列 6: 将随机路径添加到 initial_population 中 7: 对于每对顶点 (u, v),执行以下操作 8: 计算 u 到 v 的总距离 9: 选择具有最佳适应度的路径作为下一代 10: 对于每对顶点 (p1, p2),执行以下操作 11: 生成随机排列 12: 将随机路径添加到 population 中 13: 对于每个顶点 i,执行以下操作 14: 如果 dist_min < dist_max,则继续 15: 选择最佳适应度的路径作为下一代 16: 更新 population 17: 对于每个顶点 i,执行以下操作 18: 选择最佳适应度的路径作为下一代 19: 对 Population 进行交叉操作 20: 对于每个顶点 i,执行以下操作 21: 选择最佳适应度的路径作为下一代 22: 对 Child 进行变异操作 23: 结束循环 24: 返回 optimized_path每个顶点代表搜索空间中的一个潜在3D坐标。随后,计算所有顶点对之间的对称欧几里得距离矩阵D,其中每个元素表示两个顶点之间的空间分隔(步骤2-4)。遗传算法的初始种群是通过首先使用NNA计算一条路径来生成的,该路径从某个起点开始,通过顺序访问最近的未访问顶点来构建一条启发式路径(步骤5)。这条NNA路径被添加为种群中的第一个个体,其余的个体是通过保持起始顶点固定的情况下,对顶点进行随机排列来生成的(步骤6-7)。然后执行主遗传算法循环,经过G代来优化路径长度。在每一代中,评估种群中每个个体的适应度,适应度是其总路径距离的倒数(步骤8)。适应度最高的个体被选为优秀路径,并直接传递到下一代,以保留迄今为止找到的最佳解决方案(步骤9)。使用遗传操作符填充下一代种群的其余部分。对于每个新个体,通过锦标赛选择来选择两条父路径,随机选择T个候选者,并选择适应度最高的个体作为父路径(步骤10-11)。然后对两条父路径应用顺序交叉,以产生一个子路径,同时保持顶点的相对顺序,并确保每个顶点出现一次(步骤12)。随后以概率对子路径进行变异,通过交换两个随机选择的顶点,同时保持起始点不变(步骤13)。这个过程重复进行,直到下一代种群达到所需的大小N(步骤14)。经过G代后,算法输出具有最大适应度(最小总距离)的路径,代表从起点开始通过所有顶点的优化轨迹(步骤15)。通过结合NNA的启发式优势和遗传算法的全局搜索能力,这种混合方法能够高效地识别复杂3D路径规划、检测和机器人导航任务的接近最优路径。这种混合使算法能够利用NNA提供的快速启发式路径,同时使用遗传算法探索提高整体覆盖效率的替代路径,与单独使用任何一种方法相比,总路径明显更短。

3.3. 模型性能评估标准
评估模型对于建立其鲁棒性和泛化能力至关重要。在本研究中,我们使用了一套全面的评估指标来评估模型的性能。所采用的全局指标包括准确率(Acc)、精确度(Pre)、F1分数(F1)、敏感性(Sen)、特异性(Spe)和平均精确度(mAP)。这些指标定义如下:
(5) (6) (7) (8) (9) (10)
其中,(False Negative)、(True Negative)、(False Positive)和(True Positive)分别代表假阴性、真阴性和假阳性;而(Average Precision of a given class x)和(Total number of classes)分别代表给定类别x的平均精确度和类别总数。准确率衡量模型的整体分类性能,定义为正确预测的样本(包括正面和负面)与总预测数量的比率。精确度评估正面预测的可靠性,表明在所有预测的正面案例中正确识别的正面案例的比例。敏感性(也称为召回率或真阳性率)量化模型正确识别实际阳性实例的能力,而特异性(真阴性率)衡量其准确检测阴性实例的能力。另一方面,F1分数代表精确度和敏感性的调和平均值,提供一个平衡的指标,同时考虑了假阳性和假阴性,这在处理不平衡的数据集时特别有用。这些指标共同提供了在不同类别分布下模型性能的全面评估。此外,mAP作为一个跨所有类别的全球性能指标,计算了每个类别的平均精确度值,其中每个(Average Precision)对应于精确度-召回曲线下的面积。较高的mAP值表示更好的整体模型性能,因为它同时考虑了精确度和召回率特性。

在这个背景下,(False Negative)、(True Negative)、(False Positive)和(True Positive)代表分类性能的基本组成部分。具体来说,(True Positives)表示模型正确识别出的阳性案例,而(True Negatives)指正确分类的阴性案例。相反,(False Positives)表示模型错误地将阴性实例分类为阳性的案例,(False Negatives)表示模型未能识别出实际的阳性案例。

4. 实验设置和框架实现
本节详细介绍了实验设置、数据描述、程序、模型架构和可视化,提供了本研究中采用的方法论框架的全面概述。
4.1. 数据描述和路径优化
数据收集过程是在韩国古市的Kumoh国立技术学院的实验室进行的。该程序包括多个阶段,旨在建立一个稳健的框架以提高模型性能和效率。本研究使用的数据集来自位于韩国古市市的一家化妆品制造公司。研究的主题是一个心形发刷盒,具有弯曲和反射表面,设计用于美学吸引力和用户体验的优雅性,如图3所示。数据收集过程包括以下阶段:从产品的3D CAD模型中提取顶点,选择最短路径搜索算法,使用混合方法优化路径,并将优化后的路径坐标输入激光传感器以生成数据。图3. 实验数据收集设置。
4.1.1. 从3D CAD转换中提取顶点
为了检测心形盒子上的表面缺陷,首先从其CAD模型(STEP文件)中提取顶点坐标,如图4所示。CAD模型被导入为一个实体对象;然而,为了简化分析,只考虑了外部表面,排除了内部体积。因此,提取的顶点对应于模型外表面的边缘和面之间的几何交点。这些点作为表示产品外部结构的关键参考坐标,用于后续的缺陷检测。从心形盒子STEP文件中总共获得了232个三维顶点,然后对它们进行离散化,以支持扫描仪定位并定义机械臂的运动路径。这个初步阶段建立了路径优化过程的空间基础。
4.1.2. 最短路径搜索算法
从CAD模型中提取顶点后,下一个阶段涉及比较评估多种路径寻找算法,以确定最有效和计算效率最高的 shortest path 确定方法。在考虑的算法中,实现了Dijkstra算法、Bellman–Ford算法、Floyd Warshall算法和A*(星形)算法,并在表1中进行了分析和小结。每种算法都基于关键性能指标进行了评估,包括时间复杂度、空间复杂度以及处理复杂空间配置和不同节点密度的能力。Floyd Warshall算法可以计算所有顶点对之间的最短距离;然而,其(时间复杂度)和高空间要求使其对于包含232个顶点的心形盒子模型来说效率低下。同样,单源Bellman–Ford算法在相同条件下也表现出较低的计算效率,因为其时间复杂度高于Dijkstra算法。
表1. 最短路径算法比较。另一方面,Dijkstra算法能够从单一起始点高效地确定到所有可达顶点的最短路径,并在时间和空间复杂度方面表现出色,适合实际路径生成。尽管Dijkstra算法通过从源节点系统地扩展到所有可达节点来保证最短路径,但在密集图中可能会产生较高的计算开销。相比之下,A*算法引入了一个启发式函数,将实际成本与到目的地的估计成本结合起来,显著提高了计算效率,同时保持了在可接受的启发式条件下的最优性。因此,考虑到效率和适用性,本研究采用了Dijkstra算法作为后续实验的最短路径方法。如第3.1节所述,Dijkstra算法被用来分析提取的233个顶点,包括起始点。最远的顶点被识别为第58个索引(Dmax),累积距离为2998.40毫米。基于Dijkstra算法生成的路径概览如图5所示。
4.1.3. 混合路径优化
对于3D顶点集,首先应用Dijkstra算法确定从起始点到每个顶点的最短路径。虽然对于点对点导航有效,但这种单源方法在计算上要求较高,并且在这种情况下无法实现完整的空间覆盖。为了克服这些限制,开发了一种混合优化策略,结合了GA进行全局探索和NNA进行局部路径细化。这种混合优化器使得总路径距离减少了73.2%,从2998.40毫米减少到803.35毫米。结果优化的路径展示了整个搜索空间的高效遍历,如图6所示。
4.2. 机电模型与实验和仿真评估
心形盒子的外部被建模为一个基于网格的表面,使用KEYENCE LJ-X8200传感器进行测量,传感器规格在表2中提供。在可视化过程中,设置了宽度为3.0米、间距也为3.0米的条带,以全面表示路径周围的空间分布。此外,由于传感器的特性,数据采集需要满足最小测量距离的要求。因此,在实验中,从心形盒子的顶部应用了垂直测量条件,以计算满足所需距离的机械臂末端执行器的坐标。实验设置和使用MATLAB(R2025b)工具分析的优化路径如图7所示。在仿真和实验中,Yaskawa 6轴机器人的末端执行器关节b被固定,使其X轴与全局Z方向对齐,确保激光扫描器始终朝下。心形盒子的原点设置在(0, 4, 2.4),末端执行器的起始坐标定义为(0.4, ?0.05, 0.56)。传感器的高度为95毫米,由于原始坐标系是以米为单位的,因此应用了0.01的缩放因子以进行准确的转换。从实验中计算出的累积行驶距离为803.4毫米,与仿真的803.351毫米结果非常接近,表明实验和仿真结果之间有很高的一致性。
表2. 激光位移规格。
4.3. 使用Roboflow和数据描述的边界线设置
Roboflow被用于图像注释、数据集管理、预处理和导出配置。使用边界框对缺陷区域进行注释,以准确捕捉它们的位置和空间范围。这种方法使得缺陷位置能够被精确表示,这对于可靠地定义感兴趣区域和对象定位至关重要。完整的数据集包含10,194张图像,原始分辨率为人像素,被分为8920张训练图像、424张验证图像和850张测试图像,以确保稳健的学习和无偏的绩效评估。在预处理过程中,应用了自动图像方向校正,所有图像都使用Roboflow的(v3, 2025)导出程序调整为人像素,该程序独立调整宽度和高度以标准化尺寸,同时保留边界框注释。在YOLO模型训练期间,图像进一步调整为640 × 640像素,这是网络的输入要求。这种两步调整引入了最小的几何失真,并不会对缺陷检测性能产生不利影响。数据增强操作被用来增强数据集的多样性,每个训练示例生成三个输出。增强操作包括水平和垂直翻转、色调变化在到范围内,以及曝光调整在到之间。所有注释的数据都以COCO(Common Objects in Context)格式导出,因为它原生支持边界框注释和精确的空间编码。
4.4. 算法参数
在本研究中,我们使用了YOLO对象检测框架的四个变体,即YOLOv8、YOLOv9、YOLOv10和YOLOv11。这项比较评估的主要目标是确定与我们的数据集特征最兼容的变体,最终目标是开发出一个高效、准确且鲁棒的检测模型。为了确保架构的公平性和可比的表示能力,所有模型都使用它们各自的大规模(L)配置实现,即YOLOv8l、YOLOv9l、YOLOv10l和YOLOv11l,从而在所有实验中保持相似的参数规模和计算复杂性。所有实现都是使用Ultralytics框架完成的,这是一个广泛采用的开源平台,它提供了标准化的架构、优化的训练框架和一致的评估协议。采用统一框架通过最小化实现偏差并在数据预处理、超参数配置和训练程序上保持一致性来确保比较的公平性。因此,模型之间观察到的性能差异主要归因于架构设计选择,而不是实现上的不一致性。

本研究中评估的最新变体YOLOv11的架构如图7所示。YOLOv11主要通过增强表示能力而不是仅仅关注计算效率来超越YOLOv10。具体来说,YOLOv11结合了更深的和更多重复的C3k2块,从而实现了更强的多阶段特征细化。在主干网络的最深层,它集成了空间金字塔池化快速(SPPF)模块,随后是C2PSA注意力机制,从而改善了全局上下文建模和通道-空间特征感知。相比之下,YOLOv10采用了更加注重效率的设计策略。

5. 训练与评估
所有模型都在配备了NVIDIA GeForce RTX 3070 GPU(8 GB VRAM)、第11代Intel Core i7-11700处理器(2.50 GHz)和32 GB RAM的工作站上进行了100个周期的训练,操作系统为64位。数据集描述和对边界框进行注释后应用的增强程序在4.3节中进行了总结。原始数据集在增强前包含4247张图像,增强后增加到10,194张图像。“凹痕+划痕”类别指的是产品同时存在凹痕和划痕缺陷的情况。数据增强仅应用于训练集,以提高模型的泛化能力,同时防止验证和测试数据集中的偏差。数据集组成和增强过程的总结见表3。

图8展示了四种YOLO变体在100个周期内的验证类别损失曲线。类别损失有助于强调分类性能和类别间的区分能力。由于类别损失直接反映了模型正确分配对象类别的能力,因此它为这种比较分析提供了更相关的指标。

图8. 所有评估模型在训练周期内的验证类别损失曲线。验证类别损失曲线表明YOLOv10实现了最低的验证类别损失,显示出比其他模型更优秀的分类泛化能力。YOLOv11紧随其后,具有稳定的收敛行为。YOLOv9在所有模型中显示出最高的验证类别损失。尽管YOLOv8和YOLOv9在早期训练周期表现出较低的类别损失值,但这一趋势并未持续。在后期周期中,YOLOv10和YOLOv11显示出较低的验证类别损失,表明泛化性能有所提高。

为了进一步评估这些模型,训练mAP50被用作衡量检测准确性和定位可靠性的定量指标。比较结果总结在图9中。从图中可以看出,收敛趋势与类别损失曲线类似;然而,在这种情况下,YOLOv11的表现略优于YOLOv10,这与验证类别损失结果相反。此外,还展示了训练mAP@50–95、精确度和召回率指标,以提供对模型整体性能的全面评估,见图10。

图9. 所有模型的mAP50评估。(a) 收敛趋势;(b) 预测样本。

图10. 训练性能曲线,展示了模型在训练过程中的学习行为:(a) 在IoU阈值0.50–0.95下的平均精度(mAP50–95);(b) 精确度;(c) 召回率。这些曲线展示了模型在训练周期中的收敛特性和检测性能。从图10a中的mAP50–95图的可视化来看,YOLOv11和YOLOv10的表现大致相似,略微优于YOLOv9和YOLOv8。值得注意的是,所有模型的mAP50–95得分都高于0.50,考虑到光滑和弯曲表面的挑战,这表明了强大的定位性能。然而,在精确度和召回率指标中没有观察到这种趋势。如图10b,c所示,所有模型显示出几乎相同的精确度和召回率值,表明在评估的变体之间分类一致性相当。

在对检测模型进行综合评估时,如果不对其进行未见数据集上的性能测试,则不能认为评估是完整的。虽然训练和验证指标提供了关于收敛行为和泛化趋势的见解,但真正的模型鲁棒性最好通过独立的测试推断来确定。因此,所有训练过的YOLO变体都在一个单独的测试数据集上进行了评估,以评估它们的实际检测能力。图11展示了YOLOv11l的检测性能示例。在此推断阶段获得的比较性能指标总结在表4中,提供了对每个模型在之前未见条件下的泛化能力、检测准确性和定位可靠性的明确评估。

图11. YOLOv11在测试数据集上产生的缺陷检测结果的可视化。对于每个示例,都展示了原始图像和相应的检测输出。(a) 凹痕缺陷示例;(b) 划痕缺陷示例;(c) 组合缺陷示例。边界框表示检测到的缺陷。

表4. 在测试数据上对模型的评估。结果表明,所有评估的模型在未见数据上都展示了强大的泛化能力,在精确度、召回率和平均精度(mAP)指标上表现相对一致。然而,当更详细地检查检测准确性和定位鲁棒性时,会出现细微但有意义的差异。

在评估的变体中,YOLOv10实现了最高的精确度(0.883),表明在最小化误报检测方面表现更为出色。这种行为表明它采取了相对保守的预测策略,优先考虑了对象确认的可靠性。相比之下,YOLOv8记录了最高的召回率(0.794),反映了检测更多真实对象的能力,尽管在精确度上略有妥协。

在IoU = 0.5时的检测性能方面,YOLOv11实现了最高的mAP50(0.844),略微优于其他变体。这个结果表明在精确度和召回率之间取得了良好的平衡,反映了在标准重叠标准下的稳定可靠的检测行为。同时,YOLOv9的表现具有竞争力,mAP50为0.834,略低于领先模型。

在更严格的定位条件下(mAP50–95),所有模型的表现几乎相同(0.525),表明在不同IoU阈值下的边界框回归能力相当。mAP50和mAP50–95之间的可观察差距表明,尽管分类置信度很强,但在更高的IoU阈值下精确定位仍然是一个共同的挑战。

除了聚合指标外,图12中提供的按类别的性能分析进一步揭示了模型在不同缺陷类别(划痕和凹痕)上的表现。对于划痕类别,YOLOv11和YOLOv8实现了最高的mAP50(0.931),表明对长条形表面缺陷有很强的敏感性。YOLOv9在更严格的条件下显示出略高的定位稳定性(mAP50–95 = 0.661),表明对于划痕类型特征的边界框细化有所改进。对于凹痕类别,YOLOv10实现了最高的mAP50(0.764)和最高的mAP50–95(0.407),显示出对紧凑变形模式的更强检测和定位性能。然而,尽管有这些特定于类别的优势,其整体mAP50仍然略低于YOLOv11。图12中的类别分析还表明,凹痕检测本质上比划痕检测更具挑战性,这从所有模型中一致的较低mAP50–95值中可以得到证明。这表明紧凑缺陷几何形状对边界框回归的难度更大。

图12. 模型的按类别评估性能:(a) 在IoU = 0.50时的平均精度(mAP50);(b) 在IoU阈值0.50–0.95范围内的平均精度(mAP50–95)。评估模型的混淆矩阵显示在图13中。测试数据集包含1081个缺陷实例,包括631个凹痕样本和450个划痕样本。这些矩阵通过显示正确的检测、类别间误分类和遗漏的检测来说明每个YOLO变体的分类行为。对于YOLO11,模型正确检测到484个凹痕实例和404个划痕实例。只有一个凹痕样本被错误地分类为划痕类别,表明两者之间的区分能力强。然而,有146个凹痕样本和46个划痕样本被预测为背景,表明大多数错误是由于遗漏的检测而不是类别混淆造成的。对于YOLO10,模型实现了最高的凹痕检测数量,正确检测到496个实例,而划痕检测略微下降到393个正确实例,有57个遗漏样本。尽管类别间误分类仍然很小,但较高的背景预测表明对某些划痕模式的敏感性降低。YOLO9和YOLO8的性能相当,正确检测到大约475–476个凹痕实例和396个划痕实例,只有少数跨类别错误。然而,两个模型的遗漏检测数量都较高,表明与更强变体相比检测敏感性较低。

图13. 混淆矩阵:(a) YOLO11l;(b) YOLO10l;(c) YOLO9l;(d) YOLO8l。总体而言,所有模型都表现出非常低的类别间误分类,证实了在学习的特征空间中凹痕和划痕缺陷被很好地区分开来。主要限制是假阴性,即缺陷被预测为背景。

此外,表5中的计算评估提供了关于每个模型部署可行性的关键见解。虽然检测准确性至关重要,但实际的工业应用,特别是在实时检测系统中,需要仔细考虑模型复杂性、浮点运算(GFLOPs)和推断延迟。在评估的架构中,YOLOv11展示了最理想的效率概况。它具有2530万个参数和最低的计算负担(86.6 GFLOPs),实现了最快的推断时间,为12.8毫秒。这表明了优秀的架构优化,能够在降低计算开销的同时实现高检测准确性。

表5. 计算评估。尽管YOLOv10的参数数量最少(24.3 M),但它需要显著更高的计算工作量(120.0 GFLOPs),表明在前向传播期间算术强度增加。这降低了其效率优势。YOLOv9显示出中等计算需求(102.3 GFLOPs)和14.0毫秒的推断时间,使其在效率上位于YOLOv11和YOLOv10之间。相比之下,YOLOv8显示出最高的模型复杂性,具有4360万个参数、164.8 GFLOPs和最慢的推断时间(16毫秒),表明其计算开销较大,但没有相应的检测性能提升。

在将计算效率与检测鲁棒性(包括按类别评估)相结合时,YOLOv11保持了明显的整体优势。因此,从考虑预测性能和运行时效率的系统级别角度来看,YOLOv11实现了最佳平衡。这使得它成为实时部署场景中最合适的架构,其中计算资源和延迟限制是关键因素。

6. 讨论与结论
本研究提出了一个通过集成Dijkstra最短路径算法和结合神经网络近似与遗传算法的混合优化策略来优化激光位移传感器的数据生成框架。该方法旨在解决与曲线形和光滑表面实例相关的挑战,传统扫描策略经常受到反射引起的噪声、路径冗余和采样密度不一致的问题。基于Dijkstra的公式通过将扫描域建模为加权图来实现全局路径最优性,在此图中,遍历成本根据几何曲率和表面反射特性进行定义。这确保了高效的空间覆盖,同时最小化了冗余运动。为了进一步提高适应性,引入了混合NNA–GA优化机制来细化扫描参数和传感器定位。神经近似模块提供了接近最优配置的快速估计,而遗传算法确保了全局探索并避免了过早收敛。这些整合共同改善了复杂表面几何形状的收敛稳定性和鲁棒解决方案。

总体评估指标显示所有模型都表现出强大且一致的性能泛化。YOLOv10实现了最高的精确度,表明了更出色的误报抑制能力。YOLOv8获得了最高的召回率,反映了改进的检测敏感性。然而,YOLOv11实现了最高的mAP50,表明在精确度和召回率之间实现了最平衡的权衡。在更严格的定位标准(mAP50–95)下,所有模型的性能趋于相似值,表明边界框回归能力相当。按类别评估揭示了不同缺陷类别之间的明显性能模式。对于划痕缺陷,所有架构中的YOLOv11和YOLOv8实现了最高的mAP50,而对于凹痕检测,YOLOv10在更严格的IoU阈值下显示出略强的定位稳定性。然而,没有一种架构能够在两种缺陷类型和评估阈值上都始终占据主导地位。计算效率分析进一步为模型的实际部署适用性提供了参考。YOLOv11不仅在推理时间上最快,而且GFLOPs( GokuFLOPS,即每秒百万次运算次数)最低,同时仍保持了较高的检测精度。相比之下,YOLOv8的参数数量和计算成本显著增加,但性能提升并不明显;而YOLOv9和YOLOv10则表现出介于两者之间的效率。综合考虑检测的鲁棒性、类别间的稳定性(见图6)以及计算复杂性,YOLOv11在精度和效率之间实现了最佳的平衡,使其成为实时工业应用中最合适的模型。

该框架的一个局限性在于,在更严格的IoU(Intersection Over Union,即交并比)阈值下,其对凹陷缺陷的检测性能相对较低。凹陷缺陷具有紧凑的几何形态、微妙的变形以及较低的边缘显著性,这使得精确定位比检测长条形划痕更具挑战性。光滑表面的反射还可能进一步降低边界框的精度。未来的工作可以通过有针对性的数据增强、可变形的卷积机制、深度感知集成或基于注意力机制的特征增强来缓解这一局限性。此外,研究还将进一步验证该缺陷检测框架在包含更多复杂几何形状的工业模具上的适用性,这超出了当前研究的范围。一旦能够使用完整的机械臂和激光位移感知系统,还需要评估相应的性能指标。这些扩展将有助于更全面地评估该框架在实际工业场景中的适应性和有效性,从而增强研究结果的说服力。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号