DMR-YOLO:一种用于航空发动机部件表面缺陷检测的轻量级视觉检测方法
Tong Jinwu,
Cao Han,
Lu Xinyun,
Zhang Xin,
Gao Bingbing
《Aerospace》:DMR-YOLO: A Lightweight Visual Inspection Method for Surface Defect Detection of Aero-Engine Components
Jinwu Tong,
Han Cao,
Xinyun Lu,
Xin Zhang and
Bingbing Gao
【字体:
大
中
小
】
时间:2026年04月15日
来源:Aerospace 2.2
编辑推荐:
摘要 精确的表面缺陷检测对于确保航空发动机组件在制造和组装过程中的测量精度和装配可靠性至关重要。轴承作为航空发动机中的关键旋转部件,对可能导致应力集中和 premature failure 的表面缺陷非常敏感。然而,複雜的缺陷类型、低对比度的纹理以及多尺度
摘要 精确的表面缺陷检测对于确保航空发动机组件在制造和组装过程中的测量精度和装配可靠性至关重要。轴承作为航空发动机中的关键旋转部件,对可能导致应力集中和 premature failure 的表面缺陷非常敏感。然而,複雜的缺陷类型、低对比度的纹理以及多尺度特征给现有的輕量級视觉檢測模型带来了重大挑战。为了解决这些问题,本文提出了一种改进的輕量級檢測模型,称为 DMR-YOLO,它基于 YOLOv8n。引入了一种 Diverse Branch Block (DBB) 以增强多尺度特征提取,并改善複雜缺陷模式的表示。嵌入了 Multi-Level Channel Attention (MLCA) 机制以加强判別性特征通道并抑制由低对比度纹理引起的背景干扰。此外,设计了一个 ResidualADown 模块在降采样过程中保留关键特征信息,从而提高微妙缺陷的检测能力。在轴承表面缺陷数据集上的实验结果表明,所提出的模型实现了 89.3% 的 mAP,相比 YOLOv8n 提高了 2.8%,同时保持了 138.6 FPS 的实时推理速度。另外,在鋼表面缺陷数据集上进行的泛化测试证明了所提出方法的鲁棒性和跨数据集的迁移能力。
1. 引言
在现代航空航天制造中,航空发动机组件需要极高的尺寸精度、结构可靠性和操作安全性。轴承作为航空发动机系统中的关键旋转部件,在支持高速旋转轴和确保稳定动力传输方面发挥着重要作用 [1]。在航空航天推进系统中,准确监测和诊断轴承状况对于确保操作安全和防止灾难性故障至关重要。最近的研究探索了基于深度学习的智能诊断方法,以提高复杂操作环境下的轴承故障识别的鲁棒性 [2]。轻微的表面缺陷——如裂纹、划痕、毛刺、凹坑和抛光不良——可能源于复杂的加工过程、装配应力或恶劣的操作环境。尽管这些缺陷通常规模较小,但它们可能成为应力集中点,引发早期疲劳失效并显著降低航空发动机组件的可靠性。因此,实现高精度、自动化和实时的轴承表面缺陷检测对于先进制造中的智能检测和精密测量至关重要。
传统的轴承表面缺陷检测方法主要依赖于人工操作员的目视检查或基于传统图像处理的算法 [3],例如阈值分割、边缘检测和纹理分析。这些方法在处理均匀背景或单一类型缺陷时相对有效;然而,它们在复杂背景、低对比度条件或多尺度场景下识别缺陷的能力有限。此外,这些传统方法通常鲁棒性较差,并且对光照变化、噪声和纹理干扰非常敏感,无法满足现代工业生产中的多样化和高速检测要求 [4]。随着深度学习和计算机视觉的不断进步,表面缺陷检测越来越多地依赖于基于 CNN(卷积神经网络)的对象检测方法,这些方法在一个学习框架内 bénéficiant 于统一的特征提取和预测 [5]。例如,Xia 等人 [6] 提出了一种基于 Faster R-CNN 的改进表面缺陷检测算法,其中采用了基于 ResNet-50 主干的变形卷积的特征金字塔网络来增强多尺度缺陷特征的表示,从而解决了由不同缺陷类型和复杂几何形状引起的挑战。Zhang 等人 [7] 提出了一种改进的 YOLOv5 模型,该模型集成了多尺度特征融合策略和 CSPLayer Res2Attention 残差模块,显著增强了缺陷特征提取和聚合能力,从而提高了分类和定位精度。在航空航天应用中,还提出了智能诊断框架,用于分析复杂工作环境下的轴承健康状况。例如,结合自注意力机制的联邦学习已被探索用于提高航空航天轴承故障诊断的准确性和鲁棒性 [8]。在这些方法中,YOLO(You Only Look Once)系列模型以其轻量级架构、高检测速度和有竞争力的准确性而在工业视觉检测任务中被广泛采用 [9]。这些智能视觉检测方法为现代航空航天制造中的自动化缺陷测量和质量控制提供了重要的技术基础。
尽管 YOLO 系列在通用对象检测方面取得了显著成功,但在将这些模型应用于轴承表面缺陷检测时仍存在几个挑战。首先,轴承缺陷通常具有小尺度、不规则形状和低对比度 [10],使得传统的卷积结构难以有效捕获细粒度的边缘和纹理信息。其次,尽管轻量级变体(如 YOLOv8n)提供高推理速度,但深度语义特征与浅层纹理特征之间的融合往往不足 [11],限制了在复杂多尺度场景下的检测性能。此外,深度网络中缺乏针对关键特征的有效增强机制,使得它们容易受到复杂工业环境中背景干扰的影响,从而降低了缺陷的区分能力 [12]。此外,传统的降采样策略在特征图压缩过程中倾向于丢失微妙缺陷信息 [13],这对后续的多尺度特征融合和精确定位是有害的。因此,在保持实时推理速度的同时进一步提高检测精度和模型鲁棒性 [14] 仍然是一个紧迫的挑战。
针对上述限制,本研究开发了一种改进的轻量级轴承表面缺陷检测模型,命名为 DMR-YOLO。该模型基于 YOLOv8n,并结合了多级结构优化。具体来说,本工作的主要贡献总结如下:
(1) 通过将 Diverse Branch Block 整合到 YOLOv8 的主干和颈部中,设计了一个面向任务的重新参数化的特征提取模块(C2f-DBB)。与传统的静态卷积结构不同,所提出的设计在训练期间实现了自适应的多分支特征聚合,同时在推理期间保持单路径效率。这改善了在复杂工业背景下的不规则和小尺度缺陷模式的表示。
(2) 构建了一个轻量级多级通道注意力模块(C2f-MLCA)并将其集成到选定的主干层中。不同于传统的通道注意力机制,所提出的设计联合建模了局部和全局通道依赖性,特别增强了对噪声金属纹理的低对比度缺陷特征的区分能力。
(3) 提出了一个 ResidualADown 模块来解决传统降采样中的信息丢失问题。通过引入残差信息保留路径,该模块改善了细粒度空间细节的保留,这对于检测微裂纹等微妙缺陷至关重要。
(4) 更重要的是,通过将 DBB、MLCA 和 ResidualADown 整合到一个统一的轻量级框架中,开发了一种协作优化策略。这三个模块分别在特征提取、特征选择和信息保留方面相互补充,形成了一个协同机制,增强了检测性能,超越了简单的增量改进。
通过这些改进,所提出的 DMR-YOLO 模型在保持轻量级设计和高推理速度的同时,增强了多尺度特征表示和小目标检测性能。实验结果表明,DMR-YOLO 在轴承表面缺陷数据集上实现了比现有轻量级模型更高的检测准确性和稳定性。这些结果表明其在表面缺陷检测任务中的智能视觉检测潜力,包括在航空发动机组件检测中的应用。在航空航天制造中,缺陷检测不仅需要识别缺陷类别,还需要支持以可靠性为导向的检测过程。在实际场景中,自动化视觉检测系统通常用作初步筛查工具来协助人类专家,其中高召回率对于避免遗漏潜在缺陷至关重要,而实时性能对于生产效率是必需的。因此,开发一种轻量级和高灵敏度的检测模型是朝着航空航天制造流程中智能检测迈出的重要一步,尽管它不能替代后续的定量评估和认证程序。
本文的其余部分组织如下:第 2 节简要回顾了轴承缺陷检测技术的研究现状,并介绍了 YOLOv8n 模型的基本概念。第 3 节介绍了所提出的 DMR-YOLO 模型的整体架构,并详细阐述了关键改进策略。第 4 节描述了实验设置并提供了实验结果的详细分析,以验证所提出模型的性能。第 5 节在额外的数据集上对该改进模型进行了泛化实验。最后,得出了结论,并讨论了未来研究的潜在方向。
2. 相关工作
2.1 基于深度学习的缺陷检测
现有的轴承表面缺陷检测研究可以大致分为两个主要方向:特征表示增强和轻量级模型设计。
在特征表示方面,几种方法旨在提高检测模型捕获多尺度和细粒度特征的能力。Hu 和 Tong [15] 提出了 C2f_EMSCP 模块,该模块被集成到了主干和颈部网络中。该模块有效地将多尺度卷积网络与位置感知机制相结合,通过融合不同分辨率的特征图来提高模型对多个尺度对象的敏感性和检测能力。Han 等人 [16] 在他们自己设计的 BED-YOLO 模型中提出了一个智能特征集中 (IFC) 模块来保留关键缺陷特征,并进一步开发了一个具有可扩展卷积 (EFFSC) 的高效特征融合模块,显著提高了模型的表示能力。Hu 等人 [17] 优化了坐标注意力机制,并引入了一种专为小尺寸缺陷检测设计的新型可变形注意力机制 (DAM)。这些研究主要集中在提高检测模型的特征提取和区分能力上,特别是针对复杂背景环境中的小尺度缺陷。然而,尽管这些方法在检测精度方面取得了显著改进,但它们通常会导致计算开销增加,从而降低推理速度。
为了解决效率问题,最近的研究集中在轻量级模型设计上。Fu 等人 [18] 通过引入 MobileNetV3 作为轻量级主干,替换了原始的 YOLOv5 特征提取器,显著减少了推理时间,开发了一个面向 YOLOv5 的轴承缺陷检测框架。Zhang 等人 [19] 基于 YOLOv8n 开发了一种轻量级轴承缺陷检测模型 LARD-YOLOv8。在这项工作中,设计了一个 LiteShiftHead 检测头,集成了 SPConv、REG 和 CLS 模块,以确保轻量级架构的同时实现高效的特征提取和准确的分类和回归。进一步引入了 ARConv 模块以提高对多方向缺陷的适应性,同时使用 RepNCSPELAN4 模块来优化计算效率。此外,通过动态调整辅助边界框来改进 Inner-DIoU 损失函数,从而提高了定位精度和收敛速度。Xu 等人 [10] 通过用 C2f 模块替换主干中的 C3 模块,提出了一种改进的基于 YOLOv5 的轴承缺陷检测方法,减少了参数数量和计算复杂性,从而提高了速度和准确性。此外,将 SPD 模块集成到主干和颈部网络中以加强对低分辨率特征和小目标的处理,同时采用了一个轻量级 CARAFE 操作符来替换最近邻上采样,丰富了上下文信息,减少了信息丢失,并提高了模型的多样性和鲁棒性。结果,检测速度达到了 100 FPS。
Liu 等人 [20] 提出了一种基于 YOLOv8n 的框架,该框架集成了 VanillaNet 主干、Lion 优化器、CFP-EVC 模块和 Shape-IoU 损失函数,在检测效率和准确性方面取得了显著改进,同时降低了计算复杂性,并保持了 86.5% 的平均精度。尽管现有的轻量级模型已经展示了增强的对象识别能力,但在检测精度和推理速度方面仍有很大的优化空间,特别是在复杂背景纹理下的小尺度缺陷检测方面。
2.2 YOLOv8 算法概述
YOLOv8 由 Ultralytics 团队开发,是一种新一代的单阶段检测框架,它扩展了传统对象检测的范围,支持在统一架构下的各种视觉感知任务。YOLOv8 系列包括五个模型规模——YOLOv8n、YOLOv8s、YOLOv8m、YOLOv8l 和 YOLOv8x——能够灵活适应从移动设备上的轻量级部署到服务器平台上的高精度检测的各种应用场景。在 COCO 数据集等主流基准测试中,YOLOv8 在检测精度和推理速度方面始终优于之前的版本,包括 YOLOv5 和 YOLOv7,从而保持了 YOLO 的核心理念——效率和实用性。
在早期 YOLO 版本的架构设计基础上进行优化,YOLOv8 结合了一系列创新升级,进一步增强了模型的泛化能力和工程适用性。主要改进可以总结如下:
(1) 引入了一种无锚点检测机制,替换了传统的基于锚点的设计,简化了标签匹配过程,减少了模型对数据分布的依赖性,并提高了检测性能的稳定性,增强了泛化能力。
(2) 采用了一种改进的 C2f(跨阶段部分融合)结构来替换 YOLOv5 中使用的 C3 模块。通过利用分支连接和特征重用,C2f模块进一步降低了计算复杂性,同时增强了特征表示能力。(3)引入了一种动态任务分配策略,即Task-Aligned Assigner,使得正负样本的分配更加灵活和高效,从而加速了模型收敛并提高了检测精度。YOLOv8的网络架构遵循标准的三部分设计,包括主干网络、颈部网络和头部网络,如图1所示。图1. YOLOv8网络模型的结构。
主干网络:YOLOv8的主干网络基于CSPDarknet范式构建,其中多层卷积操作与C2f模块结合使用,以在不同尺度上提取特征。C2f模块通过跨阶段连接和特征融合机制增强信息流动,同时采用轻量级设计来减少计算开销。此外,YOLOv8在特征提取阶段末尾使用了Spatial Pyramid Pooling-Fast (SPPF)模块来扩大多尺度感受野,有效捕获各种大小对象的上下文信息。
颈部网络:YOLOv8的颈部网络基于PAN-FPN(路径聚合网络-特征金字塔网络)特征融合框架构建。通过自上而下和自下而上的双向多尺度特征传播,将深层语义信息与浅层空间细节有效融合。在此基础上,YOLOv8通过采用轻量级卷积操作和高效的连接策略进一步提高了特征融合效率。
头部网络:YOLOv8采用无锚点检测头,在该头中分离出分类分支和回归分支,分别用于预测类别概率和边界框参数。与传统的基于锚点的检测器不同,YOLOv8直接在特征图上的像素位置进行预测,显著降低了超参数设计的复杂性。此外,在边界框回归和样本分配过程中引入了IoU相关的约束,使模型在训练时更关注预测框和真实框之间的重叠质量。因此,目标定位精度和检测鲁棒性得到了有效提升[21]。
3. YOLOv8算法的改进
DMR-YOLO的架构设计主要是由工业轴承缺陷检测的独特挑战推动的,例如低对比度、细粒度特征(例如微裂纹)以及对实时边缘部署的需求。改进后的YOLOv8n算法如图2所示。在主干网络中,C2f-DBB模块替代了第2层和第4层的原始C2f模块,而在颈部网络中,则应用于第12层、第15层、第18层和第21层。这种选择是为了捕捉不规则的缺陷几何形状;通过在训练期间结合多个分支卷积,并通过结构重新参数化进行融合,C2f-DBB模块在不增加部署期间计算负担的情况下增强了特征多样性和多尺度感知能力。图2. DMR-YOLO网络模型的结构。此外,在主干网络的第6层和第8层引入了多级通道注意力(MLCA)机制。原始的卷积模块被C2f-MLCA替换,后者可以自适应地调整多个通道级别的特征权重。这种设计专门用于处理金属轴承表面的复杂光学条件;通过重新校准通道重要性,该机制增强了模型对关键缺陷特征的关注度,同时有效抑制了由反射和光照不均引起的背景噪声。最后,专门设计的ResidualADown模块被集成到第3层、第5层和第7层。与通常作为信息瓶颈的标准下采样不同,该模块在最大程度保留重要特征信息的同时降低了空间分辨率。这确保了在网络深化过程中不会丢失微妙缺陷的像素级空间细节,从而减轻了下采样过程中的信息损失。
需要强调的是,所提出的模块并不是简单地以并行或独立的方式组合在一起的。相反,它们被设计为解决工业缺陷检测中不同但相互关联的挑战。具体来说,C2f-DBB模块增强了特征提取的多样性和适应性,使得不规则缺陷模式的表示更加准确。C2f-MLCA模块通过选择性强调信息丰富的通道并抑制背景噪声来进一步完善这些特征。同时,ResidualADown模块在下采样过程中保留了关键的空间信息,确保在更深的层中不会丢失微妙的缺陷细节。通过这种互补的设计,这三个模块形成了一个“特征增强—特征选择—信息保留”的协同流程,与孤立的或简单组合的改进相比,检测性能更加稳健。
3.1. 重新参数化模块C2f-DBB
在原始的YOLOv8n中,特征提取和融合是使用C2f模块完成的。在该模块中,卷积核参数在训练后是固定的,所有分支卷积都遵循静态结构,这限制了特征表示的多样性。然而,轴承表面缺陷通常非常小,具有弱且高度变化的视觉特征。标准C2f模块中固定的kernel大小和形状不足以有效捕获这些细粒度特征,导致在复杂背景下的检测性能不佳。为了解决这一限制,引入了基于多分支卷积和结构重新参数化的多样化分支模块C2f-DBB来替代YOLOv8n中的C2f模块。在C2f-DBB中,Bottleneck结构内的标准卷积操作被多分支卷积设计所替代。通过结合具有异构卷积核的并行分支,该模块在多个感受野上增强了特征提取的多样性。这种设计使得小而不规则的多尺度缺陷模式的表示更加有效。同时,多分支结构在推理过程中通过结构重新参数化等效地融合为一个卷积,确保不会引入额外的计算开销。因此,所提出的模块在保持高推理效率的同时提高了特征表示能力,适用于复杂的工业缺陷检测场景。图3展示了C2f-DBB模块的结构。图3. C2f-DBB模块的结构。DBB(多样化分支块)模块是一种基于结构重新参数化的卷积构建块,它在训练期间引入多分支拓扑结构,同时保持推理效率。DBB模块的总体结构如图4所示。设输入特征图为:X ∈ RC × H × W (1)图4. DBB模块的结构。DBB模块由四个并行分支组成,最终输出特征图是通过对所有分支输出进行逐元素求和得到的。该操作可以表示为:Y = ∑4i=1Fi(X)(2)其中Fi(·)表示第i个分支的特征变换函数。
分支1和4是单层卷积分支,分别采用1 × 1卷积和K × K卷积,然后进行批量归一化(BN)。这两个分支引入了不同感受野的线性和空间特征变换,增强了特征多样性并稳定了特征分布。该操作可以表示为:{Fi(??) = BN(Conv1 × 1(??))F4(??) = BN(Convk × k(??))(3)分支2首先应用1 × 1卷积来压缩和重组通道信息,然后应用K × K卷積来捕获局部空间特征。每次卷积后应用批量归一化以提高训练稳定性。该操作可以表示为:F2 = BN(ConvvK × BN(Convv1×1(X)))(4)该分支专注于提取细粒度的空间细节和局部纹理信息,这对于检测小而不规则的缺陷模式特别有益。分支3首先应用1 × 1卷積然后进行BN来调整通道表示,接着应用平均池化来聚合邻域信息并增强上下文鲁棒性。该操作可以表示为:F3 = BN(AvgPool(BN(Conv1 × 1(??))))(5)该分支引入了平滑效果,并增强了全局上下文感知,提高了对背景噪声的鲁棒性。通过整合具有异构感受野的卷积特征和建模行为,DBB模块增强了网络捕获细粒度细节的能力,同时保留了更广泛的上下文表示。然后通过逐元素求和将四个分支的输出整合为统一的输出特征图。该操作可以表示为:Y = F1(X) + F2(X) + F3(X) + F4(X)(6)在推理过程中,DBB模块可以通过结构重新参数化等效地为一个卷积,即:∑Ni=1Fi(X) = Convrep(X)(7)其中Convrep的卷积核权重和 bias 是通过线性组合所有分支的卷积和BN参数获得的。这种重新参数化仅在推理期间应用,在训练期间完全保留了多分支结构的性能优势,而不会引入额外的推理开销。
DBB模块的集成特别是因为工业场景中检测精度和推理延迟之间的内在权衡。考虑到轴承表面缺陷的多样性和不规则性(例如不规则的毛刺和细粒度裂纹),一个稳健的多尺度感受野是必不可少的。通过在训练阶段使用非对称卷积和多分支结构,DBB显著增强了模型进行复杂特征提取的能力。随后,这些分支通过结构重新参数化融合为单路径等效卷积进行推理。这种设计确保DMR-YOLO在不给边缘受限设备带来额外计算开销的情况下实现了卓越的特征多样性。
3.2. 注意力机制C2f-MLCA
在轴承表面缺陷检测任务中,缺陷区域通常只占图像的一小部分,而背景纹理可能主导特征响应。这往往导致难以区分缺陷区域和非缺陷区域。为了解决这个问题,引入了一种多级通道注意力机制来增强信息丰富的通道特征并抑制不相关的背景响应。C2f-MLCA模块是一种从C2f模块派生的轻量级特征增强结构,遵循“分割—增强—融合”的工作流程,如图5所示。输入特征图首先通过CBS模块进行基本卷积预处理。然后通过Split操作沿通道维度进行分割:一部分特征作为快捷路径保留,而剩余部分被输入到特征增强分支。增强分支由Bottleneck + MLCA的重复单元组成,其中Bottleneck单元使用轻量级残差结构灵活调整通道维度,而多级通道注意力(MLCA)模块集成了局部和全局特征感知机制。这允许网络同时捕获空间细节和通道依赖性,实现关键特征的有针对性的增强。最后,处理后的分支特征与快捷路径特征沿通道维度连接起来,输出CBS模块统一通道维度,完成多尺度和多维信息的整合。图5显示了C2f-MLCA模块和MLCA模块的结构。MLCA模块结合了通道和空间特征信息,提高了网络的表示能力。首先,输入特征图进行局部平均池化,产生形状为1 × C × K × K的张量以提取局部空间特征。然后将张量分成两个并行分支:一个分支通过全局平均池化捕获全局上下文信息,另一个分支通过局部平均池化捕获细粒度空间信息。随后,两个分支的特征通过1D卷积进行变换并使用反向平均池化恢复到原始空间分辨率。然后根据以下公式生成融合的局部和全局通道注意力权重A:A = σ(Conv1D(GAP(X)) + UNAP(Conv1D(LAP(X)))(8)这里,σ表示Sigmoid激活函数,Conv1D(·)表示一维卷积变换。然后以逐元素方式融合两个分支的注意力特征图,生成最终特征图,该特征图整合了局部和全局信息。该特征图在通道和空间维度上分配了多尺度注意力权重,从而显著增强了网络的表示能力。在图5中,Conv1D表示一维卷积,其中核大小k与通道数量C成正比,它们的关系定义如下:k = |log2(C)γ + bγ| ± 1(9)这里,C表示通道数量,k是卷积核大小,γ和b是超参数,默认值均为2。术语“odd”表示k四舍五入到最接近的奇数;如果结果是偶数,则添加1以确保核大小为奇数。
在这项工作中,MLCA算法被集成到原始的C2f模块中,形成了C2f-MLCA模块。这种集成增强了网络感知通道和空间信息的能力,而不会显著增加计算复杂性。引入该模块有效地提高了特征提取能力,并加强了网络检测不同尺度目标的表现。
3.3.残差下采样模块(ResidualADown Module)
在卷积神经网络中,下采样操作常常会导致重要特征信息的丢失。为了解决这个问题,设计了一个残差下采样模块(ResidualADown module)来改善下采样过程中的特征传播。通过引入残差连接(residual connection),该模块能够在降低空间分辨率的同时有效保留有用的特征信息,从而增强网络的表征能力,如图6所示。
设输入特征图为:\(X \in RC \times H \times W\) (10)
图6. 残差下采样模块的结构
首先,输入特征图通过AvgPool2d层进行初步下采样,这会降低空间分辨率,同时保留全局上下文信息。这一过程可以表示为:\(X_d = A_v g P o l 2d(X)\) (11)
随后,下采样的特征图沿着通道维度被分为两个分支:\(X_d \rightarrow \{X_1, X_2\} \) (12)
在分支1中,特征直接输入到一个卷积层以提取局部细节信息,可以表示为:\(Y_1 = C_o n v(X_1)\) (13)
分支2首先应用MaxPool2d层进一步压缩空间维度,并突出显著的响应区域,然后进行卷积变换。计算公式为:\(Y_2 = C_o n v(MaxPool_2d(X_2))\) (14)
最后,两个分支的输出通过Concat操作连接起来,得到融合了多尺度信息的下采样特征图:\(Y_m = C_o n c a t(Y_1, X_2)\) (15)
尽管上述双分支结构能够有效实现多尺度特征提取,但在逐步特征变换过程中仍可能发生一定程度的信息丢失。为了进一步缓解这个问题,引入了一个残差路径(residual path)来增强特征传播并保留输入特征图中的互补信息,如图6所示。
具体来说,残差下采样模块采用了双路径并行架构,包括一个主路径(main path)和一个残差路径(residual path)。主路径执行上述的下采样和特征提取操作,而残差路径直接将部分原始特征信息传递到输出。
在残差路径中,输入特征图首先通过AvgPool2d层进行空间下采样,然后通过卷积层调整通道维度,确保输出特征图在空间分辨率和通道大小上与主路径一致。残差路径可以表示为:\(Y_r = C_o n v(A_v g P o l 2d(X)) \) (16)
随后,残差路径的输出与主路径的输出通过元素级加法(element-wise addition)结合,以实现特征融合。残差下采样模块的总体输出为:\(Y = Y_m + Y_r \) (17),其中\(Y_m\)表示主路径的输出,\(Y_r\)表示残差路径的输出。通过使用轻量级的池化和卷积操作,残差路径确保了在空间和通道维度上的有效特征对齐和融合。这种残差结构可以被视为在下采样阶段引入了一种保持恒等性的机制,这与ResNet的残差学习理念一致。它有助于减少深度网络中的特征退化和信息丢失。
ResidualADown通过引入一个残差快捷路径(residual shortcut)来解决传统下采样中的信息瓶颈问题,该路径保留了高频空间细节(例如,像素级的裂纹),这些细节通常会被标准步长卷积(standard strided convolutions)丢弃。通过结合主路径的多尺度融合特征和残差路径中保留的原始特征表示,该模块增强了特征表示的稳定性和完整性,同时保持了轻量级的特性,从而为后续的高级语义建模提供了更加丰富的信息基础,并提高了微小制造缺陷的检测能力。
4. 结果与评估
4.1. 数据集
在本研究中,使用了从一个商业第三方来源合法获得的轴承铸造表面状况数据集,来模拟工业零部件制造中的表面缺陷检测场景。该数据集不公开,仅用于学术研究目的。数据集中的所有缺陷类别都是根据它们的视觉特征预先定义并手动标注的,而不是基于明确的几何或物理测量(如大小或深度)。数据集中的所有图像都使用边界框(bounding boxes)标注了缺陷区域,遵循标准的物体检测标注惯例。虽然本研究使用的数据集是从工业轴承制造场景中收集的,而不是直接来自航空航天生产线,但缺陷类型(如裂纹、凹坑和划痕)和表面特征与航空发动机部件检测中遇到的非常相似。因此,该数据集被用作模拟航空航天制造环境中视觉检测任务的代表性基准。
轴承广泛用作航空发动机系统中的关键旋转部件,其表面质量对于确保运行可靠性起着重要作用。数据集涵盖了轴承铸造在生产加工过程中可能出现的各种表面状况,包括八种缺陷类别:铸造毛刺(Casting burr)、抛光铸造(Polished casting)、裂纹(Crack)、凹坑(Pit)、划痕(Scratch)、应变(Strain)和未抛光铸造(Unpolished casting)。数据集包含2561张训练集图像和732张验证集图像,图像分辨率为640 × 640像素。训练集与验证集的比例为3:1。
在类别分布方面,每种缺陷类别的样本数量总体上是平衡的,尽管由于实际制造过程中缺陷发生的频率不同而存在轻微差异。这反映了实际的工业条件,并避免了对特定缺陷类型的过度偏好。
由于数据提供者对数据使用的限制,该数据集不能公开发布。然而,本研究完全描述了所有实验配置、训练程序和评估指标,以确保所提方法的可重复性。该模型可以方便地应用于其他类似的表面缺陷数据集。数据集中的代表性图像样本如图7所示。
4.2. 实施细节
所有实验都在Windows 11操作系统上进行。硬件平台配备了Intel Core i7-14650HX CPU和NVIDIA GeForce RTX 5060 GPU,具有16 GB的视频内存。详细硬件配置列在表1中。
在训练期间,训练周期设置为200个周期,批量大小为16。初始学习率为0.01,动量参数(momentum parameter)设置为0.937。采用随机梯度下降(SGD)优化器进行模型优化。详细训练超参数总结在表2中。
4.3. 评估指标
为了准确评估所提出改进算法对轴承表面缺陷的检测准确性和效率,采用了精确度(Precision, P)、召回率(Recall, R)和平均精确度(mean Average Precision, mAP)作为评估指标,这些指标用于评估类别级别的检测性能。误分类情况被视为错误检测,并反映在评估指标中。它们的数学定义如下:
\(P = \frac{T_{TPP} + FP}{T_{TPP} + FN}\) (18)
\(R = \frac{T_{TPP} + FN}{T_{TPP} + FN}\) (19)
其中,\(T_{TPP}\)表示正确检测到缺陷区域的样本数量,\(FP\)表示错误检测为缺陷的样本数量(尽管实际上没有缺陷),\(FN\)表示未能检测到的缺陷样本数量。
由于轴承表面缺陷检测涉及多个缺陷类别,仅使用精确度(P)和召回率(R)不足以全面评估模型的性能。在训练阶段,可以为每个缺陷类别生成相应的精确度-召回率(Precision–Recall, PR)曲线,PR曲线下的面积表示平均精确度(Average Precision, AP),定义为:
\(A_P = \int_{1}^{10} P(R) dR\) (20)
平均精确度(mAP)表示所有类别AP值的平均值,计算公式为:
\(m_A_P = \frac{\sum_{i=1}^{N} AP(i)}{N}\) (21)
在本研究中,“检测准确率”指的是模型的整体检测性能,使用精确度(P)、召回率(R)和平均精确度(mAP)进行全面评估。在这些指标中,mAP被视为主要指标,因为它同时反映了所有缺陷类别的定位和分类性能。
在工业缺陷检测场景中,满意的检测准确率的定义通常取决于任务,并随着数据集特征、缺陷复杂性和应用要求的不同而变化。一般来说,当模型在保持高mAP的同时具有强召回率以最小化漏检时,被认为在实际应用中是有效的。
4.4. 消融研究(Ablation Study)
为了评估所提出的DMR-YOLO与基线YOLOv8n模型的有效性,并验证每个单独改进的贡献,进行了一系列消融实验。所有实验都在相同的实验环境中进行,超参数设置相同,以确保公平比较。从基线YOLOv8n模型开始,逐步引入所提出的改进模块。详细的消融结果列在表3中。
实验1作为基线模型,实现了86.5%的mAP,为评估后续模块的性能提升提供了清晰的参考框架。在实验2中,基线模型中的原始C2f模块被替换为所提出的C2f-DBB模块,mAP提高到了87.5%。同时,精确度和召回率几乎不受影响,参数数量和计算成本只有轻微增加。这表明DBB模块在可接受的计算开销下有效地增强了特征表示能力,从而稳步提高了检测准确率。此外,还观察到了FPS(Frames Per Second)的轻微提升。这可以归因于DBB模块的结构重新参数化机制,在推理过程中将多分支结构合并为单个卷积,从而提高了执行效率。在实验3中,在主干网络的第6层和第8层引入了C2f-MLCA模块,替换了原始的C2f模块。结果显示,检测准确率和计算成本与基线模型相当,表明MLCA主要在特征分布调整和背景噪声抑制方面发挥作用,而不是显著增强深度语义表示。因此,单独使用MLCA模块的性能提升相对有限。
实验4引入了所提出的残差下采样模块(ResidualADown),mAP显著提高到了88.4%。同时,精确度和召回率也得到了提升,而总体计算成本降低。这些结果表明,ResidualADown在检测性能方面实现了高效且稳定的改进,使其成为评估组件中最有效的单个模块增强方法。
在此基础上,实验5-7研究了所提出的改进策略的不同组合。在实验5中,DBB和MLCA的集成使得mAP达到了88.2%,优于相应的单个模块实验。然而,这种性能提升伴随着模型参数和计算复杂性的增加,导致FPS略有下降。这表明,尽管多策略融合可以提高检测性能,但不可避免地引入了额外的计算开销。在实验6和7中,虽然保持了几乎稳定的精确度和召回率值,但参数规模和计算复杂性有所减少。这些结果表明,不同模块在平衡性能和效率方面具有互补关系。
在实验8中,采用了集成所有三个提出模块的完整架构——C2f-DBB、C2f-MLCA和ResidualADown——构建了最终模型,称为DMR-YOLO。如图3所示,所提出的模型实现了89.3%的mAP,是所有实验中的最佳性能。结果表明这三个组件之间存在明显的协同效应。值得注意的是,虽然MLCA模块单独应用时性能提升有限(实验2),但当与ResidualADown和DBB结合使用时(实验8),其贡献显著增加,导致检测准确率大幅提高。这表明DMR-YOLO作为一个集成系统运作,而不是简单组合独立模块,因为特征增强(DBB)、特征重新校准(MLCA)和信息保留(ResidualADown)之间的相互作用促进了协同优化过程。具体来说,ResidualADown在降采样过程中保留了细微的纹理和缺陷细节,DBB增强了局部特征表达,而MLCA执行跨尺度注意力调制,以从复杂的金属背景噪声中过滤关键信号。通过它们在深度语义增强、跨尺度特征聚合和特征选择中的互补作用,这三个模块共同提高了模型对低对比度和小尺度缺陷的鲁棒性。此外,最终模型在保持高推理速度的同时,实现了卓越的检测准确性,证明了DMR-YOLO在真实世界工业场景中的有效性和实际应用性。
4.5 模型比较与可视化分析
为了进一步验证所提出模型在轴承表面状态检测方面的优越性,选择了几个相关领域中的代表性目标检测算法进行比较评估,包括YOLOv3-tiny、YOLOv5、YOLOv7、YOLOv8、YOLOv9和YOLOv10n。使用多个指标评估每种方法的性能,即精确度(P)、召回率(R)、平均精度(mAP)、每秒帧数(FPS)、参数数量(Parameters/10^6)和计算复杂度(GFLOPs)。比较结果总结在表4中。
表4. YOLO系列模型的性能比较
如表4所示,所比较的YOLO基模型在精确度、召回率、平均精度、检测速度、参数大小和计算复杂度方面存在显著差异。尽管YOLOv3-tiny在精确度和召回率方面表现相对较高,并且mAP具有竞争力,但其推理速度相对较低,计算成本也较高。相比之下,YOLOv5n大幅降低了计算复杂度并显著提高了检测速度;然而,这种改进是以mAP和召回率明显下降为代价的。作为本研究的基线模型,YOLOv8n在准确性和效率之间表现出了良好的平衡。它实现了较高的精确度和召回率,mAP为86.5%,同时保持了相对较低的计算复杂度和快速的推理速度。相比之下,YOLOv9t的检测速度显著下降,限制了其在实时工业应用中的适用性。尽管YOLOv10n在模型轻量级方面具有优势,但其检测准确性不够理想,使其在精度要求较高的缺陷检测任务中竞争力较弱。总体而言,实验结果表明,所提出的DMR-YOLO始终优于其他YOLO系列模型。它实现了最高的精确度、召回率和mAP(89.3%),同时保持了较高的推理速度和相对较少的参数数量。这表明所提出的改进有效地提高了检测性能,而不会牺牲实时能力。
经过200个训练周期后,改进的DMR-YOLO模型在所有关键评估指标上都表现出明显优势。其精确度、召回率和平均精度超过了其他模型,证实了其在实际轴承表面缺陷检测场景中的优越性能和适应性。为了进一步可视化和定量比较不同模型在各种缺陷类别上的平均精度,图8为每个缺陷类别提供了AP比较图表,突出了所提出方法在识别特定缺陷类型方面的有效性。
图8. 不同算法在每个缺陷类别中的AP值比较
图8直观地比较了不同YOLO系列算法和所提出的DMR-YOLO模型在八类轴承表面缺陷上的平均精度(AP)。总体而言,所有模型在如铸造毛刺、抛光铸造和毛刺等类别上表现都非常出色,AP值接近或超过了0.99。这表明这些缺陷具有相对明显的视觉特征,使其更容易检测。然而,在包括裂纹、凹坑、划痕、应变和未抛光铸造等类别中,模型之间的性能差异显著。值得注意的是,所提出的DMR-YOLO在大多数这些挑战性类别中实现了最高的AP值,特别是在裂纹、划痕和应变方面有了显著的改进。这些结果表明,引入的增强有效地提高了模型识别通常难以检测的细微裂纹、划痕和变形的能力。因此,这一图在类别层面上验证了DMR-YOLO在保持高鲁棒性的同时,实现了对难以检测缺陷的出色敏感性和泛化能力。
为了直观验证表4和图8中呈现的定量性能优势,并具体说明在实际场景中缺陷识别的改进,选择了包含典型难以检测缺陷的代表性样本进行定性比较。如图9所示,基线YOLOv8n模型和所提出的DMR-YOLO模型的检测结果与原始图像一起显示。可以清楚地观察到,改进后的模型显著减少了漏检和误报,同时提高了定位准确性和分类置信度。这些实例级别的可视化进一步证实了所提出的DMR-YOLO模型在真实世界工业缺陷检测中的实际应用性和可靠性。
图9. YOLOv8n和DMR-YOLO模型之间的检测结果比较图
为了直观展示DMR-YOLO模型在轴承表面缺陷上的检测性能,比较了所提出模型和基线YOLOv8n模型的混淆矩阵,如图10所示。在混淆矩阵中,行代表真实类别,而列对应于预测类别。主对角线反映了每个缺陷类别的正确识别率,而对角线外的元素表示误分类率。从比较中可以看出,DMR-YOLO混淆矩阵的主对角线显示出比YOLOv8n更深的颜色强度和更高的数值,表明在所有轴承缺陷类别上正确识别率更高。改进后的模型在检测准确性方面取得了显著提升,特别是在划痕和应变缺陷上,精确度分别从57.8%和80.7%提高到了64.2%和88.6%。总体而言,所有缺陷类别的平均精度(mAP)从86.5%提高到了89.3%,表示检测准确性提高了2.8%。
图10. YOLOv8和DMR-YOLO之间的混淆矩阵比较图
为了直观展示DMR-YOLO模型在轴承表面缺陷检测上的稳定性,图11展示了YOLOv8和DMR-YOLO在200个训练周期内的mAP@50-95的逐周期进展。DMR-YOLO在整个200个周期内的mAP@50-95通常高于基线模型,尤其是在最初的50个周期后,显示出更平稳的收敛轨迹,表明稳定性得到了提高。持续的性能优势表明,在相同的实验条件下,DMR-YOLO带来的改进是可靠的。总体而言,DMR-YOLO在检测准确性、稳定性和计算效率之间取得了良好的平衡,模型大小(3.60 M参数)和计算成本(10.6 GFLOPs)的增加相对较小。
5. 泛化评估
为了进一步评估所提出的DMR-YOLO模型在工业表面检测场景中的泛化能力,使用基线模型和DMR-YOLO在钢表面缺陷数据集上进行了实验。该数据集包含六种类型的钢表面缺陷:轧制裂纹(RS)、斑块(Pa)、裂纹(Cr)、凹坑表面、夹杂物(In)和划痕(Sc),共计1800张图像。数据集按8:1:1的比例分为训练集、验证集和测试集。实验环境和评估指标与第4.3节中描述的一致。结果总结在表5中。
表5. 在钢数据集上的泛化实验
如表5所示,在钢表面缺陷数据集上的泛化实验表明,所提出的DMR-YOLO模型在精确度、召回率和平均精度(mAP)方面实现了改进,同时参数数量和计算成本仅有轻微增加。这些结果表明,所提出的DMR-YOLO不仅在轴承数据集上优于基线模型,而且在类似的缺陷检测数据集上也保持了竞争力,表明具有一定的泛化能力。
6. 结论与展望
为了在保持模型轻量级的同时提高关键机械组件的表面缺陷检测的准确性和速度,本研究提出了一种基于YOLOv8n的增强型缺陷检测模型DMR-YOLO。该方法旨在为工业组件制造提供高效的智能视觉检测解决方案,特别是对于需要高可靠性的应用,如航空发动机组件检测。通过系统的实验设计和分析,得出了以下结论:
(1) 消融实验验证了每个集成模块的有效性和互补贡献。C2f-DBB模块将多样化分支块结构引入到主干网络中,通过多分支卷积表示增强了特征多样性,并改进了细粒度缺陷特征的提取。C2f-MLCA模块引入了多层次通道注意力机制,自适应地强调信息丰富的特征通道,同时抑制背景干扰。此外,所提出的ResidualADown模块在降采样阶段引入了残差连接,提高了空间分辨率降低过程中的特征信息保留。实验结果表明,这些组件的协调组合使最终模型实现了89.3%的mAP,比基线YOLOv8n提高了2.8%,同时保持了高推理效率。该模型仅包含3.60 M参数,显示了检测准确性和计算效率之间的良好平衡。此外,轻量级设计以及相对较低的参数数量和计算成本显示出有利的效率特性,适合于工业环境中的边缘导向部署场景。
(2) 与包括YOLOv3-tiny、YOLOv5n、YOLOv8n、YOLOv9t和YOLOv10n在内的几个主流检测模型进行比较实验表明,DMR-YOLO在关键评估指标(包括精确度(86.15%)、召回率(93.93%)和mAP(89.3%)方面取得了最佳的整体性能。特别是在裂纹、划痕和应变等具有挑战性的缺陷类别中,该模型在AP值上取得了显著改进,突出了其在轴承表面缺陷检测任务中的有效性。
(3) 在钢表面缺陷数据集上进行的泛化实验进一步证实了DMR-YOLO的优越性。与基线模型相比,它在参数数量和计算成本仅有轻微增加的情况下,实现了更高的精确度、召回率和mAP,显示出在不同的工业缺陷数据集上的强大泛化能力。
总之,DMR-YOLO通过在YOLOv8n架构中集成结构重新参数化、通道注意力机制和改进的降采样策略,构建了一个高效的轻量级检测框架。实验结果表明,这些互补组件的系统集成可以有效提高检测性能,同时保持计算效率。然而,仍然存在一些限制。在极端复杂的背景、强烈噪声干扰或非常小的缺陷目标下,定位和分类性能仍可能波动,偶尔会导致漏检或误检。应当注意的是,所提出的方法侧重于基于图像数据的缺陷检测和定位,并不直接提供缺陷严重性的定量评估,例如几何尺寸或可接受性标准。在航空航天应用中,此类评估通常需要额外的测量和特定领域的标准。因此,所提出的方法旨在作为检测流程中的辅助工具,提供高效的初步筛查,而不是最终决策。未来的工作将专注于在更大规模的工业数据集上评估所提出的方法,并探索在智能检测和质量监控航空发动机组件的实际边缘计算平台上的应用。此外,将研究网络剪枝和知识蒸馏等轻量化优化技术,以进一步降低计算复杂度并提高模型在真实世界工业检测应用中的鲁棒性。此外,当前研究没有明确区分缺陷的严重程度级别(例如大小或深度),这对于航空航天应用中的工程决策非常重要。未来的工作将考虑结合几何测量和严重程度分级机制。所提出的框架在工业检测任务中展示了有 promise 的性能。它旨在作为航空航天制造中视觉检测的辅助工具,而不是表面质量测量或安全关键评估的完整解决方案。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号