《Pattern Recognition Letters》:S3Det: Strip Steel Surface Defect Detector via Enhanced Deformable Convolution and Dual Cross-Layer Pyramid
编辑推荐:
带钢表面缺陷检测中提出基于增强变形卷积(EDC)和双交叉层金字塔(DCLP)的S3Det模型,通过协作注意力机制优化卷积核形变,结合跨层特征融合提升多尺度特征表达,有效解决小缺陷定位和复杂缺陷识别难题,在NEU-DET和DAGM数据集上分别达到81.6%和98.0%的mAP。
作者:孙彦格、徐成龙、郭华平、唐永强、张文胜
单位:中国河南省新乡师范学院计算机与信息技术学院,邮编464000
摘要
带钢是航空航天和制造业等行业的重要原材料,其质量和安全性要求对缺陷进行精确检测。深度学习被有效应用于这一领域,重点在于提升骨干网络的特征提取能力和颈部网络的特征融合能力,以实现准确的缺陷检测。我们提出了一种名为S3Det的新检测器,主要用于检测带钢表面的缺陷,主要包含以下两项创新:1)采用协作注意力(CoA)机制的增强型可变形卷积(EDC)作为骨干网络的插件;2)双层金字塔结构(DCLP),用于整合骨干网络提取的特征中的语义和空间信息。第一项创新中,EDC用协作注意力替代了传统的卷积机制,从而提高了检测器适应不规则缺陷的能力;第二项创新中,DCLP扩展了传统的多尺度融合技术,实现了跨层信息交换,并结合了双向精细特征融合(RFF)策略,增强了语义-空间一致性,得到了更鲁棒的特征表示。实验结果在NEU-DET数据集上验证了S3Det的有效性,并展示了其在DAGM数据集上的良好泛化能力。我们的代码可访问于:
https://github.com/hpguo1982/S3Det
引言
带钢是航空航天和机械制造等行业不可或缺的原材料[1]。然而,生产过程中的操作错误和技术限制可能导致带钢表面出现裂纹、夹杂物和斑点等缺陷,这些缺陷会降低最终产品的耐用性和安全性[2]。因此,开发一种高效且有效的自动检测带钢表面缺陷的检测器具有重要意义。
近年来,深度学习特别是卷积神经网络(CNN)在带钢表面缺陷检测领域得到了广泛应用,显著提高了检测的准确性和效率。例如,Wang等人[3]通过引入基于ResNet50的可变形旋转网络增强了Faster R-CNN的特征提取能力;Liu等人[4]提出了RAF-SSD,利用精炼的ResNet特征提高了检测精度;Zhao等人[5]将YOLOv5与Res2Net和改进的BiFPN结合,扩展了感受野并提升了多尺度特征融合效果。
尽管基于CNN的方法在带钢表面缺陷检测方面取得了显著进展,但在某些复杂条件下仍存在性能不足的问题。如图1所示,SSD[6]和Faster R-CNN[7]由于缺少关键结构特征而无法定位不规则缺陷(第1和第2行);YOLOv12[8]则可能误判与实际缺陷无关的区域,导致定位不准确。对于小缺陷(第3行),SSD、Faster R-CNN和YOLOv12也容易忽略细微特征,导致定位不完整或不准确。这些问题的主要原因有:1)骨干网络依赖固定的感受野,限制了其对高度不规则缺陷的捕捉能力;2)颈部网络难以充分融合高级语义信息与低级空间细节,而这对于检测小缺陷至关重要。
为了解决这些问题,本文重点关注两个方面:1)提升骨干网络的多尺度特征提取和缺陷表达能力;2)增强颈部网络整合和精细化多尺度特征的能力。在第一方面,我们尝试开发一种新的插件模块,以增强骨干网络对不规则缺陷的建模能力;在第二方面,我们设计了创新的颈部结构,以净化和融合来自骨干网络的多尺度粗糙特征。
基于以上考虑,我们提出了一种名为S3Det的新检测器,主要用于带钢表面缺陷检测,主要包含以下两项创新:1)我们提出了协作注意力(CoA)机制,并基于此设计了增强型可变形卷积(EDC)作为骨干网络的插件,用于提取不规则缺陷特征;2)我们提出了双层金字塔结构(DCLP),用于反复整合骨干网络提取的语义和空间信息,进一步优化特征表达。第一项创新中,CoA机制同时捕捉空间和通道层面的上下文信息,使EDC能够动态调整采样位置;第二项创新中,DCLP通过跨层信息交换和双向精细特征融合(RFF)机制,增强了特征表示能力。主要贡献如下:
- 我们提出了一种名为EDC的插件模块,利用协作注意力机制动态调整卷积核的形状,有效捕捉带钢表面的不规则缺陷。
- 我们设计了DCLP结构,支持跨层特征整合,并结合RFF机制提升缺陷表示能力。
- 基于EDC和DCLP,我们提出了S3Det检测器,在NEU-DET数据集上的mAP达到81.6%,在DAGM数据集上达到98.0%的检测性能。
本文其余部分的结构如下:第2节回顾相关工作;第3节详细介绍了基于EDC和DCLP的带钢表面缺陷检测器;第4节展示了数据集、实验结果及相应分析;第5节提出了结论、讨论和未来展望。
相关研究
注意力机制
注意力机制(包括基于空间和通道的变体)已成功应用于带钢表面缺陷检测,提升了特征表示能力。例如,挤压-激励(SE)网络[9]能够动态调整不同通道的权重,突出相关特征响应。
方法
大多数现有的带钢表面缺陷检测器依赖骨干网络提取粗糙特征,随后在颈部网络中进行特征融合以完成预测。因此,提升骨干网络的特征表达能力和颈部网络的特征融合能力对检测器性能至关重要。为此,我们设计了带有协作注意力(CoA)的增强型可变形卷积(EDC)模块,并结合了双层金字塔结构(DCLP)
实验设置
我们使用Pytorch框架在NVIDIA A100 GPU(80GB)系统上实现了S3Det的实验。模型训练采用SGD算法,学习率为0.01,动量系数为0.937,批量大小为32,训练周期为300个epoch。
数据集:我们使用NEU-DET[20]数据集来验证S3Det的性能。该数据集包含六类带钢表面缺陷:裂纹(Cr)、夹杂物(In)、斑点(Pa)等。
结论
带钢表面缺陷检测对于保证带钢质量至关重要。本文提出了一种新的带钢表面缺陷检测器(S3Det),通过提升特征提取和特征融合能力进一步改善了检测性能。具体而言,我们提出了增强型可变形卷积(EDC),该机制采用协作注意力(CoA)替代传统卷积机制生成采样位置,有效捕捉不规则缺陷。
CRediT作者贡献声明
孙彦格:撰写、审稿与编辑、指导。
徐成龙:撰写、初稿编写、可视化处理、验证。
郭华平:撰写、审稿与编辑、指导、形式化分析。
唐永强:撰写、审稿与编辑、指导。
张文胜:撰写、审稿与编辑、指导。
利益冲突声明
作者声明没有已知的可能影响本文研究的财务利益或个人关系。