基于动态特征选择和不确定性引导优化的表面缺陷分层检测与评估方法

《Engineering Applications of Artificial Intelligence》：Hierarchical detection and evaluation method for surface defects based on dynamic feature selection and uncertainty-guided optimization

　　梁梁·李 | 彭 王 | 罗海·迪 | 超 徐 | 孟宇·孙 | 陆志刚 | 张 余
西安工业大学跨学科与创新研究院，中国西安 710021

**摘要**
钢材是重要的工业基础材料，表面缺陷会严重影响产品的性能和服务寿命。传统的检测方法存在诸多局限性。基于深度学习的方法在缺陷定位方面表现出色，但在提取精确的边缘轮廓信息和量化模型不确定性方面仍有不足。为了解决这些问题，本文提出了一种基于动态特征选择和不确定性引导优化的分层钢材表面缺陷检测与评估框架。所提出的ConfidenceSeg-Net模型整合了特征增强和动态选择机制。在编码阶段，ReSidual U-block模块提取并自适应地增强多尺度特征；在解码阶段，利用多尺度特征融合和注意力引导的特征融合模块来整合特征图。分割头结合深度特征空间和侧输出模块生成最终的分割图，从而提高准确性和细节表现。此外，设计了一种考虑不确定性约束和可信度驱动的损失优化函数，该函数包括基本损失、可信度加权损失、不确定性正则化和可信度一致性损失项。这些组分的加权组合显著提升了模型的性能和可靠性。最后，建立了一个多维综合评估系统来评估缺陷检测的可靠性，该系统包含七个关键指标：主要预测可靠性、平均辅助预测可靠性、平均不确定性、多尺度特征表现力、预测稳定性、层间特征一致性和预测多样性。通过加权积分计算并结合这些指标，生成综合可信度分数，以实现全面细致的性能评估。在公共数据集上的实验结果表明，该方法的精度（Precision）、召回率（Recall）和Jaccard指数分别达到了0.8808、0.8877和0.7917。所提出的框架还提供了一种便携且全面的可信度评估机制，大大增强了实际应用能力和可靠性。

**引言**
钢材是广泛应用于建筑、机械制造、汽车、船舶、航空航天等领域的关键工业基础材料。钢铁生产包括炼铁、炼钢和轧制等工艺。诸多因素，如工艺参数波动、设备故障和原材料质量问题，都可能导致钢材表面出现缺陷。这些缺陷不仅会破坏钢材产品的外观，还会严重影响其性能。在建筑行业中，有缺陷的钢结构构件在长期使用后容易发生应力集中，从而导致结构强度下降，从而带来潜在的安全隐患。在汽车制造中，表面有缺陷的钢板会降低汽车车身的耐腐蚀性，损害整体强度，并大幅缩短汽车的使用寿命和安全性能（Wen等人，2022年；Luo等人，2020年）。

随着计算机视觉技术的不断发展，缺陷检测方法也经历了从传统方法（Song等人，2020a）到深度学习方法（Hao等人，2022年；Tang等人，2021年）的转变。与传统方法相比，基于深度学习的检测方法具有时效性强、分类能力强和检测精度高等明显优势。许多学者使用目标检测方法来检测表面缺陷。例如，陈H（Chen等人，2023年）提出了一种基于可变形卷积和注意力机制的 strip 表面缺陷快速检测网络DCAM-Net：首先使用CLAHE进行增强；然后融合可变形卷积以扩大感受野并提取完整的缺陷特征；最后用CA模块替代SPP结构以提升缺陷定位能力。王R（Wang等人，2023年）基于YOLOv7提出了一个 strip 表面缺陷检测模型，将ConvNeXt模块引入主干网络以增强特征提取和小特征识别能力，并在池化模块中嵌入注意力机制；改进的C3模块替换了头部的ELAN模块以减小尺度并提高推理速度。张Y（Zhang等人，2022a）提出了一个改进的PP-YOLOE-m网络用于 strip 表面缺陷检测，通过数据增强避免了过拟合以提高泛化能力；在主干网络中嵌入坐标以增强特征提取并获得更多空间位置信息；同时使用SIoU损失函数更精确地计算回归损失。实验表明该网络在NEU-DET数据集上的检测性能显著提升（Bao等人，2021年）。杜Y（Du等人，2024年）指出，由于尺寸变化、复杂结构和大规模缺陷形态，检测变得复杂，因此提出了基于自适应聚焦特征的 strip 钢材表面缺陷检测网络，通过多尺度聚焦融合增强了网络对复杂缺陷的适应能力，在NEU-DET数据集上能更有效地检测到 strip 钢材复杂表面图像中分布不规则的缺陷。刘R（Liu等人，2023年）提出了一种多尺度上下文检测网络用于缺陷检测，通过构建具有不同膨胀率的并行扩展卷积结构捕获多尺度上下文信息；提出特征增强和选择模块以增强单尺度特征并选择多尺度特征以减少混淆信息。张Y（Zhang等人，2023年）为YOLOv5 strip 钢材提出了轻量级表面缺陷检测算法，平衡了检测准确性和速度：首先设计了一个高效的轻量级卷积层GSConv；其次将非参数注意力机制SimAM集成到改进的Neck中以提高检测精度；最后使用SIoU函数代替CIoU函数作为回归预测损失。实验表明该设计在NEU-DET数据集上表现出良好性能。李M（Li等人，2022年）提出了一种基于改进的YOLOv4的 strip 表面缺陷检测方法，通过在主干网络中嵌入注意力机制并修改路径聚合网络来定制感受野结构，增强了特征提取能力。吕B（Lv等人，2024年）基于YOLOv7的 strip 表面缺陷检测算法通过用Partial Conv替换主干网络的卷积块、在ELAN模块中添加CA注意力机制以及在输出端引入SPD卷积模块，实现了模型规模缩减、检测速度提升和特征提取能力增强以及小目标检测性能的改进。卢Y（Lu等人，2024年）提出的YOLOv5s-CSG模型用GhostBottleneck替换了YOLOv5的C3模块和部分卷积结构，优化了CIOU损失函数，使模型更轻，性能提高了7.3%，模型大小减少了37.9%，mAP值达到了77.5%；该模型的检测精度和速度优于许多常用算法，适用于移动设备，能够快速准确地检测 strip 钢材的表面缺陷类型和位置。尽管上述方法可以实现缺陷定位，但无法有效提供缺陷的边界信息。

为了解决现有方法难以有效分割缺陷对象边界的问题，Song（Song等人，2020b）提出了一种基于编解码器残差网络的显著性检测方法，该方法能够准确分割出清晰的缺陷对象并过滤掉背景噪声。周X（Zhou等人，2021年）提出了一种端到端的密集注意力引导级联网络用于 strip 表面缺陷检测，该网络采用U形编码器-解码器结构，编码器级联多分辨率卷积分支，并通过级联特征积分单元融合深度特征以增强语义特征来表示缺陷；在密集注意力机制的帮助下，解码器将多尺度特征整合到显著性图中并聚焦于缺陷区域。实验表明，该模型在公共数据集上优于现有高级模型。沈K（Shen等人，2024年）设计了一个多尺度交互（MI）模块，该模块使用DWConv和PWConv提取并融合多尺度特征，并用较少参数表征缺陷区域；基于此，提出了一种用于实时检测 strip 表面缺陷的轻量级MINet。在SD-Saliency-900数据集（Song等人，2020a）上，模型参数仅为0.28M，GPU速度为721 FPS，CPU速度为6.3 FPS，检测精度与高级方法相当。崔W（Cui等人，2023年）提出了自相关感知聚合网络用于检测 strip 表面缺陷的明显目标，该网络通过残差注意力机制增强编码器特性并加速收敛；在解码阶段，全局自相关模块用于定位高级别特征语义信息并指导低级别信息；尺度交互模块用于整合不同层次的特征；局部自相关模块用于细化显著对象的边缘。该方法在公共数据集上优于现有高级方法。韩C（Han等人，2022年）提出了一种两阶段网络用于 strip 钢材表面缺陷的显著目标检测：第一阶段通过编码器-解码器架构生成初始显著性图；第二阶段利用第一阶段的边缘图优化特征并生成最终显著性图。基于YOLOv7的ASOD（Yue等人，2025年）注意力引导的显著对象检测器关注通道特征，强调缺陷区域，并通过设计通道注意力块、空间注意力块和交叉空间注意力块融合多尺度特征图，从而增强语义和空间信息并适应不同大小的缺陷。张L（Zhang等人，2025年）提出了一种新的三重注意力机制，从三个不同但相互关联的二维视角同时细化和整合特征图以增强特征表达能力。张D（Zhang等人，2022b）提出了一种新的图像级弱监督分割方法用于解决非服务轨道表面缺陷分割问题，该方法基于尺寸（面积和形状）的先验信息，进一步提出了具有池化组合模块的方法，通过使用不同的池化函数充分利用尺寸属性区分不同子类别。实验表明该方法有效且优于现有高级方法。

总而言之，现有的钢材表面缺陷检测方法在定位检测方面表现出色，但存在不足：目标检测方法难以准确提取缺陷的边缘轮廓信息；尽管图像分割方法可以解决这一问题，但目前研究主要集中在提高精度上，对模型的不确定性关注不足。此外，大多数方法依赖于SD-Saliency-900和NEU-DET这两个小型数据集，难以充分展示模型的适应性。鉴于此，本文使用更大的ESDIS-SOD数据集进行研究，重点构建了一个基于可信度引导的缺陷检测模型。该模型不仅输出检测结果，还同步生成可靠性图以实现定量可视化分析；同时设计了由不确定性约束和可信度驱动的损失优化函数以提高模型的可信度。最后，构建了一个多维综合评估系统来实时评估缺陷检测模型的可信度。

**本文的主要贡献如下：**
(1) ConfidenceSeg-Net：一种集成特征增强和动态选择的缺陷检测模型。在编码阶段，RSU模块提取特征，多尺度卷积进行自适应增强以捕捉图像细节；在解码阶段，通过多尺度和注意力引导的融合整合特征图，并通过上采样和跳跃连接恢复分辨率；分割头的深度特征空间模块和侧模块生成最终图像，从而提高准确性和细节表现。
(2) 由不确定性约束和可信度驱动的损失优化函数：为了提高对复杂样本的鲁棒性和准确性，提出了多策略损失函数，该函数结合了二元交叉熵和Dice损失作为基本损失；可信度加权损失通过Sigmoid函数进行归一化，给高可信度区域赋予更高权重；不确定性正则化惩罚高不确定性区域的错误，均方误差确保各层次之间的可信度一致性。所有术语根据权重系数结合成一个总损失函数，从而提高模型性能并辅助优化。(3)缺陷检测模型可靠性的综合评估方法：构建了一个多维评估系统来评估缺陷检测模型的可靠性，涵盖关键指标，如主要预测可靠性、平均辅助预测可靠性、平均不确定性、多尺度特征表达、预测稳定性、层间特征一致性以及预测多样性。该系统重点关注模型置信度、预测一致性、不确定性控制、多尺度特征提取、抗干扰能力、特征一致性以及预测差异等核心因素。通过计算每个维度的得分并结合权重系数，生成一个综合可信度评分，为模型优化提供科学参考。(4)实验结果表明，所提出的方法在公共数据集上表现出良好的性能，DICE、VOE、RVD、精确度、召回率和Jaccard值分别达到0.8752、0.0078、0.0494、0.8808、0.8877和0.7917。这与现有的先进模型相比具有显著的性能优势。此外，该方法还可以为单个样本提供预测可靠性评分，进一步提升模型的实用性和可靠性。

**部分摘录**

**总体架构**
图1展示了一个图像分割模型（ConfidenceSeg-Net）的架构，该模型整合了三个主要组成部分：编码阶段、解码阶段和分割头部。其中，RSU（ReSidual U-block）结合了残差学习和U形结构的优点（Qin等人，2020年），能够提取特征并增强网络的特征学习能力，并在不同尺度上提取丰富的特征信息。在编码阶段，模型提取...

**缺陷检测模型可靠性的综合评估**
在本文中，从多个角度评估了模型的可靠性，包括主要预测的可靠性、辅助预测的可靠性、不确定性水平、多尺度特征、预测稳定性、特征一致性以及预测多样性。通过整合这些指标，可以更全面地评估模型性能，为优化提供更好的理解和依据。

**系统设置**
我们设计的算法在一个配备Windows 10操作系统、AMD Ryzen 7 5800X处理器（8核）和32 GB内存的系统中实现。在软件环境方面，所有实验均使用Python 3.6编程语言和PyTorch 1.2.0深度学习框架进行，并配备了NVIDIA RTX 2080Ti显卡。我们选择将输入图像调整为320 × 320像素，以更好地满足模型的输入要求。对于优化器，我们选择了...

**可信度评估稳定性的分析**
此外，本文深入探讨了模型输出可靠性的稳定性，如图12所示。图表的纵轴代表可靠性评分，横轴对应迭代次数。我们可以观察和分析所设计模型在不同迭代中可靠性评分的变化，并据此评估模型对每张图像预测结果的稳定性。基于整体分析，可以得出...

**结论**
在本文中，我们提出了一种基于动态特征选择和不确定性引导优化的分层检测和评估方法，以解决传统方法在钢表面缺陷检测中的局限性以及现有深度学习方法在缺陷边缘轮廓信息提取和模型不确定性研究方面的不足。具体贡献总结如下：1. 模型构建与性能提升：通过构建ConfidenceSeg-Net CRediT，...

**作者署名声明**
刘良良（Liangliang Li）：撰写——审稿与编辑、撰写——初稿、软件、资源、方法论、调查。
王鹏（Peng Wang）：可视化、资源、方法论。
迪若海（Ruohai Di）：验证、软件、资源、形式分析。
徐超（Chao Xu）：监督、软件、方法论。
孙梦宇（Mengyu Sun）：验证、监督、方法论。
吕志刚（Zhigang Lü）：可视化、验证、方法论。
张宇（Yu Zhang）：验证、资源。

**利益冲突声明**
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

**致谢**
本项工作得到了陕西省自然科学基础研究计划（2025JC-YBQN-959、2024JC-JCQN-57、2025JC-YBQN-090）、西安自动化协会青年人才支持计划、西安渭阳区秦创源平台科技成果转化项目（202416）、陕西省电子设备智能测试与可靠性评估工程技术研究中心（2023-ZC-GCZX-0047）以及西安市自然科学基金项目（项目编号...）的支持。