基于任务的动态特征选择与损失优化方法，用于多尺度缺陷检测

《ADVANCED ENGINEERING INFORMATICS》：Task-guided dynamic feature selection and loss optimization for multi-scale defect detection

　　刘鹏飞|夏光明|李芳|郭宇涵|尚书贤|常月通|冯涵|吴碧薇|王伟波
哈尔滨工业大学超精密光电仪器工程中心，哈尔滨150001，中国

摘要
具有不同提取程度的多级特征对于检测多尺度缺陷至关重要。然而，大多数现有检测器依赖于手工设计的启发式方法（例如IoU）从特征金字塔中选择正样本，这些方法本质上是与任务无关的，并且不了解预测质量。在本文中，我们提出了一种任务引导的动态特征选择（TGFS）策略，该策略利用任务驱动的分类和定位损失来定量评估每个真实实例与不同特征层中的候选正样本之间的匹配质量。基于这些逐层的质量评分，每个真实实例动态地从提供最优化任务特定表示的前三个特征层中选择正样本。为了进一步提高训练效果，我们设计了一个非线性损失重加权函数，该函数调整了所选样本对总损失的贡献，从而改善了模型对多尺度特征的学习并提高了训练效率。我们在一个轻量级的、无锚点的FCOS基线上实现了所提出的方法，且没有引入任何推理开销。实验结果表明，我们的方法取得了有竞争力的性能，在NEU-DET数据集上达到了80.7 mAP，在GC10-DET数据集上达到了70.0 mAP。

引言
材料表面的质量是整体制造水平的直接指标，特别是在金属材料的情况下，这些材料是现代工业生产的基础。然而，由于恶劣的操作环境和制造过程中的缺陷（如腐蚀或变形），表面缺陷很容易发生。常见的表面缺陷类型包括裂纹、夹杂物和其他异常[1]。这些缺陷会显著降低钢铁产品的性能、耐用性和使用寿命。此外，生产线上的实际条件使得缺陷检测极具挑战性，通常需要先进的检测设备、大量的人力和大量的时间投入。因此，开发一种高效且准确的表面缺陷检测方法对于工业制造至关重要。

在准确检测缺陷方面，主要挑战之一在于缺陷尺度的变化性。传统方法（如构建特征金字塔）仅提供了初步的解决方案，因为固定且手动设计的特征提取器往往难以适应实际场景中遇到的多样化和复杂的缺陷。最近，现代缺陷检测器在多个特征层上进行密集检测，这些特征层由卷积神经网络（CNN）提取不同深度的特征。如图1所示，在特征提取主干之后，具有不同感受野（RPx）的多层特征图（Fx）构成了特征空间。基于此，密集检测器可以有效地识别不同尺度的夹杂物缺陷。然而，由于特征空间的固有复杂性，精确定位对应于多尺度目标的激活区域仍然很困难。因此，提取有效的多尺度特征仍然是一个具有挑战性的任务。

最近的各种方法试图通过结合定制的特征提取模块[2]、[3]或知识引导的组件[4]、[5]来增强缺陷特征表示。虽然这些方法有效，但它们通常引入了大量额外的参数，这不可避免地增加了模型复杂性并降低了推理速度。在这项工作中，我们探索了一个根本不同的视角：是否可以在不改变模型架构或增加计算负担的情况下，通过选择与任务相关的高质量特征来增强模型对多尺度缺陷特征提取的能力，从而提高样本的表达能力并优化训练过程，最终实现零推理开销并提高检测性能。为此，我们首先对两种广泛采用的检测框架进行了比较分析：基于锚点的方法[6]、[7]和无锚点的方法[8]、[9]。这两种框架都基于先验知识构建正样本集以区分正样本和负样本。前者根据交并比（IoU）矩阵选择候选锚点并将其分配给每个真实框。尽管IoU匹配策略能够实现相对精确的特征分配，但它会带来显著的计算开销并负面影响模型推理速度。相比之下，无锚点检测器直接在每个特征点识别缺陷，通过在训练期间消除锚点并使用点到框的距离编码来显著提高速度。如图2所示，无锚点特征选择根据对尺度和空间维度的先验知识来定义正样本，使用真实框作为空间约束，并为每个特征层定义预定义的尺度范围作为尺度约束。在这两种情况下，生成的正样本集在训练迭代过程中保持静态，并且本质上是与任务无关的。例如，在GC10-DET数据集上，基于位置和尺度信息的特征选择[8]与分类或检测任务基本上无关，这导致超过40%的标注缺陷实例从次优特征层中选择正样本。显然，在背景复杂且缺陷形状多样的缺陷检测场景中，建立更严格和细粒度的特征选择策略至关重要。这种方法对于有效利用高质量缺陷样本来增强模型学习与任务相关的多尺度特征表示的能力至关重要。

为了解决这一挑战，我们提出了对复杂特征空间中多尺度缺陷特征的定量评估，以识别能够提高训练样本集准确性的高质量、表达力强的特征。鉴于迭代模型优化的方向直接由任务特定损失函数的梯度决定，我们自然有动力探索是否可以通过损失值来定量评估缺陷特征的质量。这将允许选择与任务最相关的样本，并逐步细化训练集，从而更有效地提高模型学习多尺度缺陷表示的能力。为此，我们建立了一个基于检测损失的逐层特征质量评估过程，并设计了一种任务引导的特征选择（TGFS）机制。TGFS在每次训练迭代中从与任务最相关的层动态选择高质量特征，不断细化正样本集。这种方法将选择适当的与任务相关的多尺度缺陷正样本这一具有挑战性的任务重新表述为一个旨在最大化特征表达质量的数学优化问题。在获得高质量特征样本后，我们进一步引入了一个根据表示质量比的非线性加权函数，该函数根据特征的质量自适应地调整多尺度特征的贡献，从而提高训练效率并优化检测性能。

所提出方法的贡献总结如下：
1) 提出了一种面向任务的动态特征选择策略，用于建模任务特定特征表达质量与检测损失之间的定量关系。该策略解决了从复杂特征空间中选择高质量特征的挑战。在每个训练周期中，它从多个特征层动态地为每个真实实例分配合适的正样本，并在整个训练过程中逐步细化正样本集。
2) 基于所提出的特征表达质量度量，设计了一个指数损失加权函数来计算多尺度特征的逐层自适应权重。通过调节具有不同表达质量的特征对总损失的贡献，优化了训练过程，以提高检测性能，而不会影响推理速度。
3) 在不引入额外参数的情况下，所提出的方法显著增强了模型感知多尺度缺陷的能力，并在NEU-DET和GC10-DET基准测试中取得了极具竞争力的结果。具体来说，使用带有ResNet-50主干的轻量级FCOS框架，在NEU-DET上达到了80.7 mAP / 40.5 FPS，在GC10-DET上达到了70.0 mAP / 31.6 FPS。

**文献综述**
近年来，对象检测取得了显著进展。作为具有广泛应用潜力的子领域，表面缺陷检测在推动智能和信息驱动的工程应用中发挥着关键作用。在YOLO系列[10]、[11]、FCOS[8]和基于变压器的架构[12]等高性能基线网络的基础上，研究人员开发了适用于特定应用场景的各种模块。

**无锚点检测基线**
鉴于实际工业应用中严格的速度要求，我们的目标是在不牺牲推理速度的情况下提高检测精度。认识到无锚点检测模型在有效和紧凑设计方面的优势，我们在代表性的无锚点检测器FCOS[8]的基础上构建了我们的模型，该模型已被广泛用作许多视觉任务的基线[22]、[23]、[24]。与基于锚点的方法不同，FCOS消除了生成锚框的需要。

**实验细节**
**数据集设置：**我们使用公开可用的NEU-DET和GC10-DET数据集[25]来评估所提出方法的性能。在NEU-DET数据集中，共有1800张图像，包括六种类型的钢铁表面缺陷：裂纹（Cr）、夹杂物（In）、斑块（Pa）、压痕表面（Ps）和滚动缩放（RiS）以及划痕（Sc）。每种缺陷包含300张图像，每张图像的分辨率为2002。NEU-DET的训练集和评估集比例为8:2。

**结论**
多尺度缺陷检测是智能工业中的一个关键挑战。虽然大多数现有的高级方法旨在通过更复杂的计算模块或额外的分支来改进特征提取过程，但这不可避免地会损害检测速度。我们提出的方法从新的角度出发，采用了一种面向任务的、关注匹配质量的特征选择策略以及基于匹配分数的损失重加权过程来检测多尺度缺陷。

**作者贡献声明**
刘鹏飞：撰写 – 审稿与编辑、撰写 – 原始草稿、可视化、验证、方法论。
夏光明：资源获取、资金筹集、形式分析。
李芳：监督、资源获取、形式分析。
郭宇涵：项目管理。
尚书贤：资源。
常月通：资源。
冯涵：资源。
吴碧薇：资金筹集。
王伟波：监督、资金筹集。

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
王伟波报告称获得了国家自然科学基金的支持。
王伟波报告称获得了2023年国家先进车辆集成与控制重点实验室开放基金（RBJ33）的支持。
王伟波报告称获得了中国博士后科学基金的支持。

**致谢**
本工作得到了国家自然科学基金（52275527）、2023年国家先进车辆集成与控制重点实验室开放基金（RBJ33）、中国博士后科学基金（2023 M740941）、黑龙江省博士后基金（LBH-Z23179）以及中国博士后奖学金计划（GZC20233484）的支持。