弱监督多模态钢材表面缺陷定位与几何严重程度估计

《Pattern Recognition》：Weakly supervised multimodal steel surface defect localization and geometric severity estimation

　　

## 摘要要点

• 灰度-深度框架用于定位缺陷并评估磨削严重程度。• 几何引导的门控机制仅在支持灰度语义的区域注入深度信息。• 缺陷相对深度建模可抑制背景变化对严重程度线索的干扰。• 伪深度自举将监督扩展到稀缺的标定标注之外。• 在干扰条件下的工业测试中，mIoU达到0.9180，相关性达到0.947。

## 引言

三维钢材表面缺陷检测对智能制造具有重要意义，因为质量评估不仅需要缺陷类型、位置和面积，还需要与深度相关的几何严重程度信息。现有的钢材表面研究主要集中在外观图像上的分类、有无检测或二维定位方面[1]、[2]、[3]。近期的金属表面方法进一步改进了基于外观的检测和分割[4]、[5]。这些方法为缺陷区域识别提供了有用的支持，但仅有二维缺陷区域对于下游任务（如机器人磨削、材料去除估计、轨迹规划和工艺优先级排序）是不够的，在这些任务中缺陷深度和几何严重程度同样至关重要。

为获取此类几何信息，线激光检测系统为在线钢材表面检测提供了一条可行的路径。这些系统可以获取空间对齐的灰度图像和深度图：灰度图像保留了纹理、边界和语义线索，而深度图则描述了局部表面形变。因此，灰度-深度多模态观测为缺陷定位和几何严重程度估计提供了互补信息。然而，这种互补性在实际生产线上并非容易利用。浅层缺陷通常视觉对比度较弱，深度图受到噪声、缺失响应、反射变化、机械振动和标定不确定性的影响，且大规模获取标定几何标注较为困难。在此场景下，弱监督源于有限的标定最大深度测量而非缺失的深度观测：所有缺陷样本均保留了同步的灰度-深度输入，但仅有一部分样本具有现场标定的几何参考。因此，三维钢材表面缺陷检测不仅是一个多模态感知问题，也是一个在有限几何监督下进行可靠表征学习的问题。

针对该问题，现有的基于外观的方法仅部分解决了这些困难[2]、[6]、[7]。外观模型在污渍、氧化、镜面反射或轧制纹理条件下可能会失效，而仅使用深度的模型则对测量噪声和背景波动敏感[8]、[9]。因此，联合建模灰度和深度信息是有其动机的。多模态融合可以结合这两种数据源[10]，但许多策略依赖于早期拼接、后期分数融合或对称的特征交互。这些策略隐含地假设两种模态具有可比较的可靠性和语义角色。对于浅层钢材表面缺陷，这一假设往往不够充分。灰度图像通常更可靠地提供缺陷语义、纹理和边界界定，而深度图更适合几何校正和严重程度刻画。如果不区分两种模态的不同角色，深度噪声和局部伪结构响应可能会被直接引入语义表征中，从而导致假阳性或边界偏移。

除了融合策略外，另一个关键问题是如何在缺陷定位、几何回归和严重程度评估之间建立物理可解释的联系。绝对深度受板材位置、背景曲率、采集偏移和缓慢变化的表面波动的影响，因此它并不直接反映缺陷本身的严重程度。与工艺相关的几何线索是缺陷相对于其周围正常表面的局部偏差。一种局部平面参考的缺陷相对深度表征可以抑制低频背景变化，并将像素级几何响应转换为可解释的区域级严重程度描述符。因此，本研究探讨的核心问题是：如何在有限几何监督下将灰度-深度观测转化为缺陷语义、局部几何和区域级严重程度证据，如图1所示。

为解决这一挑战，我们提出了GDMDA框架，该框架在弱深度监督下预测缺陷掩码、缺陷相对深度图和区域级严重程度描述符。与将灰度和深度视为等价语义源的对称融合方案不同，GDMDA使用灰度图像作为主要语义流，并通过几何引导的门控跨模态交互选择性地注入深度校正。这样，深度图不再作为与灰度图像竞争语义主导地位的独立语义源，而是作为辅助几何证据，用于校正灰度图像中的模糊区域并支持严重程度估计。除非另有说明，多模态缺陷定位指从配对的灰度-深度输入中进行掩码预测，缺陷相对深度回归指局部平面参考的深度偏差预测，几何严重程度估计指从预测掩码和缺陷相对深度中进行区域级严重程度推断。

在监督层面，一种物理引导的深度目标定义了相对于局部参考平面的目标，并对背景响应、平滑性和相对深度顺序进行正则化。由于密集标定几何标注难以获取，伪深度自举利用已获取的深度图、审核后的掩码和局部平面拟合，将测量的最大深度监督扩展到额外的掩码标注缺陷上。因此，模型可以从有限的测量几何监督中学习缺陷相对深度，并进一步将像素级预测聚合为区域级严重程度指标。

本研究的主要贡献总结如下：

- **从感知到评估的证据链。** GDMDA框架连接了多模态缺陷定位、缺陷相对深度回归和几何严重程度估计，为下游磨削、修复和质量分级提供决策支持线索。
- **灰度主导的语义-几何融合。** 一种几何引导的跨模态交互模块将灰度特征作为主要语义表征，深度特征作为几何感知的校正线索，从而对灰度和深度观测在浅层钢材表面缺陷检测中的非对称角色进行建模。
- **物理引导的弱几何监督。** 一种缺陷相对深度学习策略将局部平面参考的深度建模、几何正则化和伪深度自举相结合，降低了对昂贵标定几何标注的依赖，并增强了浅层缺陷的几何严重程度估计。

本文其余部分组织如下：第2节回顾相关工作，第3节介绍所提出的框架，第4节描述数据集和实验设置。第5节实验结果与分析、第6节讨论报告实验结果并探讨实际意义。第7节总结全文。

## 章节摘要

### 工业缺陷检测与几何感知

工业表面缺陷检测已从手工描述子和基于规则的流水线发展到深度检测和分割模型[1]、[6]、[11]。近期的研究进一步改进了钢材表面的定位、弱监督和合成缺陷学习[3]、[4]、[7]，以及开放世界识别、形状感知建模和语义边缘检测[12]、[13]、[14]。不确定性建模、高效序列建模和视觉-语言对齐也拓展了缺陷……

### 问题定义与深度几何

设G∈?^(H×W)为灰度图像，D∈?^(H×W)为从同一钢材表面区域获取的对齐深度图。给定定义在空间域Ω={1,…,H}×{1,…,W}上的配对观测(G,D)，目标是联合估计缺陷区域及其关联的几何严重程度。相应地，GDMDA框架学习一个多模态映射f_θ:(G,D)?(M?,Δd?,d?_region)，其中θ表示模型的可学习参数，M?∈{0,1}^(H×W)为预测的二值缺陷掩码，Δd?∈?^(H×W)……

### 工业灰度-深度采集

建立了一个工业线激光平台，用于在在线生产条件下从移动钢板收集配对的灰度和深度观测。如图4所示，该系统集成了基于传送带的运输、线激光轮廓感知、基于多普勒的速度测量、可编程逻辑控制器(PLC)触发以及基于工业计算机的数据组织。钢板以约30 cm/s的速度运输，每0.1 mm触发一次扫描线……

### 实验结果与分析

本节评估了多模态缺陷定位、缺陷相对深度回归、几何严重程度估计、消融行为以及在实际感知干扰下的鲁棒性。

### 讨论

实验结果表明，GDMDA在有限标定深度监督下提供了缺陷定位和几何感知的严重程度线索。本节讨论在线可行性、误差来源和局限性。

### 结论

本文解决了在有限标定几何监督下工业钢材表面检测的多模态缺陷定位和几何严重程度估计问题。GDMDA使用灰度分支作为主要语义源，并通过门控校正选择性地引入基于深度的证据。缺陷相对深度建模和伪深度自举将有限的测量几何监督扩展到弱标注样本，使得可以输出缺陷掩码、缺陷相对……

## CRediT作者贡献声明

石逸康：原创草稿撰写。李雅倩：审阅与编辑。刘天和：原创草稿撰写。曲妙妙：审阅与编辑、方法论、数据整理。张文明：审阅与编辑、验证、数据整理。李海斌：审阅与编辑、资源。吴中强：审阅与编辑、资金获取。

## 代码可用性

本研究使用的代码可根据合理要求向通讯作者索取。

## 资金支持

本研究由河北省教育厅科研计划项目（批准号CXY2024024）、省重点实验室性能补贴项目（批准号22567612H）和太原市关键核心技术项目（批准号2024TYJB0104）资助。

## 利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

## 致谢

作者感谢支持钢材表面数据获取和现场检测实验的工业合作伙伴和技术人员。

石逸康|李雅倩|刘天和|曲妙妙|张文明|李海斌|吴中强