自旋邻接注意力网络用于制造业中的表面缺陷分割

《Engineering Applications of Artificial Intelligence》：Spin adjacency attention network for surface defect segmentation in manufacturing

　　摘要表面缺陷分割对于制造业中的生产监控至关重要，但由于随机出现的小型缺陷以及缺陷区域与无缺陷区域在形态上的相似性，这项任务仍然具有挑战性。尽管已经提出了多种方法（包括深度学习方法和基于激光的分割方法）来解决这些问题，但捕捉细微或相似的缺陷区域仍然困难。为了解决这些问题，提出了一种自旋邻接注意力网络（SAA-Net），用于制造业中表面缺陷的监督式语义分割。其中，自旋自适应注意力（SAA）模块被设计用于通过基于旋转变换的特征增强来搜索材料表面上的小缺陷，而邻接路由注意力（ARA）模块则被开发用于通过建模细粒度特征来区分相似的缺陷区域与无缺陷区域。在NEU-SEG（东北大学表面缺陷分割）、磁瓦、MVTec-AD（MVTec异常检测）和DAGM（德国模式识别协会）数据集上的实验证明了SAA-Net的有效性，分别达到了91.98%、90.33%、93.28%和91.37%的mIoU（平均交并比）分数，进一步辅助了生产监控。引言近年来，自动视觉检测在经济发展中发挥着重要作用（Niu等，2025；Ma和Zhang，2025），高质量产品对社会发展至关重要（Zhang，2025；Liu等，2025）。例如，功能完备的磁瓦可以为电机提供恒定的磁场（F. Yang等，2022），而无缺陷钢材则展现出卓越的品质和耐久性，为建筑行业提供可靠的安全保障（Zheng等，2025）。特别是，表面缺陷作为评估产品性能的关键指标越来越受到关注（Bao等，2025）。这些缺陷不仅影响表面外观，还可能显著影响产品质量，甚至可能导致严重的安全事故（Liu和He，2022）。因此，在自动视觉检测系统中执行表面缺陷分割是至关重要的。目前，制造业中的表面缺陷分割依赖于经验丰富的工人（Zhao等，2023）。然而，这种人工方法耗时较长，不适合实时生产监控（Tian等，2024）。为了克服这些局限性，人们提出了各种传统图像处理技术用于自动表面缺陷分割（Chang等，2020），如大津法（OTSU）（Yuan等，2015）、支持向量机（SVM）（Zhang和Liu，2014）和K-means聚类（He等，2020）。然而，这些传统方法往往无法分割小缺陷，尤其是在复杂环境中。由于基于深度学习的模型在实际应用中受到广泛关注（Tan等，2024；Tan等，2025；Huang等，2024），它们也被应用于表面缺陷分割。例如，Wu等（2022）提出了一种基于分类激活图（CAM）的弱监督图像级缺陷分割算法。然而，通过从浅层融合特征中提取潜在缺陷区域，其对微小缺陷的分割性能仍需改进。在W. Liu等（2021）中，设计了一种基于局部和全局灰度差异的自适应阈值FAST特征点提取方法，用于工业芯片识别。此外，Tsai等（2021）开发了一种用于纹理表面像素级缺陷分割的深度学习方法，其中CycleGAN模型可以自动合成并标注缺陷像素。然而，该方法需要大量计算资源。此外，基于激光的分割方法作为强大的工具出现，能够对表面形貌进行高精度测量。这些方法通常与点云处理算法相结合，增强了缺陷分割系统的鲁棒性。例如，Ye等（2023）提出了一种基于激光的3D深度语义分割方法，利用高精度激光测量数据进行轨面缺陷分割。然而，这些方法仍受到表面污染、机械振动和环境光波动等外部因素的影响。在Huang等（2021）中，提出了一种高效的卷积神经网络，即PosNeg，用于织物缺陷分割。然而，其对小织物缺陷的性能有限。此外，Meng等（2022）提出了一种多任务学习框架，通过融合所有层级的特征来分割轨面裂纹，但一些相似的缺陷区域被忽略了。Liu等（2024）引入了AIS-Net，利用通道-空间注意力来融合多尺度特征以进行表面缺陷分割。然而，AIS-Net有两个关键局限性。首先，它依赖多尺度感受野来分割小缺陷，这可能导致对微小缺陷的忽视。其次，其自注意力机制计算所有空间位置之间的相关性以区分无缺陷背景，这既带来了计算开销，也引入了潜在噪声。然而，由于制造环境的复杂性，工业场景中的视觉表面缺陷分割仍然具有挑战性（Bao等，2021）。首先，一些缺陷区域很小且随机出现在图像中（Yang等，2018）（见图1中的红框），这些小缺陷在深度学习过程中可能被神经网络忽略，导致模型性能下降。其次，一些缺陷区域与无缺陷区域非常相似（Ren等，2022），如图1中的黄框所示，这对缺陷分割产生了负面影响。虽然深度学习方法提升了表面缺陷分割的性能，但大多数方法依赖于多尺度特征融合或全局自注意力。例如，多尺度卷积神经网络（CNN），如PAN（Li等，2018）和PGA-Net（Dong等，2019），由于重复下采样，往往难以保留微小缺陷中的精细细节。相比之下，基于Transformer的方法，如AIS-Net（Liu等，2024），计算所有图像块之间的自注意力，导致相似缺陷区域与无缺陷区域之间的细微差异被过度平滑。总之，这两种策略都无法捕获方向性多方向空间信息和细粒度模式。为了解决这一局限性，提出了自旋邻接注意力网络（SAA-Net）用于表面缺陷分割，其中自旋自适应注意力（SAA）模块专门用于识别材料表面上的小缺陷，而邻接路由注意力（ARA）模块则被设计用于区分相似的缺陷区域与无缺陷区域。首先，SAA模块对特征图应用二维几何变换（0°、90°、180°、270°的旋转以及水平/垂直翻转），并利用自适应注意力掩码，使网络能够从二维图像平面内的多个方向识别小缺陷。其次，ARA模块计算每个图像块与其八个直接邻居之间的注意力，而不是在所有图像块之间计算，从而保留用于区分相似缺陷区域的细粒度差异。这种双重机制为表面缺陷检测中全局上下文与局部判别细节之间的长期权衡提供了一种新颖的解决方案。本文的主要贡献包括：（1）自旋自适应注意力（SAA）模块，通过对特征图应用六种固定的二维几何变换并进行自适应注意力掩码处理，实现基于旋转变换的特征增强，旨在定位材料表面的小缺陷。与旋转等变卷积或软空间注意力不同，所提出的SAA模块对特征图应用六种固定的二维几何变换（旋转和翻转），并使用布尔门控注意力来保留关键的小目标信号。（2）邻接路由注意力（ARA）模块，通过使用每个图像块与其八个邻居之间的空间邻接矩阵来建模细粒度标记，而不是全局自注意力，旨在区分相似的缺陷区域与无缺陷区域。与局部窗口注意力（如Swin）、轴向注意力或标准邻域注意力不同，所提出的ARA模块针对同一查询计算键和值的邻接图，然后使用矩阵乘法和最大操作进行组合。（3）在四个基准数据集上的广泛实验表明，所提出的SAA-Net具有良好性能，在NEU-SEG、磁瓦、MVTec-AD和DAGM数据集上分别达到了91.98%、90.33%、93.28%和91.37%的mIoU分数。本文的其余部分组织如下：第2节描述SAA-Net。第3节介绍实验和结果分析，第4节给出结论。章节片段用于表面缺陷分割的自旋邻接注意力网络在本节中，提出了一种用于表面缺陷分割的自旋邻接注意力网络（SAA-Net），如图2所示。SAA-Net的主干采用类U-Net的编码器-解码器架构，其中编码器使用带有组归一化（GN）和SiLU激活的卷积层提取分层特征。为了增强缺陷分割，两个关键组件被集成到这个主干中。自旋自适应注意力（SAA）模块放置在编码器之后，以帮助定位数据集为了评估所提出的SAA-Net在表面缺陷分割中的性能，使用了四个数据集，即NEU-SEG、磁瓦、MVTec和DAGM数据集进行实验，具体描述如下。在我们的实验中，所有数据集采用一致的数据划分策略。对于随机划分的数据集（即磁瓦、MVTec-AD和DAGM），所有划分生成操作使用固定随机种子42。对于NEU-SEG数据集，标准划分结论本文提出了一种用于工业制造中表面缺陷分割的自旋邻接注意力网络（SAA-Net），其中首先设计了自旋自适应注意力（SAA）模块，通过基于旋转变换的特征增强来搜索小缺陷；然后，开发了邻接路由注意力（ARA）模块，通过空间邻接矩阵建模细粒度标记，以区分相似的缺陷区域与无缺陷区域。在CRediT作者贡献声明徐旺：写作——初稿，可视化，验证，软件，资源，方法论，调查，资金获取，数据管理，概念化。何兆水：写作——审阅与编辑，方法论，资金获取。王德义：方法论，数据管理。张永亮：可视化，软件，概念化。林志杰：验证，资金获取，正式分析。谢胜利：写作——审阅与编辑，资源，正式分析。利益冲突声明作者声明，他们不知道可能影响本文所报告工作的任何已知竞争经济利益或个人关系。致谢本工作部分得到了国家重点研发计划（批准号2022YFB4703100）、国家自然科学基金（批准号62403145、62503120、62273105、U1911401、62203121）、广东省基础与应用基础研究基金（批准号2025A1515010282、2019B1515120036、501200069）以及博士后基金项目（批准号BX20250402和2025M771707）的资助。徐旺|何兆水|王德义|张永亮|林志杰|谢胜利