SGANet:用于多模态多视图异常检测的语义与几何对齐算法

《Pattern Recognition》:SGANet: Semantic and geometric alignment for multimodal multi-view anomaly detection

【字体: 大 中 小 】 时间:2026年08月30日 来源:Pattern Recognition 9.1

编辑推荐:

  •SGANet:一种用于异常检测的无监督多模态多视图框架。•结合语义和几何策略的特征对齐以实现鲁棒的检测。•在SiM3D和Eyecandies数据集上实现了异常检测和定位的最先进技术。 引言 工业异常检测(AD)在制造业中起着关键作用,因为微小的表面缺陷会显著影响产品的质量和安

  •SGANet:一种用于异常检测的无监督多模态多视图框架。•结合语义和几何策略的特征对齐以实现鲁棒的检测。•在SiM3D和Eyecandies数据集上实现了异常检测和定位的最先进技术。

引言
工业异常检测(AD)在制造业中起着关键作用,因为微小的表面缺陷会显著影响产品的质量和安全性[1],[2]。由于现实工业场景中缺陷样本的稀缺性,仅基于正常(无异常)样本训练的无监督异常检测方法已被广泛用于工业检查。然而,大多数现有的无监督AD方法依赖于单视图观测,这通常不足以检查复杂的工业对象。实际上,遮挡和复杂的3D几何形状阻止了单一视角完全捕捉物体的所有表面区域。因此,从不同视角捕捉物体的多视图观测设置已成为全面工业检查的有效范式,从而激发了对多视图异常检测的日益关注[3]。
在实际的工业检查中,许多现有的异常检测方法仍然难以全面捕捉复杂的缺陷模式,限制了它们在现实场景中的有效性。例如,基于图像的方法[4],[5]和基于点云的方法[6],[7]不可避免地受到观测不完整的影响,因为外观和几何线索通常提供互补的信息。除了有限的模态信息外,视角变化还会通过引入跨视图的不一致观测来使异常检测更加复杂。因此,传统的异常检测框架,包括基于重建的方法(如DSR [8]、Anomalydiffusion [9]、URA-Net [10])、基于嵌入的方法(如CFlow-AD [11]、PNI [12]、LSFA [13])和基于合成的方法(如DRAEM [14]、DFD [15]),往往难以处理由视角变化引起的遮挡和外观变化。如图1(a)所示,传统的单视图方法独立处理每个视图,无法利用不同视图之间的信息。因此,只有从特定视角可见的缺陷容易被忽略。这些限制凸显了多模态多视图异常检测的重要性,它可以联合利用来自多个视图的可补全外观和几何线索来实现更全面和精确的缺陷检测。
因此,最近的研究开始探索超越单一观测的信息整合,包括结合互补的模态或多个视图。特别是,多视图异常检测方法利用来自不同视图的观测来提供更全面的信息,从而能够检测到在单视图中可能不可见的缺陷。在工业环境中,收集大规模的名义数据集既昂贵又耗时,并且可能会引入降低数据质量的注释错误[16]。因此,异常检测方法需要在数据有限的情况下保持可靠的性能,这对准确性和鲁棒性提出了更高的要求。多视图观测通过提供来自不同视图的不同外观和几何线索来帮助解决这个问题。然而,有效地利用这些互补信息需要学习跨视图的一致特征表示,这对可靠的异常检测至关重要。此外,大多数现有的多视图方法主要是基于图像的,使得难以明确捕捉跨视图之间的几何关系。因此,它们依赖于间接或粗略的几何监督,无法建立精确的跨视图对应关系,从而限制了学习到的表示的一致性。相比之下,多模态设置提供了访问3D信息的途径,使得来自不同视图的特征能够与一致的物理位置相关联,从而促进更准确的跨视图对齐。这些进展激发了越来越多的研究努力,将传统的异常检测框架扩展到多模态多视图设置。
尽管取得了最近的进展,但学习跨视图关系仍然是一个根本性的挑战。一个根本性的挑战是,来自多个视图的观测本质是不完整和分布的。每个视图仅捕捉到底层对象的部分投影,导致跨视图的信息碎片化。有效地将这些异构观测整合到一个统一且信息丰富的表示中是具有根本挑战性的。首先,主要依赖于特征相似性或跨视图相关性进行特征聚合的方法通常忽略了几何属性。没有几何指导,语义相似但在空间上不同的区域可能会被错误匹配,导致语义模糊和特征细化不可靠。例如,塑料凳子的不同腿可能具有相似的语义特征,但对应于不同的空间位置(图1(b))。其次,结合几何指导的方法,如极线几何或仿射变换,利用几何属性进行跨视图交互。然而,这些关系通常基于2D近似,可能无法准确反映复杂物体表面上的精确空间对应关系。第三,大多数现有方法缺乏有效的约束来指导跨模态和视图的特征融合和表示学习。由于视角变化和模态差异,对应于同一物理区域的特征可能会发生显著变化,而即使捕捉到相同的底层结构,不同模态的观测也可能表现出显著差异。这种不一致性源于观测空间与底层物理结构之间的不匹配。在没有有效约束的情况下,这些变化可能导致不稳定和不一致的特征表示,使得模型难以捕捉到可靠且物理上有意义的模式。这些挑战共同阻碍了跨视图之间物理上一致表示的学习。因此,多视图异常检测中的一个根本问题是如何建立既在语义上有意义又在几何上一致的可靠跨视图对应关系。

受这些挑战的启发,我们提出了SGANet,这是一个用于多模态多视图异常检测的统一框架(图1(c)),它学习跨视图和模态的空间一致表示。具体来说,我们利用跨模态和相邻视图之间的语义线索来指导跨视图特征精细化,通过多模态交互实现信息丰富的特征聚合。我们还引入了语义-结构对齐,为特征融合和表示学习提供明确有效的监督。为了减轻由视角变化引起的不可靠跨视图对应关系,我们进一步利用空间对应关系来强制多视图几何对齐,使模型能够学习跨视图之间物理上一致的表示。在SiM3D [16]和Eyecandies [17]数据集上的广泛实验表明,SGANet在异常检测和定位任务中始终优于最先进的基线。
本文的贡献总结如下:
•我们提出了SGANet,这是一种用于多模态多视图异常检测的无监督框架,它学习跨视图和模态的统一表示。
•我们提出了一种统一的特征对齐框架,解决了语义模糊性和缺乏有效一致性约束的问题,同时通过选择性跨视图特征细化模块(SCFRM)、语义-结构补丁对齐(SSPA)和多视图几何对齐(MVGA)共同建模跨视图和模态之间的语义、结构和几何关系,以改善跨视图对齐。
•在SiM3D和Eyecandies数据集上的广泛实验表明,SGAN在真实工业检测场景中的检测和定位任务中实现了最先进的性能。

多模态异常检测
早期的异常检测方法主要依赖于单模态输入,如RGB图像或3D点云。基于图像的方法在检测纹理和颜色缺陷方面非常有效,但对几何偏差不敏感。相比之下,基于3D的方法在捕捉几何异常方面表现出色,但在检测纹理和颜色变化方面往往遇到困难。这种模态差距限制了它们在现实场景中检测复杂缺陷的能力。
为了解决这一限制,多模态异常检测方法开始结合不同视图的信息。

问题表述
在无监督异常检测中,我们获得了一个训练集????????????????和一个测试集?????????????。训练集只包含正常(无异常)样本,而测试集包含正常和异常样本。在少样本设置中,训练集只包含有限数量的样本。在这项工作中考虑的多模态多视图设置中,每个样本??∈{????????????????,?????????????}包含从??个视角和互补模态?={2???,3???}捕获的多个观测。

实验细节
实验是在SiM3D [16]数据集上进行的,该数据集支持多模态和多视图异常检测。SiM3D是一个包含八类制造对象的真实工业数据集。数据集包含331个真实样本,每个类别仅提供一个用于训练的正常样本,而其余14-98个样本用于测试。每个对象从12或36个视角捕获,从而能够系统地评估多模态多视图。

结论
在本文中,我们提出了SGANet,这是一个用于多模态多视图异常检测的统一框架,它结合了语义和几何对齐来学习不同视图和模态之间物理上一致的特征表示。SGAN通过三个关键组件强制多种形式的特征一致性:选择性跨视图特征细化模块(SCFRM)、语义-结构补丁对齐(SSPA)和多视图几何对齐(MVGA)。

作者贡献声明
白乐天:撰写——原始草案、可视化、验证、方法学、形式分析、数据管理、概念化。
陶成玉:撰写——审阅与编辑、方法学、调查。
杜娟:撰写——审阅与编辑、监督、资源管理、项目管理、调查、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号