MMUAD:一种用于多模态和多类别无监督异常检测的统一框架
《Knowledge-Based Systems》:MMUAD: A unified framework for multi-modal and multi-class Unsupervised Anomaly Detection
【字体:
大
中
小
】
时间:2026年08月30日
来源:Knowledge-Based Systems 8.0
编辑推荐:
•据我们所知,我们首次提出了基于重构的多模态异常检测框架。•我们提供了一种多模态数据的融合机制,包含模态特异性增强和对比学习。•我们的模型在MulSen-AD和Mvtec 3D-AD数据集上实现了多模态和多类无监督异常检测的先进性能(SOTA),并降低了多类任务中的性能退化。
•据我们所知,我们首次提出了基于重构的多模态异常检测框架。•我们提供了一种多模态数据的融合机制,包含模态特异性增强和对比学习。•我们的模型在MulSen-AD和Mvtec 3D-AD数据集上实现了多模态和多类无监督异常检测的先进性能(SOTA),并降低了多类任务中的性能退化。引言工业异常检测在制造质量控制中扮演着至关重要的角色,通过识别缺陷产品并减少生产损失。无监督异常检测(UAD)的核心目标是在仅使用正常数据进行训练的情况下,识别偏离正常模式的异常。然而,随着部署场景从简单的单对象任务演变为大规模、异构环境,当前方法在感知能力和部署可扩展性方面均面临重大挑战。同时,对单模态数据的依赖已成为瓶颈。在复杂的工业制造中,2D图像传感器(如RGB相机)能够更好地感知样品的纹理和颜色变化等异常,而3D传感器(如RGB-D相机)则能更好地感知样品的几何和形态变化。此外,红外传感器能够揭示肉眼不可见的皮下或热异常。因此,融合多模态数据对于全面的缺陷感知至关重要(图1)。然而,将UAD扩展到多模态设置中引入了"模态鸿沟"的挑战。简单的特征拼接往往无效,因为不同模态之间的信息密度和噪声水平存在显著差异。传统的UAD范式通常采用"一对一"的设置,即为每个对象类别训练单独的模型。虽然有效,但在涉及数千种产品类型的实际场景中,这种方法会带来高昂的存储成本和训练延迟。最近,"多类"UAD框架应运而生,通过学习跨越多个类别的共享决策边界来解决这一问题。然而,它存在"相同捷径"问题,会无意中重构异常样本为正常样本(见图2)。尽管多类和多模态检测各自取得了进展,但同时解决两者的统一框架仍未被探索。现有的多模态方法[1]、[3]、[4]通常需要为每个类别训练单独的模型,缺乏可扩展性。相反,现有的统一方法主要是单模态的,无法捕捉复杂的几何异常。这种脱节限制了UAD系统在现实、多样化和高精度环境中的部署。现有的多模态框架,如CFM [3]和MMRD [5],主要在"一对一"设置下采用类别特异性特征映射或反向蒸馏范式。虽然对孤立类别有效,但它们不适配多类分布的联合学习,在扩展时存在结构性过度泛化的问题。为了弥合这一差距,我们提出了MMUAD,一个新颖的多模态和多类无监督异常检测统一框架,旨在协同利用多种模态,同时在多个类别中保持鲁棒性。MMUAD在所有类别之间共享一个多尺度冻结教师网络,并通过基于注意力的融合网络路由异构特征,该融合网络由模态特异性记忆库和对齐损失进行优化。为了应对模态鸿沟和信息利用问题,我们引入了一种对比学习机制,在共享的令牌空间中对齐异构模态的特征表示。此外,我们设计了一种利用空间和频率域的模态特异性增强机制。我们观察到,标准的重构方法在RGB图像中的高频细节和3D/红外数据中的空间结构方面往往表现不佳。因此,我们的机制显式地对RGB进行频率信息建模,以捕捉细粒度的纹理异常,同时对3D和红外数据进行空间域特征增强,以优化几何和热结构。我们的主要贡献总结如下:•据我们所知,我们首次提出了基于重构的多模态异常检测框架。•我们提供了一种多模态数据的融合机制,包含模态特异性增强和对比学习。•我们的模型在MulSen-AD [1]和Mvtec 3D-AD [6]数据集上实现了多模态和多类无监督异常检测的先进性能(SOTA),并降低了多类任务中的性能退化。章节摘要无监督异常检测无监督异常检测是近年来研究者广泛关注的一个研究领域。当前的UAD方法分为三大类:基于嵌入的方法[7]、[8]、[9]使用预训练网络提取图像中的特征并将其存储在记忆库中,然后在推理时计算新特征与记忆库之间的距离。基于重构的方法[2]、[10]、[11]、[12]使用编码器-解码器框架。方法我们将多模态无监督异常检测(UAD)问题形式化如下。给定M种模态,如RGB图像(由可见光传感器如相机捕获)、红外图像和点云数据,训练集记为??_train={???…???},由n个正常三元组??组成。测试集定义为??_test={???…???},其中包含正常和异常样本。在某些情况下,异常区域可能只出现在部分模态中,而其他模态则可能数据集我们在两个具有挑战性的多模态数据集上进行评估:MulSen-AD [1]和MVTec 3D-AD [6]。两个数据集均采用无监督范式,其中训练集仅由正常样本组成,而测试集包含正常样本和多种异常案例。MulSen-AD数据集包含15个工业物体类别,每个样本提供RGB图像、红外热成像和3D点云。RGB和红外图像预注册到相同分辨率;点云则经过。结论在本文中,我们介绍了MMUAD,一个开创性的多模态和多类无监督异常检测统一框架。为了解决模态鸿沟和类间干扰等固有挑战,MMUAD协同利用模态特异性增强和基于注意力的融合机制,有效捕捉细粒度纹理和复杂几何异常。通过引入模态间对比学习策略,我们的框架将异构特征对齐到共享空间中。贡献者声明Hao Sun:撰写–审稿与编辑,撰写–初稿,方法学,数据整理。Lei Fan:撰写–审稿与编辑,撰写–初稿,方法学,数据整理。Puchao Zhou:撰写–审稿与编辑。Pinjia Chen:方法学。Shaohui Liu:监督。声明关于生成式AI和AI辅助技术在稿件准备过程中的使用在准备本工作期间,作者使用Gemini来检查写作和语法。在使用该工具后,作者审查并编辑了内容,并对已发表文章的内容承担全部责任。利益冲突声明作者声明不存在已知的可能影响本文所述工作的竞争经济利益或个人关系。Hao Sun于2024年获得中国哈尔滨工业大学计算机科学与技术学士学位。他目前正在中国哈尔滨工业大学计算机学院攻读计算机科学博士学位。他的研究兴趣包括异常检测和3D视觉。Hao Sun|Lei Fan|Puchao Zhou|Pinjia Chen|Shaohui Liu
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号