《Pattern Recognition》：MaskCL: Mask-driven Cross-Modal Collaborative Learning for multimodal anomaly detection
编辑推荐：
•提出了 MaskCL，一种新颖的框架，将多模态异常检测重新表述为不完整观测下的协同表示学习。•引入了前景感知随机掩码（FRM）模块，以有效破坏映射捷径。•开发了协同特征学习（CFL）架构，以统一模态内和模态间的特征对齐。•在 MVTec 3D-AD 和 Eyecandies
- •
提出了 MaskCL，一种新颖的框架，将多模态异常检测重新表述为不完整观测下的协同表示学习。
- •
引入了前景感知随机掩码（FRM）模块，以有效破坏映射捷径。
- •
开发了协同特征学习（CFL）架构，以统一模态内和模态间的特征对齐。
- •
在 MVTec 3D-AD 和 Eyecandies 基准上取得了强大的异常检测和定位性能。
简介
工业异常检测（IAD）旨在识别细微的结构或语义偏差，通常仅使用正常样本进行训练 [1], [2]。现有方法大致可按模态分类：基于 RGB 的外观检查 [3], [4], [5] 和基于点云的几何分析 [6], [7]。前者对纹理异常敏感，但易受光照和遮挡影响；后者对几何缺陷鲁棒，但缺乏语义纹理线索。因此，近期研究 [8], [9], [10], [11] 探索了多模态异常检测，寻求通过融合 2D 外观和 3D 几何来改进表示完整性。
多模态融合的根本挑战在于建模异构模态之间的内在对应关系。为了解决这个问题，现有的基于映射的范式，如 CFM [9]，学习 RGB 和点云特征之间的双向跨模态映射，并通过预测特征与观测特征之间的差异来检测异常。尽管避免了高昂的存储成本，但其优化涉及一种尚未得到彻底检验的结构风险。
有效的跨模态映射应在捕获异构模态之间信息依赖的同时，保留其互补信息。然而，当训练期间两种模态都有完整的局部观测时，映射目标可能会通过逐点数值拟合得到平凡满足，即最小化空间对齐的局部特征向量之间的距离。这种优化捷径可能使映射目标在降低训练损失的同时，减少模型充分利用互补跨模态信息的需求。我们将这种现象称为映射捷径。如图 1(a) 所示，捷径映射导致碎片化的异常定位，模型基于孤立的局部差异做出决策。此外，图 1(c) 中的跨模态相似度热图揭示了该问题的本质。对于来自异常区域的查询特征，现有方法为多个不对应的区域分配了高相似度分数。这一观察结果表明，模型依赖于低层特征统计进行模糊匹配，而不是建立具有判别性的唯一对应关系。这种对应关系的模糊性削弱了学习到的跨模态表示的判别能力，使得异常决策对传感器噪声和细微的几何变化高度敏感。
为了克服这一局限性，一种自然的对策是施加信息约束的学习设置，在这种设置下完整的局部对应关系不再直接可用。在这样的约束下，直接的逐点拟合捷径变得不太有效。恢复被掩码的表示因此鼓励模型利用同一模态和互补模态中仍然可用的信息。这启发了我们的协同学习设计，在不完整观测下联合执行自模态重建和跨模态特征恢复。
受这些观察结果的启发，我们提出了掩码驱动的跨模态协同学习（MaskCL），这是一个将多模态异常检测重新表述为不完整观测下协同表示学习的框架。如图 1(b) 所示，通过部分遮挡两种模态的特征，所提出的框架减少了直接逐点特征拟合的依赖，鼓励模型利用互补信息进行跨模态重建。为了实现这一协同学习框架，我们引入了前景感知随机掩码（FRM）模块，通过随机掩码前景区域来构建不完整的跨模态观测。生成的不完整观测由协同特征学习（CFL）模块处理，该模块联合执行跨模态特征建模和自模态表示恢复，从而实现对正常特征的一致重建，同时为异常区域产生较大的重建差异。此外，为了缓解掩码随机性引起的优化不稳定性，采用了一种渐进松散约束（PLC）策略，以实现从粗粒度对齐到细粒度特征优化的平滑过渡。
主要贡献总结如下：
- •
我们提出了 MaskCL，一种协同学习框架，将多模态异常检测重新表述为不完整观测下的表示学习，通过信息瓶颈减少对直接逐点对应的依赖。
- •
我们开发了一种统一的协同学习机制，其中前景感知掩码构建不完整观测，协同特征学习恢复互补表示，渐进优化实现了信息约束下的稳定学习。
- •
在 MVTec 3D-AD、Eyecandies 和 Real-IAD D3 上的大量实验表明，在异常检测和定位方面具有强大且具竞争力的性能，以及强大的鲁棒性和少样本泛化能力。
章节摘要
相关工作
近年来，多模态异常检测受到了越来越多的关注。现有方法大致可分为基于特征嵌入的方法和基于重建的方法。
概述
为了缓解现有跨模态异常检测方法中直接逐点特征拟合相关的映射捷径，我们提出了 MaskCL，一种在信息约束下学习跨模态表示的多模态异常检测框架。通过学习不完整的跨模态观测，MaskCL 减少了对平凡局部对应的依赖，并鼓励模型通过协同跨模态学习恢复互补信息。
给定一个 RGB
实验设置
数据集。 我们在三个 RGB-D 异常检测基准上评估了所提出的方法：MVTec 3D-AD [32]、Eyecandies [33] 和 Real-IAD D3 [35]。MVTec 3D-AD [32] 是工业异常检测中广泛使用的基准。训练集仅包含正常样本，而测试集包含正常和异常样本，每个类别有多种缺陷类型。每个样本包含一张 RGB 图像和对应的点云，提供对齐的外观和几何信息。
讨论
图 9 可视化了 MVTec 3D-AD（左）和 Eyecandies（右）上的代表性失败案例。尽管 MaskCL 通过利用跨模态协同恢复实现了有效的异常定位，但由于异常信号微弱和复杂的表面图案，仍存在几个具有挑战性的案例。
与 CFM 等现有方法相比，这些方法可能难以定位结构缺失区域，并为细微缺陷产生过度扩散的热图，我们的方法产生了更集中的异常响应。
结论
我们提出了掩码驱动的跨模态协同学习（MaskCL），这是一个在不完整观测下学习鲁棒表示的多模态异常检测框架。与传统可能依赖直接逐点拟合的跨模态映射方法不同，MaskCL 引入了信息约束的协同学习策略来利用互补的多模态信息。通过结合前景感知掩码和协同特征学习，所提出的框架
CRediT 作者贡献声明
李健峰： 写作 – 原稿，软件，方法学，数据整理，概念化。 王文： 写作 – 审阅 & 编辑，方法学，概念化。 刘雨瑶： 写作 – 审阅 & 编辑，调查。 李庆勇： 监督，资金获取。
利益冲突声明
作者声明他们没有已知的竞争经济利益或个人关系，这些关系可能会影响本文所述的工作。
致谢
本工作部分得到国家自然科学基金（项目编号 62276019, 62306028, 62501043）的支持，部分得到中央高校基本科研业务费（项目编号 2023JBZY037, 2022JBQY007）的支持，部分得到北京市自然科学基金（项目编号 L231019）的支持，部分得到深圳市科技计划项目（项目编号 KJZD20240903102742055）。
李健峰 | 王文 | 刘雨瑶 | 李庆勇
