基于对比语言-图像预训练的混合模态方法，用于零样本三维工业异常检测，并应用于汽车冲压件检测

《Engineering Applications of Artificial Intelligence》：A Contrastive Language-Image Pre-Training-based hybrid-modality method for zero-shot three-dimensional industrial anomaly detection with application on vehicle stamped parts

　　摘要：近年来，对比语言-图像预训练模型（CLIP）被广泛用于零样本二维异常检测，而零样本三维异常检测仍需进一步研究。现有的基于CLIP的方法利用图像特征与提示词特征之间的相似性来进行图像-文本检测，却忽略了图像特征本身也可独立用于异常检测。为解决这些问题，本文提出了一种基于CLIP的混合模态零样本三维异常检测方法（HAD-CLIP）。具体而言，除了图像-文本检测外，HAD-CLIP还在图像编码器之后加入了专门用于仅图像检测的检测头。由于训练样本和测试样本来自不同的数据集，基于训练样本学习的正常提示词特征可能无法有效表示测试样本的常态特征。因此HAD-CLIP仅学习异常提示词特征，同时本文设计了用于单一提示词特征学习的截断相似度损失函数。随后，将不同阶段的仅图像检测结果与图像-文本检测结果结合，实现混合模态零样本三维异常检测。在MVTec 3D异常检测数据集和Real 3D异常检测数据集上的实验结果表明，所提出的HAD-CLIP在物体级和点级上均实现了最先进的零样本三维异常检测性能，其有效性还在真实世界的汽车冲压零件数据集上得到了进一步验证。

引言：工业异常检测旨在发现工业产品中的异常并定位异常区域，对产品质量控制具有重要意义。目前的异常检测研究主要基于二维图像（Luo等人，2025；X. Li等人，2025；Gu等人，2025；Jang等人，2023；Bae等人，2023）。但在实际工业环境中，图像采集需要严格的照明条件，且图像质量会直接影响深度学习模型的检测性能（Hu等人，2022；Wang等人，2022）。近年来，随着MVTec 3D异常检测数据集和Real 3D异常检测数据集的发布，基于三维点云的异常检测方法受到了广泛关注（Bergmann等人，2022；Liu等人，2023）。

由于缺乏异常样本，三维异常检测方法通常采用无监督学习框架（Long等人，2025；Bergmann和Sattlegger，2023），即仅使用正常样本训练模型，而测试时则使用正常样本和异常样本。目前的三维异常检测方法主要包括内存库法和重建法。内存库法（Y. Wang等人，2023；Liang等人，2025；Zhu等人，2024；Zhao等人，2024）利用预训练的点云模型提取特征，从所有训练样本特征中选取部分核心特征构建内存库，在测试时通过计算测试样本特征与内存库特征之间的距离作为异常得分。对于重建法（Z. Zhou，2024；Li等人，2024），则通过设计异常模拟策略生成多样化的异常样本用于训练重建模型，测试时以输入点云与重建点云的差异作为异常得分。然而在实际工业应用中，现有的无监督方法需要为每类工业产品收集一定数量的训练样本并单独训练模型，这一过程十分耗时。在工业生产初期，由于训练样本不足，往往无法训练和应用无监督学习模型。

近年来，大型视觉模型对比语言-图像预训练模型（CLIP）（Radford等人，2021）已被广泛应用于各类下游任务（J. Wang等人，2023；Tevet等人，2022；Wasim等人，2023；Zhao等人，2025），包括零样本二维异常检测（Yuan等人，2025；Salehi等人，2025；S. Li等人，2025）。如图1(a)所示，现有的基于CLIP的检测方法利用辅助数据集学习正常提示词特征和异常提示词特征，测试时通过计算目标样本特征与提示词特征之间的相似度作为异常得分。零样本异常检测的目标是在训练时不使用目标领域的任何正常或异常样本来训练模型，但训练后的模型仍能对目标数据集进行异常检测。这类方法会利用MVTec-AD（Bergmann等人，2019）等辅助数据集训练模型，使其具备异常识别能力，然后再在目标数据集上进行测试。在工业场景中，收集足够多的训练样本是一个耗时且劳动强度大的过程，而零样本方法无需收集训练样本，只需在公开数据集上训练后即可直接应用于工业场景。与无监督方法不同，零样本方法能够同时对多类工业产品进行异常检测，因此特别适用于那些难以获取样本的工业异常检测任务。

不过，目前的基于CLIP的方法主要集中在零样本二维异常检测领域，而零样本三维异常检测仍需进一步研究。现有的基于CLIP的方法仅利用图像特征与提示词特征之间的相似性进行异常检测，如图1(a)所示，未能充分利用图像特征本身独立的异常检测功能。在无监督异常检测中，基于大规模数据集预训练的模型，如DINO（Caron等人，2021；Y. Wang等人，2023；Costanzino等人，2024）和ResNet（Chu等人，2023；Cao等人，2024）等，被认为能够为正常图像和异常图像提供不同的特征表示，从而用于异常检测。CLIP的图像编码器也在大规模数据集上预训练过，同样能够为正常图像和异常图像生成不同的特征表示。如图1(b)所示，CLIP图像编码器输出的特征可直接用于异常检测。此外，在零样本异常检测中，训练样本和测试样本来自不同的数据集，不同数据集中的异常区域存在一定相似性，而正常区域则因对象不同可能存在较大差异，因此基于训练样本学习的正常提示词特征可能无法有效表示测试集中不同对象的正常特征。

与现有的基于CLIP的方法不同，本文提出了如图1(b)所示的基于CLIP的混合模态零样本三维异常检测方法（HAD-CLIP）。该方法除了利用图像特征与提示词特征之间的相似性进行图像-文本检测外，还加入了专门用于仅图像检测的检测头，通过结合图像-文本检测和仅图像检测来实现混合模态检测。在提示词学习方面，考虑到基于训练样本学习的正常提示词特征可能无法有效表示测试样本的常态特征，HAD-CLIP仅学习异常提示词特征，同时本文设计了用于单一提示词特征学习的截断相似度损失函数。该损失函数能够在保持正常特征多样性的同时，使学习到的正常特征远离异常提示词特征，从而提升HAD-CLIP对测试集中未见过的正常模式的泛化能力。最终，将不同阶段的仅图像检测结果与图像-文本检测结果融合为最终检测结果。本文在最常用的MVTec 3D-AD和Real3D-AD数据集上验证了HAD-CLIP的性能，同时还收集了真实世界的汽车冲压零件数据集以进一步证明其有效性。

主要贡献如下：
•本文提出了基于CLIP的混合模态零样本三维异常检测方法（HAD-CLIP），该方法不仅利用图像特征与提示词特征之间的相似性进行图像-文本检测，还允许直接使用图像特征进行仅图像检测。
•在提示词学习方面，本文仅学习异常提示词特征，并设计了用于单一提示词特征学习的截断相似度损失函数，该损失函数有助于提升HAD-CLIP对未见过的正常模式的泛化能力。
•本文在多个不同阶段提取图像特征，结合多阶段的仅图像检测与图像-文本检测，实现混合模态检测。
•在MVTec 3D-AD和Real3D-AD数据集上的实验表明，HAD-CLIP在物体级和点级上均实现了最先进的零样本三维异常检测性能，其有效性还在真实世界的汽车冲压零件数据集上得到了进一步验证。

本文结构安排如下：第2节介绍相关研究，包括无监督三维异常检测、基于CLIP的零样本二维异常检测以及基于CLIP的零样本三维异常检测。第3节详细阐述所提出的HAD-CLIP方法。第4节讨论HAD-CLIP在MVTec 3D-AD、Real3D-AD以及真实世界汽车冲压零件数据集上的性能表现。最后，第5节对本文进行总结。

相关研究：无监督三维异常检测。目前，无监督三维异常检测方法主要包括内存库法和重建法。对于内存库法，首先利用预训练模型从正常训练样本中提取特征构建内存库，然后通过计算内存库特征与测试样本特征之间的最小距离作为异常指标。M3DM（Y. Wang等人，2023）就采用了预训练的PointMAE（Pang等人，2022）模型来提取特征。

概述：所提出的HAD-CLIP框架如图2所示。HAD-CLIP将点云样本投影为多个二维视图作为输入，分别对每个视图进行异常检测，最后取这多个二维结果的均值作为三维检测结果。与现有的基于CLIP的方法不同，HAD-CLIP在不同阶段结合使用图像-文本检测和仅图像检测，实现混合模态检测。此外，HAD-CLIP在提示词学习阶段仅学习异常提示词特征。

数据集：所提出的HAD-CLIP首先在MVTec 3D-AD（Bergmann等人，2022）和Real3D AD（Liu等人，2023）数据集上进行测试，之后又在真实世界的汽车冲压零件数据集上进行验证。MVTec 3D-AD和Real3D-AD是最常用的三维工业异常检测数据集。MVTec 3D-AD包含10类物体，共计1197个样本，每个样本均为存储x、y、z坐标的三通道深度图像，根据相机参数可转换为空间坐标。

结论：本文提出了基于CLIP的混合模态零样本三维异常检测方法HAD-CLIP。与现有的基于CLIP的方法不同，HAD-CLIP除了能够进行图像-文本检测外，还能直接利用图像特征进行独立的仅图像检测。该方法通过融合多阶段的仅图像检测结果与图像-文本检测结果实现混合模态检测。此外，HAD-CLIP仅学习异常提示词特征，同时通过设计的截断相似度损失函数处理单一提示词特征的学习问题。

作者贡献声明：Yi Liu负责原始稿撰写、可视化处理、结果验证及方法设计；Changsheng Zhang负责审稿与编辑、研究指导、方法设计及资金申请；Xingjun Dong负责审稿与编辑、结果验证及方法设计；Yufei Yang负责审稿与编辑、可视化处理及方法设计。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：本研究得到了中央高校基本科研业务费（N25BSS022）的支持。

Yi Liu|Changsheng Zhang|Xingjun Dong|Yufei Yang
中国沈阳东北大学软件学院，邮编110167