多源专家评分方法在零样本视觉异常分类与分割中的应用

《Computer Vision and Image Understanding》：Multi-Source Expert Scoring for zero-shot visual anomaly classification and segmentation

　　高辉|郭斌|李中平|钟旭科|钟宇中|段松毅
四川大学电气工程学院，中国成都市一环路南段24号，610065

**摘要**
零样本异常分类与分割（AC/AS）方法近年来在学术界和工业界受到了广泛关注，因为它们能够在无需额外训练的情况下进行操作。其中，仅依赖于测试图像的方法通过直接从测试样本中检测异常来提供一种新颖的途径，而不是依赖于关于异常的补充文本信息。然而，仍存在两个关键问题：（1）使用单一预训练模型来表示工业产品图像是不够的；（2）异常测试样本通常与正常样本和异常样本有显著差异，这影响了AC/AS的准确性。为了解决这些问题，我们提出了一种多源专家评分方法（MS-ExSc）用于零样本AC/AS。我们的方法整合了多个预训练模型，以提供更全面的工业产品图像表示，因为不同的预训练模型关注不同的方面。此外，我们引入了一种专家评分机制来减轻异常样本对其他样本评分的影响。此外，我们还采用了一种级联融合策略来整合来自不同来源、阶段和级别的异常映射。我们在VisA和MVTec数据集上进行了大量实验，结果表明MS-ExSc能够有效处理各种工业质量检测任务，同时完成了AC和AS任务，并且性能优于之前的最先进（SOTA）零样本/少量样本方法。此外，其性能与大多数全样本方法相当，突显了其在实际应用中的有效性和鲁棒性。

**引言**
工业AC/AS旨在识别产品中的异常区域，这对于确保工业检测的质量至关重要。为了解决传统手动视觉检测效率低、误报率高和劳动力成本高的问题，深度学习技术已广泛应用于工业视觉检测领域（Bergmann等人，2019年）。然而，监督检测方法面临一个重大挑战：获取足够数量的异常样本并预先定义所有可能的异常类型（Dong等人，2019年）。为了解决这些问题，已经开发了许多鲁棒的无监督方法（Batzner等人，2024年）。这些方法不需要预先了解异常，并且通常依赖于使用完全正常的训练数据集进行训练，因此被称为全样本方法。然而，在实践中，为每种产品类型收集大量多样化的正常图像是非常具有挑战性的。近年来，零样本/少量样本学习技术（Zhang等人，2024年；Ning等人，2025年；R. Zhang等人，2025年）在各个领域取得了成功。受此启发，工业异常检测领域也出现了一系列少量样本学习方法（Huang等人，2022年；Xie等人，2023年），旨在缓解训练数据稀缺的问题。这些方法仅依赖少量的正常图像进行训练，同时实现了令人满意的准确性。此外，实际应用通常需要检测新的工业产品类别。在这种情况下，全样本/少量样本方法需要重新训练模型，这既耗时又在新的产品类别上的性能不确定。为了解决这个问题，已经开发了零样本方法（Jeong等人，2023年；Chen等人，2023年；X. Li等人，2024年）。这些方法可以在无需额外训练的情况下对工业产品类别中的异常进行分类和分割。最近在零样本AC/AS方面的进展包括WinCLIP（Jeong等人，2023年）和APRIL-GAN（Chen等人，2023年），它们创造性地利用文本提示进行异常测量，引入了新的视角和可能性。此外，MuSc（X. Li等人，2024年）通过使用未标记测试图像中的正常和异常线索显著提高了零样本AC/AS的有效性，而无需依赖额外的信息，如文本提示。

现有零样本AC/AS方法的成功在很大程度上归功于多模态模型（Radford等人，2021年；Oquab等人，2023年）在捕获图像的广泛概念表示方面的卓越性能。预训练模型提取的图像表示的完整性是影响这些方法有效性的关键因素。大多数先前的方法依赖于在大型数据集上预训练的模型（Schuhmann等人，2022年；Russakovsky等人，2015年）来提取AC/AS的图像表示。然而，我们观察到工业产品图像与这些预训练模型的训练集之间存在领域差距。不同的预训练模型在提取工业产品图像的表示时关注不同的方面（图1），表明单一预训练模型无法完全表示这些图像。上述现象的原因是不同预训练模型之间的结构差异在处理相同图像时引入了特征提取偏差（不同的关注区域），而这些偏差又因它们各自预训练数据集的固有异质性而进一步放大。此外，在MuSc的异常评分机制中，正常样本之间的高相似性导致它们给其他正常样本分配较低的分数，而给异常样本分配较高的分数。相反，由于异常类型、受影响区域和形状的固有多样性，异常样本倾向于不加区分地给正常样本和其他异常样本分配较高的分数，从而在最终检测结果中引入了干扰。因此，我们提出了MS-ExSc，这是一个为零样本AC/AS设计的框架。

**MS-ExSc的主要贡献**
MS-ExSc的主要贡献集中在以下四个方面：
• 我们提出了一种多源特征提取方法，整合了多种预训练模型来捕获来自多个来源、阶段和级别的特征。通过采用多源方法，该方法提供了更全面的工业图像表示，从而减轻了工业图像与模型训练数据集之间的领域差距。
• 我们提出了专家评分机制，该机制迅速投票选出最具代表性的正常样本。这些样本与多源信息结合后，用于对所有样本进行异常评分。这种方法有效地减轻了评分过程中异常样本造成的干扰，通过隔离异常样本的影响，提高了模型的准确性和推理速度。
• 我们引入了级联融合策略，将来自不同来源、级别和阶段的异常得分向量整合在一起。该策略通过利用多个模型的优势来确保信息的全面融合，从而提高AC/AS的准确性和鲁棒性。通过结合来自不同来源、阶段和级别的洞察力，级联融合策略提高了我们框架在识别异常方面的整体性能。
• 在具有挑战性的VisA和MVTec数据集上的广泛实验表明，MS-ExSc的性能优于之前的SOTA零样本/少量样本工业AC/AS方法。此外，它在这些任务上还超过了大多数全样本方法，其在VisA数据集上的异常定位性能超过了之前的SOTA全样本方法。

**部分摘录**
**全样本工业AC/AS**
在AC/AS领域，主流方法主要分为图像重建和基于特征的方法，它们分别在像素空间和特征空间中操作。基于特征的方法涉及将图像输入模型以提取特征，然后在特征空间中构建决策边界或评分规则。这些方法以其出色的鲁棒性而闻名。SPADE（Cohen和Hoshen，2020年）利用在ImageNet上预训练的网络（Russakovsky等人，...）

**方法**
我们提出了一个零样本异常分类与分割框架MS-ExSc，如图2所示。该框架包括三个核心组件：（1）多源特征提取器，由K个预训练模型组成，表示为Ψ={ψk}k=1K；（2）专家评分模块（ESM），用于选择样本形成专家委员会C，然后对所有测试样本进行评分；（3）级联融合模块（CFM），用于整合多源评分。

**数据集和指标**
MVTec AD数据集（Bergmann等人，2019年）由MVTec开发，是常用的无监督AC/AS基准数据集。它包含高分辨率的RGB图像（范围从7002到10242像素），涵盖了工业产品和纹理。该数据集包括10个对象类别和5个纹理类别，每个类别在训练集中都有正常图像表示。数据集由4096个正常样本和1258个异常样本组成，使其成为评估AC/AS的宝贵资源。

**结论**
本文解决了仅依赖于测试图像的零样本AC/AS方法中的关键挑战。具体来说，它关注两个主要问题：改进工业产品图像的全面表示提取和减轻异常样本对其他样本评分的影响。为了解决这些问题，我们提出了MS-ExSc用于AC/AS。它利用多样化的预训练模型来捕获更细致和全面的工业产品图像表示。

**作者贡献声明**
高辉：撰写——原始草稿、验证、方法论、概念化。
郭斌：监督、资源、项目管理。
李中平：撰写——审阅与编辑、可视化、验证。
钟旭科：方法论、调查、数据管理。
钟宇中：撰写——审阅与编辑、方法论、资金获取、概念化。
段松毅：项目管理、正式分析。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了国家自然科学基金（编号62203314）、四川省自然科学基金（2024NSFSC1482）和中央高校基本研究基金（编号2023SCU12003）的支持。