异常检测(Anomaly Detection,AD)是计算机视觉中的一个基本任务。AD 的主要目标是识别与既定正常数据分布显著偏离的实例[1,2]。这项技术在各种高风险的领域中都是不可或缺的,从工业制造中的产品缺陷检测[3,4]和医学图像分析中的病变定位[5,6],到自动驾驶系统中的安全关键感知。在这些场景中,精确和及时的异常检测对于维护生产完整性、确保公共安全和保证系统可靠性[7,8]至关重要。
然而,传统的异常检测方法,特别是监督学习方法,严重依赖于大规模且完全标注的训练数据。这要求数据集包含所有已知类别的样本,包括正常和异常实例。在实际的开放世界环境中,这种假设往往是不可行的,因为异常事件本质上是罕见、多样且不可预测的[9]。因此,提前收集和标注每种可能的异常类型几乎是不可能的[10]。例如,在工业装配线上,新的、前所未见的缺陷类型可能随时出现,这在最近的表面检测研究中经常被强调[11,12]。同样,在医学诊断中,罕见疾病的成像特征可能从未出现在训练集中,这严重限制了完全监督模型的适用性[13,14]。
为了规避对异常标签的依赖,出现了无监督学习和单类分类方法[15](例如,自编码器[16]、GANs[17])。这些方法通过仅学习“正常”数据的紧凑表示来构建模型,将任何偏离这种表示的数据点视为异常。尽管它们取得了一定的成功,但这些方法通常面临两个主要障碍:(1)泛化能力有限,它们难以区分“良性”的正常变化(例如,照明或视角的变化)和“恶性”的真实异常,从而导致高误报率;(2)缺乏语义理解,因为它们主要在像素或低维特征空间中定义“正常性”,缺乏对什么构成异常的高层次语义理解。
最近,少样本异常检测[18,19]试图缓解这一问题;主流的FSAD方法采用无监督适应范式,依靠少量目标领域的正常样本(例如,1样本或5样本)来建立基线正常性分布。一些监督变体也结合了一些已知的异常样本。然而,无论是依赖正常数据还是异常数据,FSAD仍然需要为每个新的目标类别进行数据收集和模型适应阶段。当面对真正的零样本场景时,即模型在训练或部署期间从未遇到过目标类别的任何实例(无论是正常还是异常),这些方法就变得不适用[20]。因此,开发一种无需依赖任何先验异常知识的零样本异常检测(Zero-Shot Anomaly Detection,简称ZS-AD)范式,已成为该领域一个重要且极具挑战性的前沿课题[21,22]。
尽管前景广阔,现有的ZS-AD方法仍然受到三个关键挑战的制约:(1)当前的工作难以有效地将CLIP[23]等模型提供的粗粒度(图像级)语义知识适应到细粒度(像素级)异常定位任务;(2)许多方法过度依赖复杂的文本模板来描述异常,这不仅增加了构建成本,还限制了模型对真正未知异常的泛化能力;(3)现有的像素级对比或重建方法在处理高分辨率图像时计算效率低下,并且容易受到无信息背景区域的干扰。
为系统地解决上述挑战,本文提出了一种新颖的多分支语义融合框架,用于高效和精确的零样本异常检测。该框架创新地将零样本检测任务分解为三个协同分支:文本引导分支、视觉-语言融合分支和图像间对比分支。核心原理是利用简约的语义信息来指导多级视觉特征学习。具体来说,在文本引导分支中,我们用简约的文本原型替代复杂的文本模板。在视觉-语言融合分支中,为了解决粗粒度对齐问题,我们提出了一种多级块处理机制。我们从卷积网络的不同深度提取多尺度特征,将图像分割成块,并进一步将它们聚合成块。在图像间对比分支中,我们设计了一个专为现实世界批量推理场景优化的对比模块。该分支使用同一批次内的图像构建了一个动态参考池。基于我们的关键洞察,即异常仅发生在对象实体上,而背景区域构成无用的噪声,我们引入了文本分支提供的语义特征(即正常和异常的均值向量)来对这个参考池进行语义过滤。最后,为了整合来自这些不同分支的信息,我们引入了一种语义置信度门控机制。这种门控策略动态权衡了文本引导的确定性与视觉对比的一致性,确保了高层次语义和低层次视觉证据的最佳融合。
本工作的主要贡献总结如下:
- (1)
我们提出了一种新颖的多分支ZS-AD框架(SFC-Net),有效地整合了简约的文本引导、层次化的块级视觉处理和专为批量推理场景定制的图像间对比机制。
- (2)
我们引入了一种基于文本语义的背景过滤策略。该机制有效地净化了视觉对比的参考池,显著减少了背景噪声干扰,同时提高了对位于对象实体上的微妙异常的敏感性。
- (3)
我们设计了一种语义置信度门控机制,实现了高层次文本语义和低层次视觉证据的有效融合,有效地平衡了模型的召回率和精确度。
- (4)
在两个标准异常检测基准数据集上的广泛实验表明,我们的方法在零样本设置下的性能显著优于现有的最先进技术,验证了该方法的有效性和实用性,同时也揭示了其在跨领域泛化方面的潜力。