港元:用于零样本异常检测的混合知识蒸馏方法

《Applied Soft Computing》:HKD: Hybrid knowledge distillation for zero-shot anomaly detection

【字体: 大 中 小 】 时间:2026年07月09日 来源:Applied Soft Computing 7.8

编辑推荐:

  赵宇清|孟敏|吴继刚中国广东省广州市广东工业大学计算机科学学院,邮编510006摘要零样本异常检测旨在无需使用目标领域的任何训练样本即可识别异常,这在因隐私或安全问题而限制数据收集的场景中尤为重要。实际上,零样本异常检测通常在跨数据集环境中实现,即模型在辅助数据集上训练,而目标领

  
赵宇清|孟敏|吴继刚
中国广东省广州市广东工业大学计算机科学学院,邮编510006

摘要

零样本异常检测旨在无需使用目标领域的任何训练样本即可识别异常,这在因隐私或安全问题而限制数据收集的场景中尤为重要。实际上,零样本异常检测通常在跨数据集环境中实现,即模型在辅助数据集上训练,而目标领域则保持未知状态。尽管视觉语言模型取得了最新进展,现有的零样本异常检测方法仍存在泛化能力弱和领域偏差的问题,导致在面对具有不同物体、纹理和异常模式的未知领域时性能大幅下降。为解决这些局限,我们提出了HKD,这是一种专为零样本场景设计的通用视觉语言框架,旨在提升语义鲁棒性和跨领域适应性。首先,通过知识蒸馏机制,从冻结的CLIP特征中提取语义相关性和共存信息,使学生模型能够无需依赖真实样本就能捕捉到正常与异常之间的内在关系。其次,采用强度自适应扩散异常生成策略,生成符合自然图像分布的逼真且多样的伪异常样本,从而丰富表示空间并提高区分能力。第三,设计一种与物体无关的文本提示,编码与特定物体语义无关的正常与异常的通用概念,有效减轻文本表示中的领域偏差。在来自工业和医疗领域的17个真实世界异常检测数据集上进行的广泛实验表明,HKD的性能优于其他零样本异常检测方法,并且能更好地泛化到不同的类别甚至领域。代码可在https://github.com/hanli6688/HKD获取。

引言

零样本异常检测提供了一种无需特定异常训练数据即可识别异常模式的有效方法,尤其适用于标注缺陷稀缺或无法获取的场景。在工业检测和医学诊断等对精度以及针对未见类别的泛化能力要求极高的应用中,它已成为一项关键技术。此外,零样本异常检测还能用于评估不同领域中正常与异常实例之间的结构差异。随着大型视觉语言模型的出现,该技术在计算机视觉和模式识别领域受到了越来越多的关注。
零样本异常检测的最新进展主要得益于视觉语言模型的整合,这些模型减少了对标记异常数据的依赖,提升了跨领域适应性。许多现有研究利用预训练模型来增强特征表示和异常定位能力。例如,基于分割的框架如SAM通过聚焦物体边界来提高空间精度,从而更精准地定位异常区域。像DINOv1和DINOv2这样的自监督视觉模型则通过对比学习获得可迁移的表示,无需显式监督即可对未见异常进行有效识别。在医学领域,MedCLIP通过专家整理的描述来对齐图像和文本嵌入,以提高诊断准确性;而BGAD则利用生成先验来检测细微的视觉偏差[1]。在工业领域,PromptAD采用单类提示学习策略,通过修改正常提示来生成具备异常感知能力的表示,从而在数据匮乏的情况下也能实现有效检测[2]。类似地,DeSTSeg通过在预训练教师网络和合成扰动的引导下训练去噪学生网络,提升了像素级分割能力,进而实现了更精细的缺陷定位[3]、[4]、[5]。除了表示学习之外,还有如APRIL-GAN这样的生成方法,通过对抗训练对正常数据分布进行建模,将异常识别为分布外的偏差。
然而,尽管基于视觉语言模型的方法取得了显著进展,现有的零样本异常检测方法仍面临两大根本性挑战,制约了其更广泛的应用。首先,在许多实际场景中,由于隐私或安全原因,训练数据难以获取,比如在医疗或保密的工业环境中。在没有目标领域的任何正常或异常样本的情况下,现有方法很难建立可靠的决策边界或学习有意义的视觉-语义对应关系,从而导致零样本泛化性能较差。其次,大多数现有方法的跨领域适应性有限,因为它们通常是针对特定领域或物体类别设计和优化的。当应用于前景物体、背景纹理以及异常模式(如产品上的缺陷或器官中的病变)存在巨大差异的未知领域时,它们的性能往往会急剧下降。这一缺陷主要源于当前模型在视觉和文本表示中存在的领域特定偏差,这类偏差限制了它们在不同类型的异常和视觉情境下的泛化能力。
因此,我们提出了HKD,这是一种专为零样本异常检测设计的通用视觉语言框架,如图1所示。在这项工作中,我们采用了跨数据集的零样本异常检测设置,即利用辅助数据集进行表示学习,而严格避免使用目标数据集。HKD整合了三个核心组件,这些组件在一个轻量级的学习框架内共同提升了语义鲁棒性、丰富了表示多样性,并增强了跨领域适应性。首先,我们引入了一种高效的知识蒸馏机制,通过从冻结的CLIP网络提取的特征中蒸馏知识,从而捕获语义相关性和共存信息。此外,还采用了全面的相似度度量作为蒸馏后的监督信号,使学生网络能够从教师网络那里学习到与领域无关的语义表示,从而在无需真实样本的情况下实现高效的零样本学习。其次,我们设计了IDAG策略来丰富语义多样性并扩展异常空间。IDAG能够生成符合自然视觉分布的逼真且多样的伪异常样本,进而提升HKD的区分能力,使其更能应对不同领域的各类异常。第三,我们提出了一种与物体无关的文本提示,这种提示编码的是正常与异常的通用概念,而非依赖于手工设计的或特定领域的模板。这一设计有效减轻了文本表示中的领域偏差,使得HKD能够在不同的物体类别和视觉情境下实现有效泛化。我们的贡献总结如下:
  • 1.
    我们提出了HKD,该框架通过从冻结的CLIP网络提取的特征中蒸馏知识,有效捕获了语义相关性和共存信息。此外,我们还提出了全面的相似度度量作为蒸馏监督信号,使学生网络能够从教师网络学习到强大的语义表示,从而在轻量级学习框架下实现高效的零样本异常检测。
  • 2.
    我们设计了IDAG和与物体无关的文本提示,以此丰富HKD的语义多样性并提升其泛化能力。所提出的IDAG策略能够生成符合自然分布的逼真且多样的异常样本,而与物体无关的文本提示则能捕捉正常与异常的通用概念,从而使HKD能够在不同物体类别间实现稳健的零样本异常检测。
  • 3.
    在来自多个工业和医疗领域的17个数据集上进行的全面实验表明,HKD在检测和分割来自缺陷检测和医学成像领域、具有高度多样化的类别语义的异常方面,展现了出色的零样本异常检测性能。

章节节选

零样本异常检测

零样本异常检测旨在无需在训练过程中使用异常数据即可识别异常模式。大多数现有方法利用视觉语言模型(如CLIP)强大的跨模态泛化能力,将视觉表示与语义概念关联起来。早期的研究如CLIP-AD和ZOC首次在零样本环境下利用CLIP进行异常分类[6]。在此基础上,WinCLIP引入了图像区域与手工设计的特征之间的块级比较

HKD设计的动机

基于视觉语言模型的现有零样本异常检测方法通常分别处理提示设计、合成异常生成或知识蒸馏等问题。然而,如表1所示,每一种研究方向在直接应用于零样本异常检测时都存在固有局限性。
具体而言,像WinCLIP[21]、PromptAD[22]和CLIP-AD[23]这类基于提示的零样本异常检测方法依赖于与物体相关的文本描述,这使得异常检测结果容易受到物体语义和背景环境的影响。

数据集

我们在工业和医疗领域的异常检测数据集上进行了实验。
在工业异常检测方面,我们使用了MVTec AD、VisA、MPDD、BTAD、KSDD、DTD-Synthetic和AeBAD这些数据集。这些数据集涵盖了多种类型的缺陷,从表面瑕疵(MVTec AD)到多类缺陷检测(VisA),再到生产线上的微小缺陷(MPDD)、小型精密制造缺陷(BTAD)、高精度机械和电子缺陷(KSDD),以及合成异常模拟

结论

在本文中,我们解决了零样本异常检测这一难题,即目标领域没有可用的训练样本。我们提出了HKD,这是一种专为零样本场景设计的通用视觉语言框架,旨在提升语义鲁棒性和跨领域适应性。HKD整合了三个互补的组件:一种从冻结的CLIP特征中转移与领域无关的语义知识的知识蒸馏机制,一种用于生成逼真伪异常的IDAG策略,以及

CRediT作者贡献说明

赵宇清:写作——初稿撰写、可视化、验证、监督、资源准备、方法设计、研究实施。孟敏:写作——审稿与编辑、项目管理。吴继刚:写作——审稿与编辑、资金筹集、概念构思。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究部分得到了中国国家自然科学基金项目(编号62172109)的支持,同时也获得了广州市基础与应用基础研究基金(编号2025A04J7144)以及中国广东省重点研发计划(编号2025B0101090002)的资助。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号