FG-VAD:一个快速且通用的小样本视觉异常检测框架

《Neurocomputing》:FG-VAD: A fast and general framework for few-shot visual anomaly detection

【字体: 大 中 小 】 时间:2026年05月08日 来源:Neurocomputing 6.5

编辑推荐:

  徐奇奇|吴云合|宋可|熊慧媛 深圳大学深圳校区智能系统工程学院,中国深圳,518107 摘要 视觉异常检测(VAD)是计算机视觉中的核心任务,在工业检测、医学诊断和自动驾驶等领域有广泛的应用。传统方法面临三个主要挑战:由于领域特定性的限制导致的泛化能力不足、对大规模正常数据集

  
徐奇奇|吴云合|宋可|熊慧媛
深圳大学深圳校区智能系统工程学院,中国深圳,518107

摘要

视觉异常检测(VAD)是计算机视觉中的核心任务,在工业检测、医学诊断和自动驾驶等领域有广泛的应用。传统方法面临三个主要挑战:由于领域特定性的限制导致的泛化能力不足、对大规模正常数据集的依赖,以及根本的“效率-粒度”困境。为了解决这些问题,我们提出了FG-VAD,这是一个基于少量样本的异常检测框架,能够快速适应不同领域而无需额外训练。该框架采用分层自适应设计。在第一阶段,全局筛选模块(GSM)作为条件门控器,过滤掉低分辨率下的“简单”样本;只有在检测到可疑样本时,才会触发第二阶段,区域注意力生成模块(RAGM)对潜在异常进行分割,随后局部精细化模块(LRM)整合正交解耦的语义、结构和纹理线索以实现精确定位。在涵盖工业、逻辑和医学领域的数据集上进行的实验表明,FG-VAD在少量样本条件下实现了检测精度和计算效率之间的优异平衡,其性能超越了现有最先进方法。

引言

视觉异常检测(VAD)[1]、[2]、[3]、[4]是一项关键任务,其主要目标是通过利用计算机视觉技术[5]、[6]识别与正常样本明显不同的异常。图1展示了VAD方法的分类及其对应的异常类型。VAD在多个领域取得了显著进展,例如在工业环境中的缺陷检测[7]、[8]、[9]、医学图像分析中的病变识别[10]、[11]、[12],以及自动驾驶场景中的未知物体检测[13]、[14]、[15]。
在以往的研究中,发现了三个主要限制:领域特定的训练、样本数量有限以及计算效率低下。首先,传统的异常检测方法[16]、[17]通常是针对特定领域定制的,这些方法在跨领域泛化能力较差,遇到未见过的数据时往往无法提供可靠的结果。即使在单一领域内,它们也通常遵循“单类、单模型”的范式[11]、[17]、[18]、[19],如图2所示。其次,这种范式严重依赖于大量的正常样本[20]、[21],然而异常现象本质上是不可预测且稀缺的,因此在产品开发的早期阶段或数据获取受限的场景中,获取足够的正常数据和异常样本极具挑战性[7]、[22]。最后,将这些技术应用于实际场景存在关键障碍[23]。尽管新兴的基础模型具有强大的泛化能力,但它们直接应用于异常检测时会面临“效率-粒度”的基本悖论:一方面,将大型基础模型盲目应用于高分辨率的工业图像会导致计算冗余,因为大部分图像区域都是无关背景;另一方面,单一模型往往难以覆盖从高级语义逻辑错误到低级纹理缺陷的整个异常谱系。因此,仅仅级联这些模型是不够的,需要一个能够动态分配计算资源给潜在异常候选者并协同利用多粒度特征的适应框架。
为了缓解这些挑战,我们提出了FG-VAD,这是一个快速且通用的少量样本视觉异常检测框架。通过利用预训练模型[24]、[25]、[26]并采用分层的两阶段处理策略,FG-VAD能够在无需额外训练的情况下实现高效准确的异常检测,仅依赖少量正常样本即可完成任务。
具体而言,所提出的模型采用了两阶段、三个模块的异常检测框架。在第一阶段,FG-VAD使用全局筛选模块对输入图像进行低分辨率过滤,快速定位潜在异常并生成异常得分;根据这些得分,系统决定是否进入第二阶段。在第二阶段,区域注意力生成模块处理可疑区域并生成感兴趣区域(ROI),然后传递给局部精细化模块。局部精细化模块在语义、结构和纹理维度上进行高分辨率的细粒度分析,还能检测更复杂的逻辑异常,如缺失、冗余或组装错误的组件。
本工作的主要贡献总结如下:
  • •
    方法论框架:我们提出了FG-VAD,这是一个结合视觉语言模型的语义理解与自我监督视觉变换器的结构判别的分层框架,弥合了通用基础模型和专门工业异常检测任务之间的差距。
  • •
    自适应计算机制:我们引入了一种新颖的“从粗到细”的计算资源分配策略,通过将全局筛选模块(GSM)与区域注意力生成模块(RAGM)结合,成功实现了异常定位与高分辨率特征提取的分离,解决了基础模型的高计算成本与工业检测实时需求之间的冲突。
  • •
    解耦的多模态建模:我们提出了一种显式的、无需训练的特征融合方法,通过正交决策路径整合了语义、结构和纹理线索,确保在不同领域(工业和逻辑领域)中实现稳健的少量样本泛化,而无需参数调整。
  • •
    通过在涵盖工业、逻辑和医学领域的三个基准数据集上的广泛实验,我们证明了FG-VAD在少量样本条件下的高性能,验证了其有效性和跨领域泛化能力。
  • 节选

    异常检测

    异常检测最初广泛应用于统计学和数据挖掘领域,后来扩展到图像数据分析领域。近年来,它成为工业检测和更广泛视觉理解任务中的重要研究方向[22]。早期方法主要依赖于手工设计的特征和基于规则的算法,这些方法具有很强的可解释性,并且需要相对较少的训练样本[27]。尽管这些传统方法表现出良好的性能...

    框架概述

    我们提出了快速通用视觉异常检测器(FG-VAD),它采用分层的两阶段架构实现了实时高效和高精度的少量样本异常检测。如图3所示,FG-VAD通过三个核心模块处理输入图像。

    数据集

    为了全面评估我们框架的有效性和跨领域泛化能力,我们在三个不同领域(工业结构缺陷、逻辑异常和医学病理)的六个代表性数据集上进行了广泛实验。首先,对于标准的工业异常检测,我们使用了广泛认可的MVTec-AD [20]和VisA [48]数据集,这些数据集主要关注刚性制造产品中的纹理和物体缺陷;其次,为了评估...

    结论

    在这项工作中,我们介绍了FG-VAD,这是一个快速通用的少量样本视觉异常检测模型,能够在工业和逻辑领域实现高效且高度泛化的检测。所提出的方法采用分层的两阶段检测策略:首先是一个高效的全局筛选模块过滤潜在异常;然后是区域注意力生成模块加强对可疑区域的关注;最后是局部精细化模块利用多模态特征融合...

    CRediT作者贡献声明

    徐奇奇:撰写 – 审稿与编辑,撰写 – 原稿,验证,软件开发,方法论,数据分析,概念化。吴云合:撰写 – 原稿,可视化,验证,数据管理。宋可:可视化,验证,数据管理。熊慧媛:撰写 – 审稿与编辑,监督,资金协调。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    徐奇奇1999年出生于中国安徽。她于2021年获得北京化工大学信息科学技术学院的学士学位,目前正在深圳大学攻读硕士学位。她的研究方向是计算机视觉和智能体实现。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号