《Results in Engineering》:Hyperspherical Prototyping for Open-Set Anomaly Class Discovery
编辑推荐:
工业异常检测(Industrial Anomaly Detection, IAD)近年来取得了显著进展。然而,主流方法通常将所有缺陷归入单一的“异常”类别。下游的缺陷处置阶段需要识别具体的异常类别,同时还需持续发现不断涌现的新型异常类别,以提升制造良率。人类可
工业异常检测(Industrial Anomaly Detection, IAD)近年来取得了显著进展。然而,主流方法通常将所有缺陷归入单一的“异常”类别。下游的缺陷处置阶段需要识别具体的异常类别,同时还需持续发现不断涌现的新型异常类别,以提升制造良率。人类可以依赖视觉知识将异常划分为不同类别,但缺陷往往包含较弱的语义信息,因此现有方法难以高质量地完成多类别异常分类任务。
聚类方法通常采用两阶段范式:先检测异常区域,再对提取的局部特征进行聚类。然而,不同异常在形状、外观或空间位置上往往具有高度相似性,这导致此类方法的分类性能显著下降。这一局限促使研究人员思考:必须利用异常图像的内在线索以及已知异常的联合先验,才能准确分类未知异常。
另一种潜在方案引入了新类别发现(Novel Class Discovery, NCD)范式。传统聚类方法直接使用冻结的预训练网络,而NCD方法则能够对异常进行深度表示学习。NCD方法在标注的基础类别数据上执行监督学习,同时在完整数据集上执行自监督学习,从而将未知样本划分为新的簇。
然而,将常规NCD方法直接应用于工业异常图像仍面临三大挑战。第一,缺乏特征显著性:在自然图像上预训练的模型通常假设图像包含单一、居中的前景物体,而工业异常往往表现为附着于目标物体上的局部细微变化,缺乏全局显著性。第二,语义信息薄弱:与自然物体相比,工业异常的语义特征普遍较弱,网络难以有效聚焦于异常区域,极易受到复杂背景干扰。第三,细粒度特征高度耦合:异常特征本质上属于前景物体的细粒度特征,与正常特征共享这一属性,异常特征虽在特征流形空间中偏离正常样本分布,但仍与前景物体的流形空间保持强相关性,使得特征解耦极具挑战。
研究人员将工业异常检测的挑战重新定义为从静态的闭集分类问题向动态的开放集类别发现任务的转变。研究人员提出ProtoAnomalyNCD框架,将工业异常检测从传统的二分类决策过程推进到开放集多类型缺陷发现范式。该框架通过统一建模已知缺陷与未知新类别,可便捷地嵌入现有缺陷检测方法中。
首先,针对工业场景中复杂背景噪声干扰及异常区域定位不精确的问题,研究人员设计了基于预训练模型的空间先验提取机制,集成Grounded SAM实现前景物体的精确分割,同时利用自适应二值化算法提取异常区域的稳定空间分布。其次,针对视觉Transformer(Vision Transformer, ViT)的全局结构偏置及其对细微异常特征的抑制问题,研究人员设计了异常图引导的特征提取模块(AMG-ViT),引入带有区域引导因子的注意力机制,动态调制网络聚焦点,重构特征提取路径并保留物体级上下文语义。最后,针对模型在特征空间中难以有效区分多类缺陷且缺乏新类别发现能力的问题,研究人员提出超球原型学习方法,利用单位超球面上的von Mises-Fisher(vMF)分布对已知及未知类别原型进行概率建模,并结合基于异常分数的伪标签修正策略,引导特征向其语义中心聚类,构建具有强方向约束的特征流形空间。
此外,该方法与现有分布外(Out-of-Distribution, OOD)检测方法直接兼容,能够有效过滤工业制造过程中与任务无关的未知新类别。研究人员集成基于置信度的判别机制,区分与特定生产任务相关的缺陷与无关的离群样本,实现涵盖异常发现、精确分类与离群拒绝的闭环检测流程。
论文解读
一、研究背景与问题
工业异常检测(Industrial Anomaly Detection, IAD)在近年来取得了长足进展,但现有方法普遍存在一个根本性局限:几乎所有主流方法都将各类缺陷笼统地归入单一的“异常”类别,仅完成正常与异常的二分类判别。然而,在实际工业制造场景中,下游缺陷处置阶段不仅需要识别缺陷是否存在,更需要精确判断缺陷的具体类别,以便采取针对性的修复措施。同时,生产线中会持续涌现此前未见的新型缺陷类别,系统必须具备自主发现新类别的能力,才能持续提升制造良率。
传统方法在面对这一需求时存在多重困境。一方面,基于聚类的多类异常分类方法通常采用两阶段范式,先检测异常区域再对局部特征进行聚类,但不同异常在形状、外观或空间位置上往往高度相似,导致分类性能显著退化。另一方面,新类别发现(Novel Class Discovery, NCD)范式虽能通过深度表示学习对未知样本进行聚类,但直接将其应用于工业异常图像面临三大核心挑战:其一,缺乏特征显著性——在自然图像上预训练的模型通常假设图像包含单一、居中的前景物体,而工业异常往往是附着于目标物体上的局部细微变化,缺乏全局显著性;其二,语义信息薄弱——工业异常的语义特征远弱于自然物体,网络难以有效聚焦异常区域,极易受复杂背景干扰;其三,细粒度特征高度耦合——异常特征与正常特征同属前景物体的细粒度特征,在特征流形空间中异常虽偏离正常分布,却与前景物体流形保持强相关性,使特征解耦极为困难。
基于上述问题,研究人员将工业缺陷分析重新定义为开放集异常类别发现问题,而非传统的二分类异常检测,旨在统一实现已知缺陷分类、新缺陷发现及任务无关离群样本拒绝三大任务。
二、研究内容与核心方法
研究人员提出了ProtoAnomalyNCD框架,这是一个统一的超球原型学习框架,将工业异常检测从二分类决策过程转变为开放集发现范式,实现已知缺陷分类与新型异常类别发现的同步进行。该框架的核心技术创新包括三个关键模块。
第一,空间先验提取机制。针对工业场景中复杂背景噪声干扰及异常区域定位不精确的问题,研究人员利用Grounded SAM实现前景物体的精确分割以消除环境干扰,同时采用自适应二值化算法提取异常区域的稳定空间分布,将异常定位从整体噪声估计转变为精确的以物体为中心的分析,为下游任务提供高质量局部空间先验。
第二,异常图引导注意力模块(Anomaly-Map-Guided Attention, AMGA)。针对视觉Transformer(ViT)的全局结构偏置对细微异常特征的抑制问题,研究人员设计了带有区域引导因子的注意力机制,将空间异常先验转化为patch级的加性注意力偏置。与标准ViT依赖全局物体表征不同,AMGA显式引导[CLS]表征聚焦于局部异常区域,同时保留有用的前景上下文信息,显著增强模型对细粒度缺陷偏差的感知能力。
第三,超球原型学习方法。研究人员利用单位超球面上的von Mises-Fisher(vMF)分布对已知及未知类别原型进行概率建模,引入可学习的单位范数原型、基于异常分数的伪标签修正策略以及原型间分离正则化,共同提升异常类别的紧凑性与未见类别的分离度。vMF公式为温度缩放余弦原型分类器在单位超球面上提供了概率解释。此外,研究人员设计了基于置信度的分布外(Out-of-Distribution, OOD)检测机制,有效区分与特定生产任务相关的缺陷与无关离群样本,实现涵盖异常发现、精确分类与离群拒绝的闭环检测流程。
三、研究结果
3.1 问题定义与框架设计。 研究人员将问题形式化定义为:给定无标注异常图像集,目标是发现未知类别(新型缺陷类别)的原型并将每个样本分配到相应簇中;同时利用包含已知基类、像素级异常图及标注信息的标注数据集作为先验知识,促进无标注集上的聚类。该框架将缺陷分类视为连续特征空间中的演化聚类问题,弥合了精确定位与深度语义理解之间的鸿沟。
3.2 空间先验提取。 通过集成Grounded SAM实现前景物体的精确分割,结合自适应二值化算法提取异常区域的稳定空间分布,有效消除了环境干扰,为AMGA模块提供了高质量的空间先验输入。该机制将异常定位从整体噪声估计转变为精确的以物体为中心的分析。
3.3 AMGA特征提取。 异常图引导注意力模块将空间异常先验转化为patch级加性注意力偏置,显式引导[CLS]表征聚焦局部异常区域,同时保留前景上下文信息。这一设计克服了标准ViT全局结构偏置对细微异常特征的抑制,重构了特征提取路径,显著增强了对细粒度缺陷偏差的感知能力。
3.4 超球原型学习与类别发现。 通过可学习的单位范数原型、基于异常分数的伪标签修正及原型间分离正则化,有效引导特征向其语义中心聚类,构建具有强方向约束的特征流形空间,确保已知缺陷的鲁棒分类,同时为新类别创建清晰的边界划分。
3.5 分布外检测与闭环系统。 基于置信度的判别机制有效区分已知缺陷与无关离群样本,与现有OOD检测方法直接兼容,实现了涵盖异常发现、精确分类与离群拒绝的闭环检测流程。
四、讨论与结论
在讨论部分,研究人员指出,传统NCD方法主要聚焦于全局物体表征,而异常的特征是局部的、细微的且语义模糊的,如由不同根本原因导致的划痕。在没有先验知识的情况下,聚类模型容易被全局物体外观或背景纹理误导,无法基于异常的内在原因和语义进行有效划分。ProtoAnomalyNCD通过利用标注的已知异常作为语义锚点,使模型学习到何为判别性异常特征的先验知识,从而构建基类与新类别的统一建模框架。通过引入可学习原型和伪标签机制来缓解确认偏差,模型被要求利用已标注类别的知识,同时自主发现并定义新的异常类别。这一任务代表了与传统闭集假设的根本性转变。
研究结论方面,ProtoAnomalyNCD将工业缺陷分析从传统的二分类异常检测转变为开放集异常类别发现问题,在统一表示空间内联合处理已知缺陷分类、新缺陷发现及任务无关离群样本的拒绝。该方法可直接嵌入现有缺陷检测方法中,为工业质量检测的集成设计和端到端自动化提供了新的技术路径,有望推动工业异常检测从静态闭集分类向动态开放集类别发现的范式演进。