DFP-AD：一种用于无监督异常检测的动态频率原型框架

《TRENDS IN FOOD SCIENCE & TECHNOLOGY》：DFP-AD: A Dynamic Frequency Prototype Framework for Unsupervised Anomaly Detection

　　

•为无监督异常检测学习自适应频率原型。
•解耦高频和低频线索以更好地进行结构建模。
•相关性一致性损失改善了特征与原型之间的对齐。
•跨频率调制实现了自适应的多尺度重建。
•在多样类、单类和小样本任务中均实现了稳健的性能。

**引言**
近年来，视觉异常检测（AD）作为计算机视觉中一个基础但具有挑战性的任务，引起了越来越多的关注。AD 旨在识别偏离正常模式的样本，并在各种实际应用中发挥关键作用，包括工业缺陷检测 [1], [2], [3]、医学影像诊断 [4], [5], [6], [7], [8]、自动驾驶 [9], [10] 和视觉质量控制 [11], [12]。在许多实际场景中，收集异常样本成本高昂甚至不可行，因此 AD 系统需要在无监督设置下运行，即在训练期间仅使用正常数据。

大多数现有的异常检测方法 [13], [14], [15], [16], [17], [18] 遵循这种无监督范式，通过建模正常数据分布并在推理时识别偏离项作为异常。尽管取得了显著进展，但由于缺乏异常监督以及异常模式在外观、结构和尺度上的内在多样性，无监督异常检测（UAD）仍然具有挑战性。许多方法进一步依赖于任务或数据特定的假设 [19], [20]，例如固定的物体类别或有限的异常变化，这限制了它们在多样化场景中稳健表征正常性的能力。

最近，基于原型的方法 [15], [21] 作为一种有效的 UAD 范式应运而生。通过使用一组学习到的原型来表示正常数据，这些方法捕获了类内变化，提供了正常模式的紧凑且可解释的表示，并实现了基于原型相似度的灵活异常评分。然而，现有的基于原型的异常检测方法主要在空间域中运行，其中对纹理敏感和对结构敏感的线索在共享的特征空间中被联合编码。细粒度缺陷，如划痕和局部纹理不规则，通常会引起明显的高频变化，而结构异常，如变形或缺失部件，往往影响低频模式。如果不显式地分离这些互补线索，空间原型可能会纠缠不同类型的正常信息，使得难以构建针对不同尺度异常的特化正常先验。因此，细微的纹理异常和大尺度的结构缺陷都可能无法得到充分表征。如图 1(c) 所示，基于空间原型的 INP-Former [21] 对细微异常产生嘈杂的预测，并对大尺度结构缺陷产生不完整的定位，凸显了纯粹空间表示在无监督设置下的局限性。此外，空间原型引导的解码缺乏自适应调制机制，导致遇到多样化正常模式时正常重建不准确且鲁棒性降低。

相比之下，频率分解提供了一种显式分离互补的结构和纹理线索的手段，从而实现对正常模式的更专业化建模。为了验证这一观察，图 2 展示了一种结合异常图像相位谱和正常图像幅度谱的重建结果。生成的图像揭示了异常的结构性特征和纹理特征，表明频率信息（特别是相位）包含了检测不同尺度偏离的判别性线索。这些观察表明，在频率域学习原型能够实现更全面的正常模式建模，从而提高对细微纹理异常和大尺度结构缺陷的敏感性。值得注意的是，频率原型建模在概念上与多尺度空间特征学习不同。多尺度空间特征提供分辨率或感受野特定的空间表示，而频率原型则在分解的频谱子空间中建模正常性，从而提供频率特定的先验。更重要的是，与源自纠缠特征表示的空间原型不同，频率原型将正常性分解为互补的频谱子空间，为纹理和结构模式提供频率特定的先验。

基于这些见解，我们提出了 DFP-AD，一个以动态频率原型为中心的无监督异常检测框架。具体来说，我们设计了一个自适应频率原型提取器（AFPE），用于学习能够共同捕获正常数据细粒度纹理和大尺度结构线索的原型。AFPE 包含一个动态频率解调器，根据输入特征的分布自适应地将它们分解为高频和低频分量，随后是特定于频率的原型学习模块，将这些表示映射到专用原型。该设计通过显式建模互补的频率分量，实现了对正常模式的全面表征。此外，我们引入了相关性一致性损失（CCL），以最大化每个频率感知特征与其分配原型之间的线性相关性，鼓励高频和低频原型分别保留纹理细节和全局结构规律性。

为了进一步增强多样化正常模式下的特征表示质量，我们提出了一个原型对齐频率调制器（PAFM）用于自适应特征细化。PAFM 由原型对齐模块和动态频率调制器组成。原型对齐模块建立了频率感知特征和频率原型之间的语义对应关系，促进不同正常实例之间的一致性表示。同时，动态频率调制器根据对齐的语义自适应地平衡高频和低频响应，实现对纹理和结构线索的更精确增强。这些组件共同促进了准确的异常定位和无监督设置下的鲁棒检测性能。由于上述设计，我们的 DFP-AD 能够捕获细粒度和结构线索，同时增强语义适应性。如图 1(d) 所示，与现有的基于空间原型的方法相比，我们的方法能为细微缺陷生成更干净的异常图，并对大尺度异常进行更完整的界定。总之，我们的主要贡献如下：
•我们提出了 DFP-AD，一个用于 UAD 的动态频率原型框架，构建频率特定原型以增强异常表示。
•设计了一个 AFPE，将特征拆分为频率分量并学习频率特定原型，以捕获细纹理和大尺度结构线索。
•我们设计了一种 CCL 策略，以加强频率感知特征与其最相关原型之间的对齐，确保语义一致性。
•设计了一个 PAFM，用自适应多尺度频率调制取代静态空间原型指导，允许更准确的重建和更好的跨不同异常模式的泛化能力。

**章节片段**
**无监督异常检测**
无监督异常检测（UAD）旨在通过建模正常数据分布来识别异常样本，而训练期间无法访问异常示例。根据正常数据的可用性和多样性，现有的无监督 AD 方法已在不同设置下进行了研究，包括单类、小样本和多类异常检测。尽管它们在数据组织和监督强度上存在差异，但这些方法共享一个共同目标，即学习稳健的...

**概述**
图 3 展示了所提出的 DFP-AD 的整体架构。具体来说，我们的 DFP-AD 由预训练编码器、瓶颈 MLP、设计的 AFPE 以及基于提出的 PAFM 构建的解码器组成。给定一个输入图像 I∈R^H×W×3，预训练编码器 Q 首先提取多尺度特征，记为 fQ={fQ1,…,fQL}，其中每个特征图 fQl∈R^N×C 且 N=HW/k^2 对应于由步长 k 决定的空间下采样分辨率。融合后的编码器特征 FQ 被送入 AFPE 以...

**数据集**
为了评估 DFP-AD，我们在几个广泛使用的异常检测数据集上进行了实验：MVTec-AD [52]、VisA [53]、MPDD [57]、BTAD [58] 和 Real-IAD [64]。MVTec-AD 包含 15 个工业物体和纹理类别，共有 3,629 张正常训练图像和 1,982 张测试图像，涵盖了划痕、凹陷和污染等多样化的异常。VisA 包含 12 个类别，共有 8,659 张正常训练图像和 2,162 张测试图像（962 张正常，1,200 张异常）。MPDD 旨在用于视觉缺陷检测...

**结论**
在本文中，我们提出了 DFP-AD，一个用于通用异常检测的动态频率原型框架。与使用空间原型的现有方法不同，我们的 DFP-AD 利用动态频率原型来定位细粒度和大尺度异常。具体来说，我们设计了一个自适应频率原型提取器，学习用于细粒度细节的高频原型和用于大尺度结构的低频原型。相关性一致性损失进一步将特征与...对齐

**CRediT 作者身份贡献声明**
Qiao Zhang：写作 – 初稿、方法学、调查、概念化。
Mingwen Shao：写作 – 审阅与编辑、监督、资金获取。
Xinyuan Chen：写作 – 审阅与编辑、可视化。
Xiang Lv：写作 – 审阅与编辑、形式化分析。
Lingzhuang Meng：写作 – 审阅与编辑、验证。
Chang Liu：写作 – 审阅与编辑、调查。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。

Qiao Zhang|Mingwen Shao|Xinyuan Chen|Xiang Lv|Lingzhuang Meng|Chang Liu