面向工业图像异常检测的去噪异构知识蒸馏框架：融合流式概率建模与双域重建的表征判别方法

《IEEE Journal of Biomedical and Health Informatics》：Minding Anomaly Patterns via Uncertainty-Guided Heterogeneous Knowledge Distillation with Denoising

现有异常检测中的知识蒸馏方法面临架构约束与泛化能力有限的问题。研究人员提出去噪异构知识蒸馏（Denoising Heterogeneous Knowledge Distillation，DHKD），其采用异构教师-学生（Teacher-Student，T-S）框架：教师网络基于流式（flow-based）概率密度估计，学生网络采用前馈生成架构，从而有意放大表征差异，避免能力完全复制。该方法通过生成式架构降低对预训练模型的依赖，并在特征层级注入高斯噪声以模拟异常扰动，增强正常样本重建能力。双域重建模块（Dual-Domain Reconstruction Module，DDRM）在频域与空间域联合滤波，抑制异常并强化正常数据判别。T-S表征亲和损失将局部特征与全局语义上下文相融合。通过挖掘异常数据中的潜在模式，该方法自动发现复杂异常表征，提升隐含模式识别能力。实验在MVTec AD数据集上取得检测AUROC 99.3%、定位AUROC 98.6%的领先性能，并在真实数据集中表现出优异泛化性。

研究背景方面，传统工业异常检测依赖人工目视检查，效率低且受主观判断影响。基于深度学习的无监督异常检测虽取得进展，但工业产品数据结构复杂、异常随机且稀缺，监督学习难以适用；同时不同视角下正常样本差异也会干扰重建。现有方法涵盖扩散模型、归一化流（normalizing flow）、视觉-语言预训练（CLIP）与知识蒸馏等路线。其中知识蒸馏通过仅用正常数据训练T-S网络，以教师与学生表征差异定位异常，但同质化T-S结构易导致表征混淆、泛化弱、对异常不敏感，且多依赖强预训练骨干网络，限制架构灵活性。

针对上述问题，研究人员提出DHKD框架，整体由特征提取、归一化流教师网络（NFTN）、去噪学生网络（DSN）与异常特征生成器（AFG）构成。T-S输入不再是原始图像，而是低维特征表征；教师用可逆归一化流建模正常特征分布，学生用前馈网络配合DDRM实现高质量正常化重建。研究表明，异构结构能放大正常与异常样本在分布边界上的差异，提升对分布外样本的判别力与泛化性。

关键技术方法上，研究人员采用四个核心组件：其一，基于Real-NVP耦合块的NFTN，以负对数似然损失建模标准正态潜变量分布；其二，AFG在特征层注入零均值高斯噪声模拟工厂电子噪声，且待学生初步收敛后再启用；其三，DSN中的DDRM，先经二维傅里叶变换与高通滤波保留高频纹理，再经视觉状态空间模块（VSSM）与局部卷积恢复空间局部性；其四，T-S表征亲和损失联合L2重建损失，兼顾像素级逼近与全局上下文关系对齐。实验基于MVTec AD基准数据集进行异常检测与定位评测。

研究结果部分保留原文小标题并浓缩如下：

3.1 总体架构：研究人员构建以特征为输入的生成式异构蒸馏架构，脱离传统编解码结构，教师负责概率化正常建模，学生负责异常到正常的去噪生成。

3.2 NFTN：教师由Glow耦合块堆叠而成，通过仿射耦合与变变量公式估计特征密度；正常样本落入高密度区，异常样本似然显著下降，为蒸馏提供稳定软目标。

3.3 DSN：学生由残差块与DDRM组成，输出维度与教师对齐；训练以像素级L2损失逼近教师表征，测试以T-S距离超阈值判定异常。

3.4 AFG：特征级高斯噪声增强模型对真实扰动的敏感性，引导学生网络在教师监督下输出无异常表征，且采用渐进式引入策略避免收敛变慢。

3.5 DDRM：频域分支滤除低频结构、突出高频缺陷敏感信息；空间分支用VSSM建模长程依赖并以瓶颈卷积补局部邻域关系；双分支加权融合得到去噪重建特征。

3.6 网络损失：总损失由L2重建损失与T-S表征亲和损失组成，权重λ设为0.25；亲和损失以余弦相似度刻画全图上下文关系，弥补局部匹配对错位异常不敏感的缺陷。

讨论与结论翻译部分：研究人员指出，DHKD通过异构T-S设计、特征级噪声模拟与双域去噪重建，显著缓解同质蒸馏的捷径学习与泛化不足问题。在MVTec AD上，检测与定位AUROC分别达到99.3%与98.6%，并在跨场景真实数据中保持稳健。结论表明：引入流式概率教师与生成式前馈学生的结构不对称，可有效放大异常敏感度；DDRM与表征亲和机制共同提升正常重建质量与空间语义一致性；该框架降低对预训练模型的强依赖，为工业异常检测提供了更具泛化性与架构灵活性的解决方案。