《Pattern Recognition》:ADNet: A multi-domain benchmark for anomaly detection across 380 real-world categories
编辑推荐:
ADNet是一个大规模、可扩展的异常检测基准,涵盖五个领域的380个真实世界类别。它整合了49个公共数据集,提供了196,294张RGB图像,并具有统一的MVTec风格的像素级标注。大量实验揭示了明显的可扩展性差距,I-AUROC在380类多类设置中从90.9
ADNet是一个大规模、可扩展的异常检测基准,涵盖五个领域的380个真实世界类别。它整合了49个公共数据集,提供了196,294张RGB图像,并具有统一的MVTec风格的像素级标注。大量实验揭示了明显的可扩展性差距,I-AUROC在380类多类设置中从90.9%下降到78.5%。ADNet为评估可扩展异常检测方法和未来的AD基础模型提供了标准化基础。
异常检测(AD)旨在仅使用无异常样本训练,识别图像中的异常区域或缺陷样本,在工业检测、医疗成像、基础设施监控等安全敏感场景中至关重要。现有基准如MVTec-AD、VisA和BTAD虽推动了方法发展,但普遍存在类别数量少(通常少于40类)、聚焦单一域、成像条件受控(如固定光照和视角)等问题,且各数据集格式、标注和协议互不兼容,导致主流基准接近饱和,难以区分方法优劣,也无法公平评估AD方法在跨类别、跨域扩展时的表现。因此,研究人员整合了49个公开数据集,构建了包含380个类别、覆盖电子、工业、农业食品、基础设施和医疗五个领域的ADNet基准,统一为MVTec风格的像素级标注,并引入类别规模达25倍于MVTec-AD的大规模测试平台。通过系统实验,他们发现现有方法在单类设置下平均I-AUROC为90.6%,但扩展到380类统一多类设置时显著下降至78.5%,揭示了清晰的可扩展性鸿沟。为此,他们提出了上下文引导的专家混合基线Dinomaly
m,将统一多类I-AUROC提升至83.2%。论文发表在《Pattern Recognition》,其意义在于为可扩展异常检测方法和未来AD基础模型提供了标准化的评估基础。
研究方法上,作者构建ADNet采用了标准化流水线:从学术出版物、公共数据平台(如Kaggle)和研究合作中收集来源,筛选满足像素级掩膜、类别标签明确、成像条件一致等标准的数据,开发专用转换器处理NIFTI/DICOM格式、边界框标注、大尺寸图像及高光谱/多视图数据,最终统一为RGB图像和MVTec风格掩膜,并按9:1划分训练/测试集,每类训练样本最多500张,正常测试最多100张,每缺陷类型最多100个异常样本。此外,利用GPT-4o-mini生成六字段JSON结构化文本注释(位置、颜色、形状、面积、数量、原因)。模型方面,Dinomaly
m在解码器中引入上下文引导的专家混合(cgMoE)模块,利用冻结DINOv2编码器输出的[CLS]令牌作为全局上下文,计算软路由权重,对多个专家前馈网络的参数矩阵进行凸组合,形成图像条件化的FFN,从而在不显著增加推理成本的情况下增强解码器的情境适应能力。
实验结果分析如下:
**Multi-class results**:在ADNet-380统一协议下评估11种代表性方法(包括记忆型、重构型、合成型),Dinomaly
m总体I-AUROC达83.2%,较基础模型Dinomaly(78.5%)提升4.7%;但所有方法均远低于在MVTec-AD上常见的95%–99%,说明大规模多域统一的挑战显著。
**Single-class vs. multi-class**:对比5种方法在单类和统一多类设置下的表现,所有方法在单类设置下均达87%–91% I-AUROC,证明各类别本身可学习;但在多类设置下普遍大幅下降,SimpleNet绝对下降35.9%,RD下降20.8%,而PatchCore和Dinomaly下降约12%,表明架构设计对多类鲁棒性至关重要。
**Domain-separated unified training**:对每个域单独训练统一Dinomaly
m模型,与ADNet-380联合训练相比,五个域的I-AUROC均提升(如Agrifood从65.3%升至73.5%),提示域感知划分可缓解部分跨类干扰,但每个模型仍需处理域内多类。
**Cross-domain generalization**:仅在工业域(154类)训练后零样本测试其他四域,所有方法均出现显著性能下降;Dinomaly在源域性能最高(90.1%),但跨域下降最大,而RD源域较低(71.9%)但跨域更稳健,说明高源域性能不代表强迁移能力。
**Utility analysis of structured text annotations**:对冻结的CLIP零样本和WinCLIP模型,仅将通用提示替换为ADNet类别级结构化提示(无标签泄露),CLIP的I-AUROC从69.72%升至72.81%,WinCLIP从60.91%升至65.20%,证明结构化文本包含异常相关语义线索,可被现有视觉-语言检测器利用。
**Few-shot scaling and stability**:在1/4/8/16-shot协议下评估,Dinomaly
m随着支持样本增多改进更明显,从4-shot起超越Dinomaly,且运行间标准差更小(16-shot时±0.1 vs ±0.8),显示ADNet能区分低样本下的稳定性差异。
**Performance scaling with category diversity**:在50/100/200/380类子集上训练统一模型,并在固定50类测试子集上评估,多数方法随类别数增加而下降,其中RD图像级下降最大(8.1%),SimpleNet像素级下降最大(11.1%);Dinomaly
m的下降幅度(6.0/2.0)小于基础Dinomaly(7.5/2.9)。固定50类域诊断显示,域分离训练在医疗(恢复+9.6%)和农业食品(+7.9%)恢复较大;按训练样本量分层分析未发现单调不平衡效应,相关系数弱,表明类别规模是性能下降的主因而非数据不平衡。
**Ablation studies**:专家数量从1增至8时I-AUROC从78.5%升至83.2%,12专家时收益趋缓;路由上下文方面,编码器[CLS]与文本路由性能相当(83.2% vs 83.3%),说明视觉上下文已足够;骨干扩大至ViT-Large可将I-AUROC提至84.3%。效率对比显示,与参数匹配的“Fat Dinomaly”相比,Dinomaly
m以接近基础模型的FLOPs和延迟实现更高精度,证明图像条件化的容量分配优于静态拓宽网络。
讨论与结论部分指出,ADNet揭示的性能下降主要源于类别规模和域异质性,而不是单纯的数据不平衡;结构文本提示有助于提升冻结检测器性能,但零样本跨域迁移仍是未解难题,且文本尚未用于端到端监督。研究结论可概括为:研究人员提出了覆盖380类、196,294张RGB图像和60,311个像素级掩膜的多域基准ADNet,以及上下文引导的专家混合基线Dinomaly
m;在多项协议下,单类设置I-AUROC为90.6%,380类统一设置降至78.5%,而Dinomaly
m提升至83.2%/93.1%(I-AUROC/P-AUROC),推断成本接近基础模型。局限性包括零样本跨域泛化弱、性能对类别规模和域组成敏感、数据集继承公共资源可用性偏差,以及结构化语言注释目前仅用于提示级别。未来工作可探索文本条件路由、域自适应训练、更平衡的扩展以及丰富的多模态和文本监督扩展。ADNet旨在为可扩展异常检测和未来的AD基础模型提供实用基础。