基于自适应渐进式学习的Segment Anything模型在工业异常检测中的创新应用

《Imagerie de la Femme》：APSAM: Adaptive Progressive Learning for Segment Anything Model in anomaly detection

针对工业缺陷检测中高质量标注数据稀缺、异常类型多样化的挑战，本研究提出了一种基于Segment Anything Model（SAM）的自适应渐进学习（APL）策略。通过开发自适应评分器将异常图像按难度分级，结合AnomalyGAN数据增强与分解器模块，实现了复杂工业缺陷的精准分割与知识迁移。在三个基准数据集上的实验表明，该方法在保持高效图像处理速度的同时，达到了最先进的检测性能，为自然图像大模型向专业领域的知识迁移提供了实用方案。

　　

在工业质量控制和医疗影像诊断等领域，异常检测技术发挥着至关重要的作用。然而，现实应用中仍面临诸多挑战：高质量标注数据获取困难、缺陷类型复杂多样，以及传统方法对未知异常泛化能力不足。尽管深度学习技术已取得显著进展，但基于重建的方法如自编码器易将未学习的异常误判为正常，而数据增强生成的伪异常往往过于简单，难以模拟真实工业场景中的复杂缺陷。

去年发布的Segment Anything Model（SAM）为异常检测提供了新思路。这一基于数十亿自然图像训练的大规模基础视觉模型，展现出强大的图像结构解析和泛化能力。然而，直接应用于工业缺陷检测时，SAM在粒度、不确定性和物体识别能力方面存在局限。如何将SAM在自然图像中学到的通用知识迁移到专业领域，成为当前研究的关键问题。

为此，研究团队提出了APSAM（Adaptive Progressive Learning for Segment Anything Model）框架，创新性地将自适应渐进学习策略与SAM相结合。该研究发表在《Imagerie de la Femme》期刊上，为工业异常检测提供了新的解决方案。

研究采用的核心技术方法包括：首先通过预训练的SAM对输入图像进行测试，获取置信度得分_c和分割结果_m；开发自适应评分器，基于核密度估计和KL散度计算异常得分_a，将缺陷分为易、中、难三个等级；针对简单缺陷，使用AnomalyGAN进行数据增强；对于中、高难度缺陷，通过集成分解器的Vision Transformer（ViT） backbone进行特征提取和分解处理；最终利用提示编码器和掩码解码器生成精确的分割结果。实验在MVTec AD、MVTec-3D AD和BTAD三个基准数据集上进行验证。

3.1. 整体架构

网络架构包含两个训练阶段：第一阶段使用原始SAM对缺陷样本进行预评分和难度分级，简单样本通过AnomalyGAN增强后存入知识库，训练集中关注中、高难度样本；第二阶段在SAM内部集成分解器模块，使用预训练ViT处理高分辨率输入图像，通过自注意力层捕获全局依赖关系，将特征图输入分解器进行进一步处理。

3.2. 评分器

评分器与SAM协同工作，通过核密度估计计算置信度得分和分割结果的密度分布（CDD和MDD），使用KL散度确定自适应权重系数α′和β′，最终得到异常得分_a = α′·_c + β′·_m。这种方法避免了简单加权平均的不公平性，使模型能够根据不同对象的特性灵活调整关注点。

3.3. AnomalyGAN

为解决异常数据配对困难的问题，受CycleGAN启发设计了AnomalyGAN。使用两个生成器网络：生成器G将正常图像转换为异常图像，生成器F将异常图像转换回正常图像。通过循环一致性损失和身份损失确保图像在域间转换时保持颜色和纹理一致性，生成高质量异常图像扩充数据集。

3.4. 分解器

分解器集成在SAM的图像编码器中，采用分层处理策略：中难度缺陷样本被分解为已知简单缺陷和未知新缺陷，新缺陷经评分模块评估后分类入库；高难度缺陷先分解为中难度缺陷，不可分解的样本代表工业缺陷的核心特征，通过编码器-解码器结构进行深度特征学习。知识库更新后，缺陷样本作为分割提示输入SAM的提示编码器，生成最终分割掩码。

实验结果表明，APSAM在多个数据集上取得了最先进的性能。在MVTec AD数据集上，该方法在15个类别中获得了86.6的PRO分数和99.7的I-AUROC分数，相比MambaAD方法在AP指标上提高了30.3个百分点。在纹理类别如木材缺陷检测中，相比第二名的CPR方法提升了0.9个点。在MVTec-3D AD数据集上，APSAM在AP、PRO和I-AUROC三个指标上均取得最高分，分别达到62.1、98.0和99.5，在CableGland类别上显著领先CPR方法约6.2%。在BTAD数据集上，APSAM以85.4的AP和92.7的PRO超越其他方法。

与大型异常检测模型的对比显示，APSAM在零样本缺陷分割任务中表现优异。在VisA数据集上，F1-max和AP指标分别提升约6%和5%，在所有评估指标上全面领先。效率测试表明，APSAM在保持高性能的同时实现了最优的平衡，训练时间最短，推理速度略低于CPR-faster但性能更优。

研究的结论部分强调，自适应渐进学习策略成功地将SAM迁移到异常检测任务中。通过难度分级和知识分解，该方法不仅提高了检测精度，还为将自然图像大模型的通用知识迁移到专业领域提供了可行途径。讨论中指出，当前方法在知识库扩展时面临内存使用增加的挑战，未来将通过无监督聚类特征压缩策略优化存储效率。同时，知识库领域覆盖范围有限的问题也将通过对比学习和域适应方法加以解决，以提升跨工业场景的检测泛化能力。

这项研究的重要意义在于：首先，它开创性地将SAM的通用分割能力与工业异常检测的专业需求相结合，实现了知识的有效迁移；其次，提出的自适应评分和渐进学习机制为处理复杂缺陷提供了新思路；最后，该方法在多个基准数据集上的优异表现证明了其在实际应用中的巨大潜力，为工业质量控制和自动化检测提供了可靠的技术支持。