利用自监督预训练和知识蒸馏进行的高级缺陷分析

《IEEE MultiMedia》：Advanced Defect Analysis With Self-Supervised Pretraining and Knowledge Distillation

缺陷检测中采用预训练对比学习模型（SimCLR）结合反向知识蒸馏，通过从零训练和微调两种策略提升性能，仅需无缺陷样本即可实现自监督与监督学习结合，实验验证在多个工业数据集上AUC显著优于现有方法。

　　

摘要：

缺陷检测在工业生产中的质量控制中至关重要。本文提出了一种利用预训练的对比学习模型来提升缺陷检测能力的方法。我们研究了SimCLR模型，并采用了两种训练策略：从零开始训练和微调。微调通过调整预训练的权重来使模型适应缺陷检测任务，从而实现了更优的性能。从零开始训练则会重新初始化模型参数，从而能够采取更加定制化的异常检测方法。我们的方法结合了反向知识蒸馏模型和SimCLR训练的骨干网络，仅使用无缺陷样本即可运用自监督和无监督学习技术，增强了方法的实用性。我们使用两个广为人知的异常检测数据集进行评估，这些数据集包含了各种工业产品类别的高分辨率图像以及详细的注释。实验结果表明，这两种训练策略都优于现有的最先进方法，其在接收者操作特征曲线（ROC曲线）下的面积（AUC）更高，进一步凸显了我们方法的有效性。

缺陷检测在制造业中至关重要，其目的是在生产过程中快速准确地识别产品缺陷。缺陷会影响产品质量、可靠性、安全性以及总体成本。历史上使用的人工检测方法劳动强度大、耗时且具有主观性，常常导致质量不稳定和漏检缺陷的问题。随着技术的进步和自动化程度的提高，对有效缺陷检测系统的需求也在不断增加。传统方法难以满足现代大规模、高速生产的需求，因此亟需自动化解决方案。确保高质量的产品对于提升竞争力至关重要，因为缺陷会直接影响客户满意度和品牌声誉。早期缺陷检测有助于降低返工成本并改善经济效益。