基于异构孤立森林集成知识蒸馏的轻量级异常检测方法及在MVTec 3D-AD数据集上的评估

《Scientific Reports》：Lightweight anomaly detection via knowledge distillation from ensemble teachers

　　本文提出了一种基于知识蒸馏的异常检测方法，采用异构孤立森林（Isolation Forest）集成作为教师模型，轻量级神经网络作为学生模型。学生模型通过最小化Kullback–Leibler（KL）散度学习教师的软标签。在MVTec 3D-AD数据集的三个类别（bagel、carrot和cookie）上进行评估，教师模型的宏平均接收器操作特征曲线下面积（AUROC）为0.6406；而学生模型在多层感知机（MLP）头部拥有2.010百万参数、每张图片检测头推理时间约为0.051毫秒（均不包括ResNet-50主干网络）的情况下，实现了0.5937的宏平均AUROC，并相较教师集成模型获得了约11.6倍的检测头推理速度提升。与代表性深度学习基线方法（RD4AD和PatchCore）相比，所提方法在精度方面表现中等，但检测头延迟更低且模型体积更小（不含主干网络）。结果表明，知识蒸馏可作为有效的压缩技术，将集成模型的知识迁移至轻量级学生模型，但需以一定程度的精度损失为代价。蒸馏的效果具有类别依赖性：学生模型在一个类别上优于教师模型，但在其他类别上出现性能下降。此外，无知识蒸馏消融实验（不使用KD训练的学生模型）取得了更高的宏平均AUROC（0.6057对0.5937），说明软标签蒸馏是一种可行的压缩策略，但并非普遍适用的性能增强手段。文中讨论了蒸馏提升或降低性能的条件。