基于高效聚类的深度人脸识别知识蒸馏方法

《IEEE Transactions on Sustainable Computing》：Efficient Cluster-Based Knowledge Distillation for Deep Face Recognition

　　

摘要：

知识蒸馏已被广泛用于提升面部识别中小型模型的性能。然而，如何选择关键知识并有效地将其从教师模型传递到学生模型仍是一个挑战。在本研究中，我们提出了一种高效的基于簇的知识蒸馏方法（CKD），该方法旨在使学生模型在样本关系和类别中心方面与教师模型保持一致。具体而言，CKD首先根据教师模型提取的样本特征与现有聚类算法生成的簇中心之间的相似性来确定关键的样本关系。然后，通过设计基于簇的关系蒸馏损失函数，CKD能够有效地将上述关系中的知识从教师模型传递到学生模型。最后，CKD还通过在上述代表性簇中心与学生模型的类别中心之间构建中心损失函数，进一步提升学生模型类别中心的准确性。我们在多个面部识别基准测试上对所提出的CKD方法进行了验证。例如，在MegaFace数据集上，CKD将基础学生模型的性能从91.95%提升到了94.20%，并且在多个基准测试中均优于近期出现的其他竞争性蒸馏方法。这些结果充分体现了CKD方法的有效性与优越性。