基于加权样本相关性的知识蒸馏方法在视觉识别中的应用

《Pattern Recognition》：Weighted sample correlation knowledge distillation for visual recognition

　　刘大代 | 高帆 | 高建平 | 刘家成 | 余宝生 | 张毅
中国重庆市西南大学计算机与信息科学学院、软件学院，400715

**摘要**
在资源受限的边缘设备上部署具有大量参数的深度神经网络仍然是一个重大挑战，因为这些设备的计算能力、存储容量和能效都受到限制。知识蒸馏作为一种有前景的模型压缩技术应运而生，它实现了从大型教师模型向紧凑型学生模型的知识转移。传统的基于关系的知识蒸馏方法主要关注实例间的关系知识（通常是样本间的成对相似性），但往往忽略了每个样本对这些关系的贡献程度不同。实际上，来自一对样本的关系信息在特征空间中对每个样本的重要性可能有所不同。为了解决这个问题，我们提出了加权样本相关知识蒸馏（WSCKD）这一新方法，它显式地建模了样本对关系知识的非对称贡献。WSCKD利用源（教师）嵌入空间中的成对相似性作为可转移的知识，并引入了两种非对称损失函数：单向加权蒸馏损失和双向加权蒸馏损失。这些损失函数使学生在训练过程中能够优先处理更具有信息量的关系，而不会对学生嵌入空间的流形结构施加限制。在多个视觉图像识别基准测试上的广泛实验和消融研究表明，WSCKD的性能优于之前的十六种蒸馏方法。

**引言**
随着人工智能的快速发展，深度神经网络在视觉识别领域的进展中发挥了关键作用。然而，在计算和存储资源有限的条件下部署这些复杂的深度神经网络并非易事。作为一种简单有效的深度学习模型压缩技术，知识蒸馏[1]已成功应用于视觉识别[2]、[3]领域。知识蒸馏是一种将知识从较大的神经网络（教师模型）转移到较小的神经网络（学生模型）的技术。它的出现引起了研究者的广泛兴趣[4]、[5]，其中的核心挑战是如何有效地将知识从高容量教师模型中提取到更紧凑的学生模型中。目前，知识蒸馏的研究主要集中在可转移知识的类型及其对应的蒸馏策略上。知识蒸馏中的主要知识类型包括基于响应的知识[6]、[7]、基于特征的知识[2]、[8]和基于关系的知识[9]、[10]。针对特定的计算机视觉任务定制不同类型的知识通常能带来显著的性能提升[11]。现有的知识蒸馏方法大致可分为离线蒸馏、在线蒸馏和自蒸馏[7]。其中，离线蒸馏[12]、[13]最为普遍，它以单向方式将知识从预训练的教师模型传递给学生模型（如图1(a)所示）。由于其简单性和有效性，离线蒸馏获得了广泛的采用。然而，训练高容量教师模型通常需要较高的计算成本，并且学生模型对其教师模型的依赖性很强，这限制了这种方法在现实世界应用中的实用性。为了解决这些问题，提出了在线蒸馏[14]，旨在减少学生模型对预训练教师模型的依赖，尤其是在没有高性能教师模型的情况下。在线蒸馏的一个特殊案例是自蒸馏[15]，在这种情况下，同一个网络同时充当教师和学生模型。在这种设置下，知识通常在同一模型内的不同层之间进行传递，使网络能够在没有外部监督的情况下改进自身的表示。

**基于关系的知识蒸馏**
基于关系的知识蒸馏侧重于从多个角度提取样本间的各种关系，并将这些关系知识传递给学生模型。最近，该领域提出了几种新颖的方法[10]、[16]。例如，李等人[16]提出了一种实例感知的蒸馏方法，将样本间的关系从教师模型传递给学生模型，以提高遥感对象检测性能。许多现有的基于嵌入的蒸馏方法从源（教师）嵌入空间中提取知识，通常以概率分布的形式捕获样本间的几何结构或成对相似性[17]。同时，由于样本关系中的信息价值，通过对比学习成功地将对实例级别的嵌入相似性关系应用于无数据知识蒸馏[18]、[19]。图1(b)展示了一个这样的关系知识传递的典型示例。然而，现有基于关系的知识蒸馏方法的一个基本但常被忽视的局限性是它们隐含地假设样本间关系的对称性。大多数方法[10]、[12]、[16]使用单一标量值（如成对距离或角度相似性）来表示两个样本i和j之间的关系，这隐含地假设样本i对样本j的影响与样本j对样本i的影响相同。实际上，样本间的相互作用往往是方向性的且不对称的[20]。例如，语义特征更清晰或表示置信度更高的样本可能对其他样本产生更强的关系影响，而含义模糊的样本则传递较少的信息。忽略这种不对称性会迫使学生学习过于简化的关系结构，从而可能扭曲教师嵌入空间的几何形状。因此，将样本间关系建模为对称相似性会遗漏重要的方向性信息，这些信息本可以提供更强的监督指导。

**基于此限制，我们提出了加权样本相关知识蒸馏（WSCKD）这一新框架，它在知识转移过程中显式地建模了样本间关系的非对称性。**虽然现有的基于关系的知识蒸馏方法将成对关系表示为对称相似性，但WSCKD将关系知识解释为教师嵌入空间中样本间的方向性影响模式。为了捕捉这种方向性依赖性，我们引入了单向加权蒸馏，通过为教师-学生相似性对赋予权重来建模一个样本对另一个样本的影响。这种机制使学生能够学习一个样本应如何强有力地指导另一个样本的表示。此外，我们还提出了双向加权蒸馏来建模两个样本之间的相互但可能不平衡的相互作用。通过为每对样本的两个方向赋予不同的权重，这种方法保留了成对关系的固有不对称性。因此，学生不仅能够判断两个样本是否相关，还能了解它们的表示在教师特征空间中的相互作用强度和方向。通过这些设计，WSCKD超越了传统的对称相似性范式，建立了一个具有方向感知的关系蒸馏框架，从而更忠实地传递教师表示中编码的结构知识。

**本文的主要贡献如下：**
- 我们提出了加权样本相关知识蒸馏（WSCKD），这是一种新的关系蒸馏框架，它在知识转移过程中显式地建模了样本间的非对称影响。与依赖于对称相似性度量的现有方法不同，它捕捉了教师嵌入空间中的方向性交互模式，为学生提供了更忠实的relation supervision。
- 我们设计了两个互补的损失函数来建模方向性样本关系的不同方面。单向加权损失将方向性影响模式从教师模型传递给学生模型，而双向加权损失则保留了样本对之间的相互但可能不平衡的相互作用，从而实现更丰富的关系知识传递。
- 在五个视觉识别基准测试上的广泛实验证明了我们提出的方法的有效性。定量结果和定性分析均证实，建模非对称关系结构显著提高了知识蒸馏的质量。

**本文的其余部分组织如下：**
第2节介绍相关工作。第3节详细说明了所提出方法的实现过程，包括每个符号的定义、数学模型的构建等。第4节报告了实验结果。最后，第5节总结了我们的方法并提出未来的研究方向。

**相关工作**
在本节中，我们回顾了与我们工作密切相关的相关知识蒸馏方法，重点关注基于关系的知识蒸馏。现有方法可以根据样本间关系的定义和传递方式，大致分为基于距离的关系蒸馏和基于几何的关系蒸馏。

**加权样本相关知识蒸馏**
现有的基于关系的知识蒸馏方法大多依赖于对称相似性度量来建模样本间关系，忽略了样本间关系影响的本质方向性。为了解决这一局限性，我们提出了加权样本相关知识蒸馏（WSCKD），这是一种新框架，它显式地建模了关系知识传递中的对称和非对称相互作用。

**实验**
我们使用三个公共数据集评估了WSCKD在图像检索和图像分类任务上的性能。此外，还将WSCKD与其他十六种知识蒸馏方法进行了比较，以证明其有效性。

**结论**
在本文中，我们提出了WSCKD，这是一种新的关系知识蒸馏框架，它显式地建模了样本间的对称和不对称关系，解决了现有方法通常假设样本对之间影响相等的局限性。WSCKD的主要优势在于它能够通过单向加权蒸馏损失捕获现实世界数据分布中的关系不对称性，这一属性对理解数据至关重要。

**作者贡献声明**
刘大代：写作——审稿与编辑、初稿撰写、验证、方法论；
高帆：写作——初稿撰写、验证、方法论；
高建平：写作——审稿与编辑、指导、资金获取；
刘家成：可视化、验证；
余宝生：写作——审稿与编辑、资源准备；
张毅：指导、资源准备。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究部分得到了国家自然科学基金[项目编号62576292]、河南省2024年省级创新生态系统支持项目[项目编号2024-901-XM10]、西南大学人才学者研究基金[项目编号SWU-KR24002]以及西南大学的高性能计算（HPC）集群的支持。