面向边缘设备资源高效视觉推理的多级对比知识蒸馏

《Ad Hoc Networks》：Multi-Level Contrastive Knowledge Distillation for Resource-efficient Visual Inference on Edge Devices

　　

摘要 将深度神经网络部署到联网的边缘设备上可以实现无需依赖云端的低延迟推理，但受到严格的计算、内存和能源预算限制。知识蒸馏是将大模型压缩为适合边缘硬件的紧凑模型的广泛使用的方法，但传统方法需要标注数据，而在实际传感器网络应用中，这些标注往往代价高昂或无法获取。本文提出了一种多层次对比知识蒸馏（MLCKD）方法，这是一种无监督框架，仅使用无标签数据即可将对比预训练的深度教师模型的多层次关系知识迁移至轻量级学生模型。与仅对教师最终嵌入进行操作的传统自监督蒸馏方法不同，MLCKD在多个网络阶段附加轻量级辅助分支，以在中间和最终表示层面蒸馏成对相似性结构。我们提出了一种两阶段离线训练流程：首先为冻结的教师模型配备对比训练的辅助分支，然后通过Kullback-Leibler散度优化学生模型，使其在每一层级复现教师的关系结构。基于ResNet-50教师网络和ResNet-18学生网络的评估表明，MLCKD显著提升了相比SimCLR基线的Top-1线性评估准确率，并几乎缩小了与全容量教师模型的差距。在八个下游分类任务上的迁移学习评估确认，蒸馏后的表示具有广泛泛化性，MLCKD在所有任务上都优于自监督基线，并以较大优势超过有监督训练。在三个边缘平台上的推理基准测试进一步显示，学生模型比教师模型快1.6倍至2.8倍，同时提供更强的表示，证实MLCKD能够在边缘硬件上实现实用、无标签的资源高效视觉智能部署。

引言 边缘视觉推理正在迅速成为无线传感器网络系统中的基础能力。例如，用于基础设施检查的自主无人机[1]、监测生物多样性的环境传感器节点[2]以及在不规则环境中导航的机器人智能体[3]，都依赖于深度神经网络将原始传感器流转化为可执行决策[4]、[5]。在边缘硬件上本地部署和执行这些模型，而非将计算卸载到远程云服务器，带来了显著的运营优势。它可以降低通信延迟，减少容量受限无线链路上的带宽消耗，提供更强的数据隐私保证，并在自组网部署固有的间歇性连接下保持持续功能[4]、[6]、[7]。

然而，嵌入式处理器和低功耗加速器的计算、内存和能源约束极大地限制了可在实时运行的模型复杂度[5]、[8]。深度残差网络[9]和其他高容量架构通常超出边缘平台的资源范围，在模型能力和部署可行性之间产生了持续差距。模型压缩技术，包括量化[10]、剪枝[11]、[12]和紧凑架构设计[13]，可以缩小这一差距，但往往在此过程中降低了学习表示的质量。

知识蒸馏（KD）[14]、[15]提供了一条互补且有效的途径。与修改网络架构或需要专用稀疏计算硬件不同，KD训练一个紧凑的学生网络复现更大、更复杂但能力更强的教师模型的表示知识，从而生成一个可直接部署在边缘设备上的模型。大量研究探索了用于蒸馏的不同形式的教师知识，范围从软化输出logits[14]、中间特征激活[16]、样本间的成对关系结构[17]，到应用于教师表示空间的对比目标[18]。然而，传统KD方法依赖标注数据来定义蒸馏目标[14]、[15]，这一假设在边缘和传感器网络环境中经常被违反。医学影像的标注需要稀缺的临床专业知识[19]；远程环境监测的标签大规模采集代价过高[2]；隐私敏感领域可能完全禁止集中式数据标注[20]。这些实际约束促使了无监督知识蒸馏[15]的发展，即仅使用边缘设备在正常运行期间可轻松获取的无标签数据来迁移教师知识。

自监督学习（SSL）为此类无标签蒸馏提供了自然基础[21]、[22]、[23]。SSL方法通过设计利用数据内在属性（如空间结构、时间连续性和实例级一致性）的前置任务，从无标签数据中直接派生监督信号[24]、[25]。在各种SSL范式中，对比学习在视觉表示学习中尤为有效[26]、[27]。SimCLR[26]和MoCo[28]等方法通过最大化同一实例增强视图之间的一致性并分离不同实例的视图来学习可迁移的表示。随后的非对比方法，包括BYOL[29]、Barlow Twins[30]和SwAV[31]，证明了显式负样本对并非严格必要。这些方法共同建立了自监督预训练可以匹配或超越有监督基线的事实[26]、[28]、[29]。最近，DINO[32]和DINOv2[33]等自蒸馏方法将自监督学习扩展到超过十亿参数，产生了在多种任务上与有监督模型匹敌的通用视觉特征。

然而，所有这些研究的共同发现是表示质量随模型容量扩展[26]、[34]：大型编码器在相同条件下学习的特征远比小型编码器丰富。这对边缘部署造成了根本性矛盾：最能从自监督学习中获益的模型恰恰是那些过大而无法在资源受限硬件上运行的模型，而适合部署的紧凑模型在独立训练时学习更弱的表示。

近期工作开始通过将知识蒸馏与自监督学习结合来解决这一矛盾[15]。在离线设置中，SSKD[35]利用教师在增强视图上的特征来丰富学生的训练信号，SimCLRv2[34]使用自监督教师为无标签数据生成伪标签，SEED[36]在MoCo式对比框架内蒸馏成对相似性分布。在在线设置中，DisCo[37]联合训练教师和学生以实现对比嵌入一致性，MOKD[38]通过交叉注意力特征搜索策略结合自蒸馏和跨蒸馏。虽然这些方法有效，但它们共享一个根本局限性：蒸馏仅对教师的最终输出进行操作，丢弃了对比预训练在整个网络深度上塑造的丰富中间表示[16]、[18]。这些跨越低层空间模式、中层结构线索和逐步抽象的语义表示的中间特征，携带了仅靠最终嵌入无法完全捕获的互补信息。通过忽略这种多层次结构，现有方法仅迁移了教师所学知识的部分视图[39]。

本文提出MLCKD（多层次对比知识蒸馏），这是一个无监督知识蒸馏框架，通过将对比预训练教师的中间和最终表示的关系知识迁移到轻量级学生模型来解决这一局限性。使用参数高效的可分离深度卷积[13]实现的轻量级辅助分支附加在两个网络的选定阶段上，将中间特征图投影为紧凑嵌入。蒸馏目标通过Kullback-Leibler（KL）散度[14]在每一层级匹配教师和学生之间的成对相似性结构，为学生网络提供密集的、多尺度的监督信号。训练分两个离线阶段进行：首先在冻结的教师模型上用NT-Xent对比损失[26]训练辅助分支以产生结构良好的中间嵌入，随后联合优化学生主干网络、其辅助分支及其投影头，以在所有层级复现教师的相似性分布。与仅蒸馏最终嵌入[36]、[40]或需要计算昂贵的在线联合训练[37]、[38]的方法不同，MLCKD在离线环境中捕获教师完整的表示层级结构，可以直接集成到标准的自监督预训练流程中。

我们使用ResNet-50[9]作为教师、ResNet-18[9]作为学生在两个预训练基准（STL-10[41]和ILSVRC2012[42]）和八个下游分类任务上评估MLCKD。在线性评估[26]下，蒸馏后的学生模型在STL-10和ILSVRC2012上分别比SimCLR ResNet-18基线提升6个和3个百分点，在STL-10上几乎缩小了与全容量教师的差距（0.84 vs 0.85）。我们还将MLCKD与SEED[36]进行了比较，这是一种仅蒸馏教师最终嵌入的自监督蒸馏方法；MLCKD在基准测试上分别比SEED高出3个和2个百分点，证实了中间辅助分支提供了仅靠最终嵌入蒸馏无法传达的结构知识。八个下游任务的迁移学习显示，MLCKD在所有八个任务上都优于独立自监督基线和从随机初始化开始的有监督训练，相比自监督基线最高提升5个百分点，相比有监督训练最高提升20个百分点。CIFAR-100和Food-101上的少样本微调进一步确认该优势在有限标注数据下依然持续，在20%标注比例下缩小至距ResNet-50教师1个百分点以内。在三个NVIDIA Jetson边缘平台上的推理基准显示，ResNet-18学生模型比教师快1.6至2.8倍。

本文贡献如下：

1. 我们提出MLCKD，一种无监督知识蒸馏框架，通过轻量级辅助分支和两阶段离线训练流程，从预训练教师模型向紧凑学生模型蒸馏多层次成对相似性结构，使学生模型仅使用无标签数据即可继承教师完整的表示层级。

2. 我们在两个预训练基准和八个下游分类任务上进行了全面实验，证明了相比独立自监督基线[26]以及从随机初始化开始的有监督训练，在表示质量和迁移性能上的一致且显著提升。

3. 我们在三个覆盖广泛计算能力的边缘平台上进行性能剖析，确认MLCKD同时提供了提升的准确率和1.6至2.8倍的推理加速，直接解决了智能传感器网络和边缘AI应用的资源效率需求。

论文路线图。本文其余部分组织如下。第2节回顾自监督学习、对比学习、模型压缩和知识蒸馏的相关工作。第3节详细介绍MLCKD框架。第4节描述实验设置和结果。第5节讨论局限性并概述未来方向。

章节摘要

背景与相关工作 本节回顾支撑所提方法的技术基础。第2.1节介绍自监督学习，使表示学习无需人工标注成为可能。第2.2节聚焦对比学习，这是MLCKD所基于的SSL范式。第2.3节讨论驱动边缘设备需要紧凑架构的模型压缩技术，第2.4节探讨知识蒸馏，它桥接高容量表示

方法 本节介绍MLCKD，一种无监督知识蒸馏框架，仅使用无标签数据将对比预训练教师的多层次关系知识迁移至轻量级学生模型。如第2.4节所确立的，现有自监督蒸馏方法要么仅对教师的最终嵌入进行操作[34]、[36]，要么需要计算昂贵的在线联合训练[37]、[38]，没有一个系统地利用中间表示

实验 在本节中，我们评估所提出的MLCKD框架。第4.1节描述数据集、网络架构和训练配置。第4.2节定义评估协议和基线方法。第4.3节报告线性评估结果，随后第4.4节迁移学习结果、第4.5节少样本微调结果呈现迁移学习和少样本实验结果。第4.6节提供消融研究，第4.7节分析系统

讨论与结论 本文提出了MLCKD，一种无监督知识蒸馏框架，仅使用无标签数据将对比预训练教师的多层次关系知识迁移至轻量级学生模型。前述实验确立了多层次蒸馏一致优于独立对比学习和仅最终嵌入蒸馏（SEED），最大增益出现在中间空间和结构线索最为重要的细粒度任务上

CRediT作者贡献声明 Ting Liang：原创草稿撰写、软件、方法论。Lingyu Du：软件、方法论、调查。Guohao Lan：审阅与编辑、原创草稿撰写、监督、项目管理、方法论、调查、资金获取、概念构思。

利益冲突声明 作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

致谢 本工作得到荷兰国家增长基金计划NXTGEN Hightech下的"AgriFood 11: Glastuinbouw – Digital Twin"研究项目的支持。

Ting Liang | Lingyu Du | Guohao Lan