逐步感知类别信息的反蒸馏技术

《Engineering Applications of Artificial Intelligence》：Progressive category-aware anti-distillation

　　姚章|杨莉|潘志松
中国人民解放军陆军工程大学，南京，210000，江苏，中国

**摘要**
知识的广泛使用加剧了模型被盗的风险，暴露了传统保护技术在这些威胁面前的不足。抗蒸馏作为一种有前景的防御范式应运而生，它通过破坏知识传输来防止未经授权提取“暗知识”，同时保持教师模型的性能。然而，现有的抗蒸馏方法在很大程度上忽视了类间关系在蒸馏过程中的关键作用。为了解决这一局限性，我们提出了一种渐进式的基于类别的抗蒸馏方法。我们的方法首先构建类原型之间的关系矩阵，以准确建模类间关系，然后重构输出分布，消除输出中的类间相关性信息。为了增强稳定性和保持分布对称性，我们用对称的Jensen-Shannon散度替换了标准的Kullback-Leibler散度。此外，我们实施了一种课程学习机制，逐步调整类间相关信息消除的强度。在Cifar-100和ImageNet上的广泛实验表明，我们的方法始终优于现有的抗蒸馏方法，在各种架构（包括卷积神经网络和Transformer）以及不同的蒸馏设置（基于logit的、基于特征的和无数据的蒸馏）中表现出强大的鲁棒性，教师模型的性能下降幅度小于2.2%。

**引言**
知识蒸馏（KD）（Hinton等人，2015年；DeepSeek-AI等人，2025年；Muennighoff等人，2025年）已成为深度学习中普遍的模型压缩技术，它促进了从复杂教师模型向轻量级学生模型的知识转移，同时保持了具有较低计算需求的竞争力。然而，KD技术的快速发展，特别是无数据的知识蒸馏（DFKD）（Wang等人，2024a年；J. Li等人，2024年；Tang等人，2025年；Chen等人，2024年），导致了未经授权的模型盗窃事件不断增加（Li等人，2024a年；Ho等人，2023年；Beetham等人，2023年；Wang等人，2025年），这引发了重大的知识产权问题。这种现象损害了模型开发者的利益，需要有效的保护机制来防止训练模型的非法蒸馏。现有的保护方法主要采用模型访问控制（Nie和Lu，2024b年；Nie和Lu，2024a年）和数字水印（Huang和Pao，2025年；Masrani等人，2025年）等技术来防止模型被滥用或盗窃。然而，这些方法存在关键限制：它们要么依赖于键管理系统，要么仅提供事后的盗窃检测，无法有效防御基于知识蒸馏的模型提取。

作为回应，Ma等人（2021年）引入了“恶劣教师”和自我破坏蒸馏方法，旨在在恶劣教师的输出中生成多个峰值，以干扰学生模型的蒸馏过程。DATA（Zhang等人，2025年）提出了抗蒸馏的概念，通过在对抗性温度适应中保持模型精度和增强抗蒸馏能力之间取得有效的平衡。

抗蒸馏旨在在知识蒸馏过程中保持教师模型的精度，同时阻碍学生模型的性能。其主要目的是阻止潜在攻击者通过蒸馏从教师模型中提取“暗知识”。“暗知识”是指在教师模型训练过程中获得的补充信息，这些信息虽然不直接影响最终预测，但嵌入在中间层或输出中，包含了关于类间关系和数据分布的丰富细节。现有的抗蒸馏方法主要集中在破坏logit级或特征级的知识蒸馏上，但忽略了可转移的类间关系信息，而这构成了暗知识的关键组成部分。例如，哺乳动物（如猫和狗）之间的自然视觉相似性与人工对象之间的相似性有显著差异。然而，在不损害教师模型精度的情况下抑制这种关系信息仍然具有挑战性。此外，修改输出分布通常会导致优化不稳定性，尤其是在使用非对称散度度量时。

因此，我们提出了一种基于类别的抗蒸馏方法，可以精确消除类间关系信息。我们认为类原型均值作为语义结构的稳健估计器是有效的，因为它们可以消除实例级别的变化，并捕捉到反映在底层特征分布中的稳定类别级别关系。我们首先从原始模型特征中提取类原型作为不同类别的表示。这些原型用于通过余弦相似度构建对称的类关系矩阵R，随后指导原始输出分布zo的重构。在基于类别的机制下，正确类别（“狗”）的置信分数保持稳定，而与正确类别语义相似性高的类别（如“猫”、“马”）的置信分数略有降低。相比之下，语义相似性低的类别（如“卡车”、“鸟”）的置信分数显著下降。这种非平滑的模型输出调整表明，基于类别的调整引入了更丰富的暗知识，这从调整后的输出与抗蒸馏模型输出之间的差异增加中可以得到证明。因此，模型在后续的抗蒸馏训练中变得更有效地识别和消除隐含的类间关系，从而增强了其抗蒸馏能力。换句话说，这种变换并没有直接移除暗知识；相反，它揭示并放大了需要移除的结构，使得后续的抗蒸馏步骤更加有效（如图1所示）。

从信息论的角度来看，我们的方法专门针对原始模型logits中嵌入的结构性类间互信息。这一成分反映了原始模型如何在语义相关类别之间分配概率质量，是暗知识的关键载体。当我们将原型派生的关系矩阵应用于logits时，类间关系结构被消除。这种变换抑制了真实类别与语义相关的非目标类别之间的互信息，从而降低了原始模型的输出平滑度，有效地破坏了软标签分布中编码的关联系论偏见。换句话说，结构化依赖I(Y;Yrel）——其中Yrel表示由类间相似性塑造的原始模型预测——被有意削弱。同时，与任务相关的特定类别信号得以保留。变换保留了与真实类别相关的主导logit，保持了正确分类所需的基本信息I(Y;Ytask）。因此，核心预测信号保持完整，而相关的暗知识被选择性地移除。

为了量化分布差异，我们在比较原始模型和抗蒸馏模型的输出时使用了对称的Jensen-Shannon（JS）散度，而不是传统的Kullback-Leibler（KL）散度。这种选择基于两个关键因素：（1）JS散度在输出分布变换过程中保持了关系矩阵的对称性；（2）它通过在平均分布中的整合，展现出更好的鲁棒性来处理分布差异，而KL散度对可能导致训练不稳定的微小变化敏感（详见第4.2节）。此外，为了全面消除原始模型中的暗知识同时保持训练稳定性，我们提出了一种基于课程学习策略，根据训练周期和修改后的输出与抗蒸馏输出之间的相似性动态调整课程系数。这种方法通过在保留分类能力的同时有效降低其蒸馏效用，优化了抗蒸馏能力和模型性能之间的平衡。

**总结**
我们的贡献如下：
1. 我们提出了一种基于类别的抗蒸馏方法，通过类间关系矩阵移除暗知识，干扰学生模型的学习。同时，动态课程策略平衡了抗蒸馏能力和模型性能。
2. 我们从理论和实验上证明，由于其对称性和鲁棒性，JS散度在测量输出分布差异方面优于KL散度，克服了KL散度的局限性。
3. 我们在Cifar-100和ImageNet数据集上使用多种架构（CNN和Transformer）对我们的方法进行了全面评估，与SOAT蒸馏方法进行了比较，包括基于logit的蒸馏、基于特征的蒸馏和无数据的蒸馏。结果表明，我们的方法在多种蒸馏场景中始终优于现有的抗蒸馏技术。

**实验**
我们的方法使用两个广泛采用的基准数据集Cifar-100（Krizhevsky，2009年）和ImageNet（Deng等人，2009年）进行了评估。Cifar-100是一个小型图像分类数据集，包含100个类别，共有50,000张训练图像和10,000张测试图像。在Cifar-100上，我们遵循OFA（Hao等人，2023年）的相同实验设置，训练周期为100，批量大小为512。对于基于CNN的模型，我们采用初始学习率为5e?2的SGD优化器，并进行权重衰减。

**结论**
尽管我们的方法是在标准图像分类基准（CIFAR-100和ImageNet）上使用CNN和Transformer架构进行评估的，但它展示了一种原理性的模型保护方法，可以防止基于蒸馏的盗窃。在本文中，我们解决了基于知识蒸馏的模型盗窃攻击，并提出了一个渐进式的基于类别的抗蒸馏框架，以更有效地保护模型免受未经授权的提取。与忽略类间关系的现有工作不同……

**作者贡献声明**
姚章：撰写——审阅与编辑、撰写——初稿、可视化、方法论、数据分析、概念化。
杨莉：撰写——审阅与编辑、方法论。
潘志松：撰写——审阅与编辑、监督、概念化。

**利益冲突声明**
作者声明了以下可能被视为潜在利益冲突的财务利益/个人关系：潘志松报告称获得了国家自然科学基金会的财务支持。如果有其他作者，他们声明没有已知的利益冲突或个人关系可能影响本文所述的工作。