基于关系感知的无数据对抗性蒸馏方法

《Expert Systems with Applications》：Discriminative Relation-Aware Data-Free Adversarial Distillation

　　姚兴鹏|黄仁杰|勾建平|杜兰|田青|曾少宁•提出一种基于判别关系感知的无数据对抗式蒸馏方法。•通过建模结构相关性设计关系感知的数据生成方法。•设计结合ViT辅助的对抗鲁棒性蒸馏方法。

引言
知识蒸馏已成为一种有效的深度神经网络压缩方法，其原理是将强大教师模型的知识传递给更为精简的学生模型（Binici, Aggarwal, Pham, Leman, & Mitra 2022；Gou, Yu, Maybank, & Tao 2021）。现有的知识蒸馏方法大致可分为三类：基于响应的方法，通过使教师模型与学生模型的输出对数概率值保持一致来实现知识传递（Hinton, Vinyals, & Dean 2015）；基于特征的方法，通过匹配中间表示来促进语义知识的传递（Romero等人，2015）；以及基于关系的方法，通过提炼样本或特征之间的结构依赖关系来实现知识传递（Park, Kim, Lu, & Cho 2019）。尽管这些方法取得了成功，但大多数传统的知识蒸馏技术（Hinton等人，2015；Miles & Mikolajczyk 2024；Zheng, Luo, Zhou, & Wang 2025）都假定能够访问原始训练数据，而这一假设在实践中往往难以满足。在许多现实场景中，如涉及隐私的应用、设备端部署，或是受到法律、伦理、存储或数据损坏问题限制的情况，原始数据是不可用的，这使得传统的知识蒸馏方法无法应用。因此，无数据知识蒸馏作为一种替代方案应运而生，用于处理无法获取原始训练数据的场景。无数据知识蒸馏方法不依赖真实样本，而是利用预训练的教师模型来生成可用于支持学生训练的替代数据（Binici等人，2022；Liang & Fu 2025；Liu, Zhang, Wang, & Wang 2021；Tang, Chen, & Gong 2025）。现有的无数据知识蒸馏方法大致可分为两类：基于优化的方法（Binici等人，2022；Nayak, Mopuri, Shaj, Radhakrishnan, & Chakraborty 2019；Yin等人，2020），这类方法通过迭代最大化教师模型的响应值，如分类置信度或特征激活统计量，来直接优化合成输入；而基于生成的方法（Chen等人，2019；Choi, Choi, El-Khamy, & Lee 2020；Liu, Wang, Liu, Sun, & Yao 2024；Yoo, Cho, Kim, & Kang 2019）则是在教师模型的监督下训练生成模型，以产生可重复使用的合成样本，这类方法具有更好的可扩展性和效率（Creswell等人，2018；Gan, Yang, Ye, Huang, & Ouyang 2025）。鉴于这些优势，本研究采用了基于生成的無数据知识蒸馏范式，如图1(a)所示。尽管基于生成的無数据知识蒸馏方法具有很大潜力，但在实际应用中仍存在一些根本性的局限性。首先，由于缺乏明确的关联或结构约束，合成样本往往会出现过拟合或多样性不足的问题（Huang等人，2022；Jiang, Dai, Wu, & Loy 2021），尤其是在底层数据分布较为复杂的情况下（Mansourian等人，2025）。其次，大多数现有的方法（Chen等人，2019；Fang等人，2021；Liang & Fu 2025）仅依赖于基于CNN的教师模型，这类模型较强的局部归纳偏差限制了它们编码全局语义结构的能力。在无数据场景中，合成样本缺乏内在的结构先验，因此严重依赖教师模型提供整体指导，这一限制使得基于CNN的监督往往无法提供足够丰富的全球上下文，从而导致知识传递效果不佳。为克服上述局限性，我们提出了基于判别关系感知的无数据对抗式蒸馏方法（RDAD）。该方法在近期关于关系感知蒸馏的研究成果基础上（Liang & Fu 2025），通过引入关系三元组损失函数，明确建模合成样本之间的结构依赖关系，从而同时保持样本间的关联性和类内紧凑性。这样的设计能够在合成数据中强化判别性结构，减少模式崩溃现象，提升对教师模型特征空间的覆盖程度。此外，我们还在多教师蒸馏框架中引入视觉Transformer作为辅助教师模型，为其提供传统CNN教师模型往往无法捕捉到的全局语义监督。CNN与ViT相结合的教师模型组合被嵌入到对抗式蒸馏框架中，通过训练生成器来合成既能激活局部语义线索又能激发全局语义线索的样本，进而实现更丰富、更强大的学生模型学习效果。所提出的框架概要如图1(b)所示，体现了关系结构建模与跨架构监督之间的协同作用。本研究的主要贡献如下：•我们提出了一种全新的无数据对抗式蒸馏框架，该框架结合关系感知学习与ViT辅助的多教师监督机制，旨在在没有真实训练数据的情况下提升特征表示的传递效果。•我们设计了一种关系三元组损失函数，该函数能够明确保留样本间及类内的结构相关性，从而实现更具判别性和多样性的合成数据监督。•我们利用视觉Transformer作为辅助教师模型，为其注入全局语义知识，弥补CNN归纳偏差的不足，进而实现有效的跨架构知识传递。•在多个基准测试上的实验结果表明，RDAD在无数据蒸馏任务中始终优于现有的方法，尤其是在数据容量较低、无数据蒸馏难度较大的场景中表现更为出色。

数据集与实现细节
数据集。我们在四个广泛使用的图像分类基准数据集上评估了所提出的方法：CIFAR-10、CIFAR-100（Krizhevsky & Hinton 2009）、Caltech-101（Fei-Fei, Fergus, & Perona 2006）以及Tiny ImageNet（Wu, Zhang, & Xu 2017b）。CIFAR-10和CIFAR-100分别包含60,000张尺寸为32×32的RGB图像，这些图像被分为50,000个训练样本和10,000个测试样本，对应的物体类别数量分别为10类和100类。Caltech-101则包含9,146张图像，涵盖101个物体类别。

结论
在本文中，我们提出了RDAD，这是一种全新的无数据知识蒸馏框架，旨在解决现有无数据知识蒸馏方法在建模结构关系和捕捉全局语义方面的局限性。通过引入关系感知的三元组损失函数，RDAD能够在合成数据中明确体现类内紧凑性和类间可分离性，从而为学生模型的训练提供更具判别性和结构连贯性的监督信号。此外，我们还把对抗式蒸馏技术应用于该框架中。

作者贡献声明
姚兴鹏：方法论、软件开发、验证、写作——初稿撰写、研究工作
黄仁杰：概念设计、写作——审稿与编辑、形式化分析
勾建平：概念设计、方法论、写作——审稿与编辑、监督、资金筹措
杜兰：写作——审稿与编辑、形式化分析
田青：方法论、验证、形式化分析
曾少宁：方法论、数据整理、可视化

利益冲突声明
作者们声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。