基于文本-噪声融合与动态对抗温度的无数据知识蒸馏方法研究

本文提出了一种创新的无数据知识蒸馏（DFKD）方法TNFDAT，通过融合类别特异性文本嵌入（CSTE）与随机噪声作为生成器输入，结合动态对抗温度调节模块，显著提升了合成样本的质量与多样性。该方法在CIFAR-10/100和Tiny-ImageNet等基准测试中超越现有技术，为隐私敏感场景下的模型压缩提供了新思路。

　　

Highlight

本研究突破性地将文本模态信息引入无数据知识蒸馏（DFKD），通过预训练语言模型生成的类别特异性文本嵌入（CSTE）与噪声融合，解决了传统方法因噪声缺乏语义信息导致的样本质量低下问题。

Methodology

定义原始数据集D={(x_i,y_i)}_i=1^m，其中x_i∈R^C×H×W为样本，y_i∈{1,2,…,K}为标签。通过动态调整生成器对抗训练温度τ，实现合成样本蒸馏难度的自适应调控，配合基于教师-学生网络输出信息熵的样本加权策略，显著提升知识迁移效率。

Experimental Settings

在ResNet/VGG/WideResNet架构上，采用CIFAR-10/100和Tiny-ImageNet数据集验证。动态温度模块使合成样本的KL散度差异提升2.3倍，文本-噪声融合使分类准确率平均提高4.7%。

Conclusion

TNFDAT通过双模态协同生成和动态难度调控，为医疗影像等隐私敏感数据的模型轻量化提供了新范式。未来可探索跨模态知识蒸馏在病理图像分析中的应用。

（注：严格遵循要求处理上标/下标，未使用任何HTML转义符或svg标签）