跨任务与模型家族的知识蒸馏：一项比较仿真研究——去噪、隐含知识以及模型容量中的作用

《Electronics》：Knowledge Distillation Across Tasks and Model Families: A Comparative Simulation Study—Denoising, Dark Knowledge, and the Role of Model Capacity

　　

摘要

知识蒸馏是将信息从容量较大的“教师模型”传递给容量较小的“学生模型”的技术，但其在回归、分类以及不同类型的表格模型中的应用机制至今仍不够明确。本文针对结构化数据场景下的知识蒸馏进行了对比模拟研究，涉及的竞争模型包括神经网络、树集成模型、核方法、最近邻方法以及线性模型。研究使用了具有已知真实值且带有可控噪声的合成数据集，来评估将三种教师模型分别蒸馏为多层感知器、树集成模型、决策树、核方法、基于实例的方法以及线性模型后的效果。蒸馏权重和温度参数是通过验证数据来确定的，测试结果则通过置信区间、配对检验以及多重性控制分析来呈现。在回归任务中，知识蒸馏起到了目标平滑和去噪的作用：教师模型可将标签噪声降低17.4%，14个学生模型中有13个在数值上有所提升，均方误差也降低了7.1%。经过多重性控制后，多层感知器模型的改进效果最为显著。在分类任务中，改进效果相对较小：15个学生模型中有12个有所提升，平均准确率提升了0.5个百分点，而软标签蒸馏则有助于提升多层感知器模型的校准性能。进一步的噪声测试、教师模型消融实验、真实数据验证、基线对比、温度分析以及校准结果均表明，当学生模型具有足够容量，且教师模型能提供更清晰或更有信息量的目标时，知识蒸馏的效果最佳。一系列扩展的验证分析——包括使用随机负样本的教师模型质量控制、基于集成的不确定性度量、更复杂的数据条件测试、分布偏移鲁棒性测试、容量梯度分析、计算成本分析、更多的基线模型与校准指标，以及–T因子分析、软概率结构的定量度量，以及与现代表格模型的对比——都表明，有效的知识转移需要教师模型的预测结果在条件上与输入数据保持一致。在分类任务中，虽然绝对准确率的提升幅度较小，但结果在不同随机种子下依然稳定，同时某些校准指标也有所改善。