针对轻症肺炎检测的基准知识蒸馏技术：在PneumoniaMNIST数据集上进行的多种子校准研究

《BMC Research Notes》：Benchmarking knowledge distillation for lightweight pneumonia detection: a multi-seed calibration study on PneumoniaMNIST

　　

摘要

目标

在PneumoniaMNIST数据集上，对比训练有知识和无知识蒸馏的非常小的卷积神经网络在肺炎检测方面的性能，重点关注模型的区分能力、校准效果、运行效率以及泛化能力。

结果

使用预定义的MedMNIST v2数据集分割和5个随机种子，ResNet-18模型在接收者操作特征曲线（ROC）下的面积为0.9735（95%置信区间为0.9687?0.9782）。参数量为60,642的TinyCNN模型保留了大约90%的教师模型（ResNet-18）的区分能力（准确率为0.8818，置信区间为0.8634?0.9001），同时参数数量减少了184倍，乘累加操作次数减少了10.9倍，单次批量处理的CPU推理时间减少了3.7倍。在该基准测试中，知识蒸馏并未带来显著的区分能力提升。在温度缩放之前，教师模型的校准效果较差，但温度缩放后其负对数似然值、布里尔分数（Brier score）和预期校准误差有所改善。在Kermany数据集以及一个平衡的RSNA子集上进行的外部零样本评估显示，所有模型都存在领域迁移问题（即模型在新的数据集上的表现下降），尽管经过短暂微调后有所恢复，但教师模型与学生模型之间的差距仍然存在。