基于Shapley贡献蒸馏的视觉Transformer分层令牌剪枝用于遥感场景分类与边缘加速

《Scientific Reports》：Shapley-guided token pruning for real-time remote sensing scene classification on edge devices

　　视觉Transformer（ViT）在遥感场景分类中表现出色，但自注意力的二次计算成本阻碍了在边缘平台（如星载和无人机载荷）上的实时推理。令牌剪枝可加速ViT，但主流方法依据注意力分数对令牌进行排序，其可靠性存在争议，因此激进剪枝可能会丢弃具有预测重要性的图块。我们转而采用基于公理化的Shapley贡献作为剪枝准则。为避免其指数级计算成本进入推理阶段，Shapley值在离线阶段作为监督信号进行估计，并训练一个轻量级头（约0.10 M参数）通过排序蒸馏来重现其排序，因此部署路径中不涉及Shapley计算；剪枝为分层式（第4/7/10层），并带有校准的早退机制，该机制在剪枝后重新校准。在NWPU-RESISC45数据集上（DeiT-S骨干网络），该头学习到的准则比注意力更忠实地遵循离线Shapley排序（Spearman rho = 0.641 vs. 0.401），且具有更高的插入AUC和更低的删除AUC。在配备TensorRT的Jetson Orin Nano平台上，与未剪枝模型相比，延迟和每张图像能耗分别降低24.18%和32.27%。在0.7保留率下，准确率为93.04%，比注意力剪枝高0.53个百分点；然而，由于仅有三对配对种子，这种比较并不显著（配对t检验，p = 0.067），且观察效应诊断功效计算在alpha = 0.05下仅为0.51。因此，我们未声称具有统计上决定性的准确率提升。本文的贡献因此被框定为一种更忠实的剪枝准则，以及在单骨干网络、单遥感基准设置下有利的准确率-延迟权衡，而非总体的准确率优势。