摘要
ViTs在图像识别任务中展现了出色的性能，但其庞大的参数量和较高的计算复杂度限制了其在资源有限的设备上的应用。现有的大多数ViT剪枝方法采用与类别无关的剪枝策略，无法区分不同目标类别的多样化结构需求。因此，这些方法容易删除关键特征，从而导致实际应用中的类别精度失衡。为解决这一问题，本文提出了一种基于类别意识的联合剪枝框架，从两个相互垂直的维度对模型进行压缩：MLP神经元和视觉令牌。具体而言，(1)基于一阶泰勒展开，我们量化每个MLP神经元对目标类别的贡献，有针对性地剪除冗余神经元以实现结构化压缩，随后在目标类别子集上进行轻量级微调；(2)我们提出了类别引导令牌选择（CGTS）方法，该方法利用目标类别的少量支持样本构建类别原型向量，然后在推理过程中以零样本方式动态选择与目标类别语义高度相关的补丁令牌，无需额外的训练或微调。这两个模块相辅相成，从参数维度和服务数据维度实现双重压缩。在CIFAR-100和TinyImageNet数据集上使用DeiT-Tiny/Small模型进行的实验表明，与现有的最先进剪枝方法相比，我们的方法可将目标类别子集的GMACs降低多达48%，提升推理速度近50%，且每个子集仅需0.8 KB的额外存储空间，从而在精度、计算效率及存储开销之间实现了更好的平衡。
