《Neurocomputing》:Rethinking attention reliability for token pruning in vision transformers
编辑推荐:
摘要:视觉Transformer(Vision Transformers, ViTs)在视觉识别任务中表现出优异性能,但其计算复杂度随令牌数量呈二次方增长,这推动了令牌剪枝与令牌缩减领域的广泛研究。现有多数剪枝方法直接从注意力权重估计令牌重要性,隐含假设注意力
摘要:视觉Transformer(Vision Transformers, ViTs)在视觉识别任务中表现出优异性能,但其计算复杂度随令牌数量呈二次方增长,这推动了令牌剪枝与令牌缩减领域的广泛研究。现有多数剪枝方法直接从注意力权重估计令牌重要性,隐含假设注意力幅值在所有层中均可可靠表征语义相关性。本研究通过分析注意力选择性,发现该假设的成立程度随Transformer深度与模型规模显著变化,且受训练范式影响。利用多种集中度与稳定性指标的系统分析表明,浅层注意力分布趋于高度弥散且区分性弱,使得基于注意力的评分在早期剪枝中不可靠;相比之下,随着令牌表征逐步成熟,深层注意力信息量显著提升。基于此,研究人员考察了广泛的非注意力重要性评分方法,这些方法源自令牌嵌入,涵盖统计量与相似性等多种准则。在不同ViT变体与多样训练设置下,非注意力评分在浅层表现出更稳定的剪枝行为,而基于注意力的评分仅在表征具备足够区分性后才有效。重要的是,这一转变发生的深度具有模型依赖性且并非严格单调,说明统一的基于注意力的剪枝策略与ViT的表征动态存在本质不匹配。基于上述发现,令牌剪枝被建模为由注意力可靠性决定的逐层选择问题,并在无需重训练或动态推理控制的情况下,研究了轻量级静态路由配置。在相同浮点运算次数(FLOPs)条件下,所得剪枝模式实现了与代表性令牌缩减方法相当或更优的精度—效率权衡。总体而言,这些结果将ViT中的令牌重要性估计确立为一个由表征成熟度、模型特性及训练范式共同塑造的层依赖性问题,而非仅依赖统一注意力幅值。
研究背景与意义
视觉Transformer(ViT)通过自注意力机制建模长距离依赖,已成为计算机视觉的主流架构,但其计算复杂度随输入令牌数呈二次方增长,限制了高效推理的实现。为缓解这一问题,令牌剪枝与令牌合并等令牌缩减技术被广泛研究。大多数现有剪枝方法直接从注意力权重估计令牌重要性,隐含假设注意力幅值在所有层均可可靠反映语义相关性。然而,已有研究表明,这一假设并不在所有深度成立。浅层注意力往往空间分布弥散、选择性弱,主要编码低层次冗余信息,导致仅依赖注意力幅值的剪枝决策不稳定。同时,注意力可靠性不仅受深度影响,还与模型规模和训练范式密切相关。这种层间差异意味着统一的注意力剪枝策略难以匹配ViT的表征演化规律,亟需重新审视令牌重要性估计方法。本文发表于《Neurocomputing》,旨在系统分析注意力可靠性在令牌剪枝中的作用,并提出适配层依赖性的静态路由策略。
关键技术方法
研究人员采用无重训练的统一剪枝协议,在每层按固定比例移除令牌,并在ImageNet?1k数据集上评估Top?1准确率。研究构建了两类重要性估计框架:基于注意力的标准CLS?to?patch注意力评分,以及基于令牌嵌入的非注意力评分,包括嵌入统计量(均值偏差、幅值、方差)、关系度量(k近邻相似度、自相似度)和聚类中心偏离度(k?means centroid)。为量化注意力可靠性,引入熵、Top?10质量分数与注意力集中度指数(Attention Concentration Index, ACI)等指标。在此基础上,设计了三种静态路由策略:基于注意力选择性的阈值法、限制搜索法与两阶段搜索法,均通过小规模校准集离线确定路由映射,推理时不引入额外参数或动态控制。实验覆盖ViT、DeiT、AugReg、DINOv3及SigLIP等多种架构与训练范式。
研究结果
深度依赖的注意力特性定量与定性分析
层间注意力统计显示,浅层熵高、ACI与Top?10质量分数低,表明注意力高度弥散且选择性弱;深层则呈现集中化趋势。理论上,当目标与背景令牌语义差距小且背景特征方差低时,softmax归一化导致注意力分配主要受令牌数量支配,使对象与背景评分难以区分,解释了浅层注意力不可靠的原因。剪枝实验表明,过早使用注意力剪枝会显著降低准确率,而过度延后非注意力剪枝同样损害性能,说明最佳策略需在两者间动态切换。可视化结果显示,浅层注意力图偏向背景区域,深层则聚焦于目标;非注意力重要性图在浅层更紧凑且与目标对齐。
自适应逐层选择策略
研究将令牌剪枝形式化为静态路由问题,提出三种策略:选择性驱动路由依据注意力集中度自动划分浅层与深层;限制搜索法逐层评估以非注意力替代注意力的收益;两阶段搜索法先在块级插入非注意力区域再细化边界。结果表明,选择性驱动路由与人工设定切换点一致,而性能感知路由可捕捉非单调变化。路由行为分析显示,所有模型均在最浅层优先选用非注意力准则,深层逐渐转向注意力剪枝,大模型过渡更快,小模型在中间层仍保留非注意力选择。
与前沿令牌缩减方法的比较
在匹配FLOPs条件下,静态路由在DeiT?S与DeiT?B上均优于Top?K、EViT、ATS等方法,并在DeiT?B上达到80.0%的Top?1准确率,超过所有无重训练基线。与DynamicViT相比,静态路由无需额外预测器即可实现相近甚至更高的精度。
跨ViT变体的泛化性
在标准ViT、AugReg、DINOv3与SigLIP上的实验表明,非注意力或混合策略普遍优于纯注意力剪枝。尤其在DINOv3与SigLIP中,注意力剪枝导致显著性能下降,突显训练范式对注意力可靠性的影响。
避免浅层剪枝的效果验证
对比实验证明,仅跳过浅层剪枝或稀疏化剪枝层无法完全复现静态路由的收益,后者必须结合层间差异化的重要性估计。
讨论与结论
研究人员指出,注意力可靠性是深度、模型规模与训练范式共同塑造的涌现特性,并非ViT的固定属性。非注意力准则在浅层提供了更稳定的信号,而深层注意力在表征成熟后更具信息量。静态路由策略在无需动态推理开销的前提下,有效利用了层间可靠性差异。研究的局限在于路由为输入无关且未涵盖层次化ViT架构与密集预测任务。总体而言,本文确立了令牌重要性估计的层依赖性质,提出的静态路由为无重训练的高效ViT推理提供了可解释且实用的解决方案。