视觉变换器中稀疏注意力机制的研究综述：分类、方法与分析

《Neural Networks》：A Survey of Sparse Attention in Vision Transformers: Taxonomy, Methods and Analysis

　　摘要
视觉Transformer（ViTs）在大型数据集和复杂视觉场景中表现出了优于传统卷积神经网络（CNN）的性能，这得益于它们强大的全局上下文建模能力。它们已成为计算机视觉领域新一代的骨干架构。然而，ViTs中的自注意力机制会导致二次方的计算复杂度，而提高输入分辨率则会大幅增加时间和内存消耗。这严重限制了它们的实际应用，因此稀疏注意力成为了高效ViTs研究的重点方向。现有的综述主要按照特定模型或任务来列举方法。本文则系统地根据稀疏化策略来回顾现有方法。我们通过分析视觉数据的内在空间冗余和局部相关性，建立了一个统一的分类体系。现有方法被分为三种核心范式：基于窗口的稀疏化、基于动态减少的稀疏化和基于潜在空间的稀疏化。我们进一步深入分析了不同策略下准确性、效率和应用适用性之间的权衡，涵盖了包括图像分类和对象检测在内的五个代表性视觉任务。我们还总结了当前研究面临的主要挑战，并讨论了稀疏注意力发展的未来方向。

引言
在过去十年中，深度学习从根本上改变了计算机视觉（CV）领域的格局。利用其平移不变性和局部感知能力，卷积神经网络（CNN）通过经典架构（如ResNet）在图像分类、对象检测和语义分割等核心任务中占据了主导地位（Habte等人，2023年；Huang、Liu、Van Der Maaten、Weinberger、Krizhevsky、Sutskever、Hinton，2012年；Simonyan和Zisserman，2012年）。然而，随着视觉任务向更复杂的场景理解和多模态交互发展，CNN在捕捉长距离依赖性方面的局限性逐渐成为瓶颈（Khan等人，2023年）。同时，Transformer架构在自然语言处理（NLP）领域的卓越表现推动了跨领域的进展（Jiang等人，2025b年）。视觉Transformer（ViT）作为计算机视觉中的新架构被引入（Dosovitskiy等人，2021年）。如图1所示，ViT通过将图像分割成块序列并利用自注意力机制来捕捉全局关系。在ImageNet等基准测试中，ViT的表现超越了CNN。因此，它已成为计算机视觉中的下一代通用骨干网络（Attiapo等人，2024年；Darcet、Oquab、Mairal和Bojanowski，2024年）。

尽管ViT性能强大，但其标准自注意力机制的计算复杂度和内存消耗随令牌数量的增加而呈现二次方增长（O(N^2)），使得处理高分辨率图像或视频流变得非常昂贵（Huo等人，2024年）。为了突破这一计算瓶颈，研究社区开发了大量致力于减少计算开销的工作。其中，稀疏化是一种最有效且有前景的解决方案，它通过减少计算中涉及的令牌数量或限制注意力范围来降低计算成本（Chen等人，2025c年）。尽管关于稀疏化ViTs的研究迅速增长（Palanisamy等人，2025年；Thisanke等人，2023年；Deshan等人，2023年；Chamith等人，2023年；Vidanaarachchi等人，2023年；Herath等人，2023年），但现有的综述并未将稀疏注意力作为核心主题，也没有按照潜在的稀疏化策略来组织方法。一般的ViT综述（Han等人，2023年；Wang等人，2023年；Chen等人，2023年；Guo等人，2023年；Liu等人，2023年；Tang等人，2023年；Xiao等人，2023年；Xu等人，2023年；Yang等人，2023年；Zhang等人，2023年；Tao等人，2023年；Khan等人，2023年；Naseer等人，2023年；Hayat等人，2023年；Zamir等人，2021年；Shahbaz Khan等人，2021年；Shah等人，2021年；Liu等人，2021年；Zhang等人，2021年；Wang等人，2021年；Hou等人，2021年；Yuan等人，2021年；Tian等人，2021年；Zhang等人，2021年；Shi等人，2021年；Fan等人，2021年；He等人，2021年）仅简要讨论了稀疏注意力。关于高效ViTs的综述（Papa等人，2024年）将技术分为紧凑架构、剪枝和量化，其中稀疏注意力仅作为剪枝的一个子类别出现（Saha等人，2025年；Xu等人，2025年；Tay等人，2023年；Dehghani等人，2023年；Bahri等人，2023年）。最近一项关于Transformer中稀疏性的系统综述（Farina等人，2024年）从广义上涵盖了稀疏性，包括权重量化、低秩分解和专家混合，但没有为稀疏注意力提供专门的分类体系（Ali等人，2023年）。因此，研究人员仍然缺乏一个原理性的框架来解释每种稀疏化策略的机制、它如何降低二次方计算成本以及它最适合哪种视觉任务。
相比之下，我们的综述特别关注稀疏注意力，并根据稀疏化策略对方法进行分类，即基于窗口的、基于动态减少的和基于潜在空间的，这种框架在之前的综述中未被采用。表1从组织原则、稀疏注意力的处理方式和任务覆盖范围方面，将我们的综述与这些先前的综述进行了对比。为了使研究人员更全面地理解潜在机制、方法比较和应用指导，本文对视觉Transformer中的稀疏注意力进行了系统回顾。与之前按模型家族、应用领域或压缩技术对文献进行分类的综述不同，本文从稀疏化机制的基本原理出发，将现有方法分为三类，并围绕分类体系、实验结果分析和未来发展趋势进行讨论。本文的总体组织和相应的分类体系在图2中进行了说明。

第一类是基于窗口的稀疏化，它在局部区域内限制注意力；第二类是基于动态减少的稀疏化，通过移除或合并低信息令牌来压缩序列长度；第三类是基于潜在空间的稀疏化，它通过低维潜在表示来指导信息交互。每种范式在第2节中进行了详细探讨。基于这一分类体系，本文进一步整理了现有的稀疏注意力研究及其发表年份，如附录表A.6、A.7、A.8中所列。其次，我们对不同稀疏注意力方法在包括分类、检测和分割在内的五个任务上的实验结果进行了系统回顾和横向比较。结果表明，不同的稀疏化机制在性能提升、计算效率和任务适应性方面表现出不同的特点，并且没有一种统一的方法能够在所有场景中持续占优。

最后，我们总结了三种稀疏化范式的研究轨迹和关键问题，讨论了它们在多任务学习和通用大规模视觉模型中的未来发展方向，并提出了几个值得进一步研究的有前景的问题。与现有综述相比，本文的独特优势体现在以下几个方面：
- 对稀疏注意力实现的全面总结：本文打破了按任务或模型发表时间线组织的传统分类体系，根据潜在的稀疏化机制将现有研究分为三种核心范式，从而更直观地展示了不同方法如何克服O(N^2)的计算瓶颈，并且与之前的组织方式不同，给出了明确的分配标准（第2节），使得边界情况是按规则而非直觉来确定的。
- 深入的机制比较和进化分析：本文不仅对现有模型进行了表面层面的回顾，还从稀疏化实现机制的角度系统分析了不同子类别的进化逻辑，进一步揭示了不同策略在建模能力、计算效率和任务适应性方面的优势和局限性。
- 以任务为导向的适用性指导：本文超越了算法理论层面，结合了视觉任务的固有特性，为不同稀疏化策略提供了最适合的应用场景的明确建议。

稀疏Transformer的分类体系
如第1节所讨论的，标准自注意力的二次方复杂度是高分辨率视觉任务的主要瓶颈（Zhang等人，2025a）。现有的稀疏化方法主要旨在通过各种策略限制注意力图的生成范围或直接降低计算中涉及的特征的维度。我们注意到，一些相关方向在不稀疏化注意力模式的情况下降低了注意力成本，包括线性方法。

实验分析
本节的数据基于上述文献编译。我们选择了计算机视觉中的五个代表性任务方向，包括图像分类、对象检测、实例分割、语义分割和图像超分辨率，并比较了它们在主流数据集上的性能。由于篇幅限制，表B.10、B.9、B.11、B.12提供在附录B中。表2和表B.9–B.12中的结果直接来源于...

基于窗口的稀疏化的主要优势在于其规律的计算模式和与视觉数据的局部相关性的兼容性。窗口分区的结构化特性使得内存访问变得可预测，这有利于GPU友好实现。这一实际优势在以FLOPs为中心的比较中常常被忽视。基于窗口的方法（如Swin Transformer）已成为密集预测任务的默认骨干网络。

结论与未来方向
本文对视觉Transformer中的稀疏注意力进行了按稀疏化策略组织的综述，将现有方法分为三种核心范式：基于窗口的稀疏化、基于动态减少的稀疏化和基于潜在空间的稀疏化。除了提供一个结构化的分类体系外，该综述还揭示了一些超越个别方法或范式的见解。

CRediT作者贡献声明
Wenji Yin：撰写——原始草稿、软件、形式分析
Zhicun Zhang：监督、调查、概念化
Yu Han：监督、资金获取、概念化
Xiaoqi Xi：项目管理
Chaohua Wang：数据整理
Weijie Chen：撰写——审阅与编辑
Chunhui Wang：资金获取
Linlin Zhu：资金获取
Siyu Tan：可视化
Lei Li：资金获取
Bin Yan：撰写——审阅与编辑、资金获取

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文的工作。

致谢
本研究部分得到了中国国家自然科学基金（项目编号62201618）、河南省重点研发专项（项目编号251111220600）、河南省自然科学基金（项目编号252300423938）、河南省自然科学基金（项目编号252300421819）和河南省自然科学基金（项目编号252300420994）的支持。