视觉 Transformer 需要变焦器：基于类别注意力先验引导缩放适配器的高效 ViT

《Neural Networks》：Vision Transformers Need Zoomer: Efficient ViT with Categorical Attention Prior-Guided Zoom Adapter

　　

•引入了类别注意力先验引导的缩放适配器，以实现高效的视觉变换器。
•使用轻量级的 0.8M 参数 Zoomer 适配器，实现了 83.8% 的 ImageNet-1k 准确率。
•在多样化的视觉基准测试中展示了最先进（SOTA）的效率 - 准确率权衡。

**引言**

视觉变换器（ViT）将图像视为句子，允许在视觉任务中使用自然语言处理（NLP）技术（Vaswani 等人，2017）。ViT 架构的通用性及其强大的特征提取能力已在图像分类、目标检测、图像生成和其他视觉任务中取得了显著成果（Carion, Massa, Synnaeve, Usunier, Kirillov, Zagoruyko, 2020, He, Chen, Xie, Li, Dollár, Girshick, 2022, Peebles, Xie, 2023, Radford, Kim, Hallacy, Ramesh, Goh, Agarwal, Sastry, Askell, Mishkin, Clark 等人，2021, Strudel, Garcia, Laptev, Schmid, 2021, Zhao, Jiang, Jia, Torr, Koltun, 2021）。视觉变换器将输入图像划分为均匀的块，并通过线性投影将它们嵌入为令牌（tokens）。这一过程类似于 NLP 中的文本分词，即将单词或子词转换为嵌入。通过利用自注意力机制，视觉变换器有效地捕获了输入序列中令牌之间的相互依赖关系。这种建模方法为下游任务提供了坚实的基础（Vaswani 等人，2017）。

自然图像通常包含来自多个类别的具有语义信息的对象，从而产生潜在的歧义。然而，内在的方向性语义线索使人类能够毫不费力地确定主要类别（例如，在图 1 中，将图像感知为“鸟”而不是“屋顶”）。虽然最近的大规模视觉 - 语言模型表现出类似的能力，但标准模型往往难以处理这些关系。从生物学角度来看，人类视觉系统解决这种效率 - 准确率权衡的方式并不是均匀处理整个场景，而是通过由自上而下的注意力驱动的中央凹视觉（DiCarlo, Cox, 2007, Wang, Stuijk, De Haan, 2014）。人类动态地将高分辨率处理能力（中央凹）仅分配给感兴趣区域，而将背景交由低分辨率的周边视觉处理（Bar, 2003, Lecours, Arguin, Bub, Caillé, Fontaine, 1999）。受此生物机制的启发，我们假设深度神经网络可以通过模仿这种行为来实现更优的效率和鲁棒性：动态地将更细的块粒度分配给类别决策区域，同时用较粗的分辨率处理上下文区域。

一个自然的问题是，现有的类激活映射（CAM）方法是否能起到相同的空间指导作用。我们认为不能，原因很根本：CAM 及其变体本质上是事后的（post-hoc）。它们在完成前向或反向传播后，从分类器自身的激活或梯度中导出空间重要性图，这意味着显著性信号依赖于并与模型自身的分类决策纠缠在一起。此类信号可以揭示模型事后关注了哪里，但无法在结构上干预模型如何处理输入。我们提出通过引入类别注意力先验（CAP）来逆转这一范式：CAP 是在分类推理之前生成的类别决策空间指导图，且与主模型的决策过程完全解耦。虽然 CAP 在表示上与类别条件显著性相关，但它在使用时机和方式上存在根本区别。CAP 是通过将强大教师模型中的类别条件显著性知识蒸馏到轻量级 Zoomer 模块中获得的。在推理时，不需要教师模型、类标签或反向传播。CAP 直接在 ViT 处理图像之前重构输入块布局——将事后解释信号转化为事前结构先验。

我们确定了两个激励在视觉变换器中设计 CAP 的关键现象。首先，原始 ViT 将默认块大小设置为 16 像素，将图像划分为 14 × 14 个令牌。然而，当图像包含多个对象时，如果感兴趣的对象未被密集分块，模型的注意力可能会错位，导致因与无关对象混淆而误分类。这表明，通过由 CAP 引导的适当块分辨率分配，可以纠正 ViT 的分类行为。为了验证这一假设，我们使用在 ImageNet 上预训练的 DeiT-S 模型进行了一项简单的示例实验（Deng, Dong, Socher, Li, Li, Fei-Fei, 2009, Touvron, Cord, Douze, Massa, Sablayrolles, Jégou, 2021a）。在图 1 中，在第一阶段，DeiT-S 产生了错误的分类结果，因为它的注意力被密集分块的干扰类别“瓦屋顶”吸引，而不是稀疏分块的感兴趣对象“乌鸫”。我们使用一种简单的方法验证了这一假设。我们将图像放大到原始大小的 1.5 倍并重新输入 DeiT-S 模型。这导致对“乌鸫”进行了更密集的分块，有效地将模型的注意力重新引导至正确的目标，导致 DeiT-S 模型准确分类。因此，我们得出结论，当 ViT 模型的输入块分辨率由类别决策先验引导时，它们的表现会更好。

第二个现象表明，有效的 CAP 应关注语义有意义的区域，同时抑制冗余信息。我们发现，具有挑战性的图像通常包含干扰像素，例如图 1 中的“瓦屋顶”，这可能会误导模型的注意力。相反，某些像素对于准确分类至关重要，应是 CAP 的主要关注点。

遵循这一生物范式（Bar, 2003, DiCarlo, Cox, 2007, Lecours, Arguin, Bub, Caillé, Fontaine, 1999），我们设计 CAP 机制，使 ViT 模型能够自适应地关注语义重要的像素，同时抑制无关的视觉信息。结合这一洞察与我们的第一个观察结果，我们提出使用 Zoomer——一种轻量级适配器——通过识别输入图像中的类别决策区域来生成 CAP。通过在分类前放大这些区域，我们重构了模型的输入，以便在分类多标签或遮挡图像时关注相关信息。值得注意的是，ViT 模型的计算成本随输入令牌数量的增加而呈二次方增长。因此，放大所有区域是不切实际的。因此，CAP 必须精确识别哪些区域是类别决策性的，以平衡效率和准确性。

受这些现象的启发，我们引入了 ZoomViT，一种新颖的可缩放视觉变换器，提高了复杂图像数据的预测准确性。ZoomViT 分两个训练阶段运行。第一阶段专注于训练 Zoomer 以生成 CAP。Zoomer 通过来自类别条件显著性教师模型的知识蒸馏进行训练，学习生成类别决策性评分图作为事前先验——在推理时不需要教师模型、类标签或任何反向传播。训练好的 Zoomer 评估输入图像中每个块的类别决策性评分。我们建立了一个阈值 α 来识别需要缩放的区域。对于得分高于 α 的区域，我们采用较小的分块方法，而对于不重要的区域，我们使用较大的分块方法。在第二阶段，我们根据类别决策性评分对块令牌进行重排序，并在将其输入 Transformer 块之前用缩放因子嵌入调整它们的表示。我们的贡献总结如下：

•我们引入了 ZoomViT，它在 ImageNet-1k 上实现了 83.8% 的 Top-1 准确率，在仅增加 0.8M 参数的情况下，超越了 DeiT-S 基线 4.0%。这一性能在效率方面建立了新的最先进（SOTA），结合了高准确性和最小的额外计算成本。
•我们提出了类别注意力先验（CAP），它将类别条件显著性——传统上是一种事后解释工具——转化为用于自适应块分辨率分配的事前结构先验。CAP 被蒸馏到轻量级 Zoomer 模块中，实现了高效、自包含的推理，无需依赖任何外部模型或类标签。
•我们确定了 ViT 在处理遮挡目标或多标签图像时分类错误的原因。通过采用 ZoomViT，我们 substantially 减轻了这些问题，展示了在挑战性条件下的优越鲁棒性和准确性。

**章节摘要**

**相关工作**

最近的研究致力于减少模型推理决策过程中的冗余信息。一些研究表明，在 ViT 中使用不同大小的块来捕获具有不同信息密度的区域（Chen, Lin, Li, Shen, Wu, Chao, Ji, 2023a, Song, Zhang, Liu, Li, He, Sun, Sun, Zheng, 2021）。其他研究对中间层中的令牌重要性进行排名，以丢弃不重要的令牌，从而缩小模型的焦点（Liang, Ge, Tong, Song, Wang & Xie, Pan, Panda。

**预备知识**

ViT (Dosovitskiy 等人，2021) 首次提出将 Transformer (Vaswani 等人，2017) 模型的编码器应用于计算机视觉。ViT 将图像切片为块，然后将它们重塑为一维序列并线性投影到隐藏空间嵌入中。一个额外的 令牌与输入令牌连接以捕获全局信息。所有令牌都添加了可学习的位置编码以辅助模型训练。因此，ViT 中的输入令牌...

**概述**

本节介绍 ZoomViT，它通过将每个输入块视为具有不同重要性来解决原始 ViT 的局限性。如图 2 所示，ZoomViT 的训练涉及两个阶段：训练 Zoomer 和训练视觉变换器。在第一阶段，类别决策向量引导注意力图生成器为感兴趣区域生成评分图。称为 Zoomer 的类别决策生成器通过优化蒸馏损失进行训练。在第二阶段，我们...

**实现细节**

在本节中，我们在 ImageNet-1k (Deng 等人，2009) 分类数据集上广泛验证了提出的 ZoomViT。ZoomViT 基于 DeiT-S (Touvron 等人，2021a) 模型，嵌入大小为 384，包含 12 个 Transformer 块和 6 个多头自注意力头。我们在训练和测试中都使用 224 × 224 的分辨率。在训练 ViT 时，我们使用与 DeiT 相同的训练参数以确保公平性。在训练 Zoomer 时，我们使用在 ImageNet 上预训练的 DeiT-B 作为...

**消融研究**

为了验证 ZoomViT 中每个设计的有效性，我们对 Zoomer、超参数、缩放因子嵌入以及令牌重排序和剪枝进行了消融研究。在本节中，我们通过移除或替换每个设计元素来说明其必要性。消融研究的训练设置与 DeiT (Touvron 等人，2022) 中使用的设置相同。有关更完整的消融实验和可视化结果，请参阅附录。

**更多数据集上的结果**

为了进一步展示 ZoomViT 在标准 ImageNet-1k 分类之外的通用性和鲁棒性，我们在两个具有挑战性的分布外基准测试和一个下游目标检测任务上进行了评估。

ImageNet-A 和 ImageNet-Hard。我们在 ImageNet-A (Hendrycks 等人，2021) 和 ImageNet-Hard (Moayeri 等人，2022) 上评估了 ZoomViT 与 DeiT-S 基线以及最先进动态分块方法 CF-ViT 的表现，这两个基准测试专门针对模型鲁棒性...

**结论**

在本研究中，我们引入了 ZoomViT，一种创新的可视化视觉变换器。ZoomViT 采用 Zoomer 创建类别注意力先验引导的评分图，有效地识别语义重要区域并将模型的注意力重新引导至类别决策区域。令牌重排序和可调整缩放因子等基本设计使 ZoomViT 能够平衡效率和性能。实验结果表明，ZoomViT 在管理多标签图像方面表现卓越...

**未引用图表**

**表 A.16**

**CRediT 作者贡献声明**

陈子文：撰写 - 原稿，软件，方法论，数据整理，概念化。张小源：撰写 - 审阅与编辑，验证，调查，形式分析。李宇石：验证，调查。朱明：监督，资源，项目管理，资金获取。

**利益冲突声明**

作者声明，他们没有任何已知的竞争财务利益或个人关系可能影响本文报告的工作。

**致谢**

本工作得到了国家自然科学基金（批准号 62571205）的支持。

陈子文 | 张小源 | 李宇石 | 朱明