无需微调即可提升视觉Transformer的尺度泛化能力

《Neural Networks》：Extending the Scale Generalization of Vision Transformer without Fine-tuning

　　

• •
  指出光谱漂移和有效感受野收缩是视觉Transformer在跨尺度泛化能力不佳的原因。
• •
  提出了一种基于光谱约束的卷积方法，用于在尺度变化时实现频率敏感的块嵌入。
• •
  引入了水平垂直可分离注意力机制，以确保在任何分辨率下都能保持全跨度交叉形感受野。
• •
  设计了参数可重调的卷积位置嵌入方式，实现无需插值且能感知边界的定位编码。

引言

Fan等人（2024年）、Tian等人（2023年）以及Touvron等人（2019年）的研究表明，在低分辨率下训练视觉模型，然后在更高分辨率下部署，不仅能够显著降低训练时的计算成本，还能在测试时实现高精度的空间推理。尽管这种“低训练、高部署”的方法具有实际优势，但传统的视觉Transformer（ViTs）与对应的卷积神经网络相比，在面对未见过的新分辨率时，其泛化能力却差得多。如图1(a)所示，DeiT-Small在224×224的训练分辨率之外的场景中，其准确率会急剧下降，而ResNet-50的性能下降则相对平缓。这一差异凸显了一个根本性问题：传统ViTs缺乏实现稳健零样本部署所需的内在尺度适应性。

目前现有的解决方案大多依赖于多尺度训练或针对特定分辨率的微调，这两种方法都会带来较高的训练成本，且未能从根本上解决零样本泛化的难题。更重要的是，这些方法并未触及导致跨尺度性能下降的根源。在本研究中，我们系统地分析了ViTs在分辨率变化时出现的“双重退化”现象。首先，我们发现了“块内光谱漂移”问题：标准的图像缩放方法（如双线性插值）实际上相当于一种低通滤波器，会抑制中高频成分，从而导致较大分辨率下的块嵌入丢失重要的纹理信息。其次，我们还观察到了“块间位置感知崩溃”现象：Dosovitskiy等人（2021年）所采用的绝对位置嵌入的插值处理方式会破坏原有的空间先验，使得有效感受野从训练时的全局范围缩小到640×640分辨率下的单个孤立块，如图1(b)所示。

为了解决这些问题，我们提出了多尺度视觉Transformer（MSViT），这是一种专为实现稳健零样本尺度适配而设计的架构。MSViT包含了三个相互协作的模块：第一是“光谱约束卷积”，它将频域先验融入块嵌入层，以此缓解光谱漂移问题；第二是“水平垂直可分离注意力”，该模块能够维持动态的全跨度交叉形感受野，从而确保不同分辨率下的长距离依赖关系依然稳定；第三是“重参数化卷积位置嵌入”，它通过卷积方式实现尺度自适应的位置偏置，从而替代容易产生失真的绝对位置嵌入插值方法。

MSViT仅在224×224的分辨率下进行训练，却能在从128×128到640×640的广泛分辨率范围内实现最先进的零样本准确率。它的性能始终优于PVTv2、Swin等分层式Transformer，也优于ResFormer等专门的尺度适配方法。值得注意的是，即使在相同的零样本评估标准下，MSViT的性能也超过了作为卷积基线的ResNet-50。我们的研究结果表明，通过明确建模光谱稳定性和空间一致性，视觉Transformer无需进行多尺度训练或后续微调，就能达到或超越卷积神经网络在跨尺度任务中的性能。

章节摘要

相关研究

频率敏感型视觉架构。有一类研究试图通过将离散余弦变换的系数直接作为输入特征传递给神经网络，以此融入光谱先验，相关研究包括Gueguen等人（2018年）、Park和Johnson（2022年）以及Xu等人（2020年）的工作。虽然将光谱系数作为网络输入可以利用频域的能量压缩特性，但这种方法需要先进行JPEG解码，或者使用快速傅里叶变换这类专用运算工具。

插值引起的双重退化：光谱漂移与空间崩溃

当在标准分辨率下训练后的ViT模型在未经微调的情况下被部署到更高分辨率的场景中时，其准确率会出现急剧下降。这种性能下降是由两种由插值引起的效应导致的：图像上采样会削弱高频成分，从而影响块内的区分能力；而绝对位置嵌入的插值处理则会破坏模型的空间感知能力，进而影响块间的信息整合。当地部特征的完整性遭到破坏后，

方法

如第3节所述，传统ViTs在零样本高分辨率推理任务中表现不佳，其原因在于存在两个核心瓶颈：一是块嵌入过度依赖不稳定的中高频信息，二是随着分辨率的提升，有效感受野会出现严重崩溃。为了解决这些问题，我们从两个互补的角度提出了三个核心模块，以提升模型的尺度不变性。首先，我们引入了光谱约束机制，以此降低模型对

MSViT架构

我们基于所提出的光谱约束卷积、水平垂直可分离注意力以及重参数化卷积位置嵌入模块，构建了一系列MSViT变体。如图7和图8所示，MSViT采用了分层（金字塔）结构，而非传统ViTs常见的柱状结构。其块嵌入层使用不重叠的8×8或4×4卷积操作，权重则通过光谱约束卷积机制进行初始化，以此确保模型的光谱稳定性。

为逐步降低空间分辨率同时提升通道容量，我们在模型中加入了下采样操作

结论

针对视觉Transformer在低分辨率下训练但在高分辨率下部署时普遍存在的跨尺度泛化能力较差的问题，通过分析我们找到了两个关键原因：一是块内部由于尺度变化产生的光谱漂移，二是由于绝对位置嵌入的插值处理导致的块间位置感知能力下降。为了解决这些问题，我们分别提出了基于频率敏感性的块嵌入方法、能够维持全跨度交叉形注意力的机制，以及具备边界感知能力的定位编码方案。

CRediT作者贡献说明

Kai Jiang：负责原文撰写、可视化设计、方法设计及实验分析工作。Peng Peng：负责软件开发及实验相关工作。Youzao Lian：负责文本审校与编辑、形式化分析以及数据整理工作。Weihui Shao：负责项目管理、概念构思相关工作。Weisheng Xu：负责资源协调、项目管理、资金申请以及概念构思工作。

利益冲突声明

所有作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关联或个人关系。

致谢

本研究得到了中国教育部高等学校科学研究发展中心提供的资助，项目编号为2023IT073和2024MU026，同时还获得了中国计算机学会在20240211号项目中提供的支持。

Kai Jiang|Peng Peng|Youzao Lian|Weihui Shao|Weisheng Xu