基于动态令牌位宽分配的视觉Transformer量化方法研究

【编辑推荐】本文提出一种针对视觉Transformer（ViT）的令牌动态位宽分配量化方法（PTQ），通过量化间隔近似计算误差，并设计适用于后GELU激活的移位量化器，在保持计算效率的同时显著提升token-wise量化性能。

　　

亮点

• 我们提出一种创新的ViT令牌动态位宽分配方法，可根据输入实例动态调整每个令牌（包括类别令牌）的位宽。

• 针对后GELU激活值的正负不对称分布特性，设计了基于位移操作的硬件友好型量化器。

• 实验证明该方法显著提升token-wise量化方案性能，在效率与精度间取得优异平衡。

网络量化

网络量化通过降低权重和/或激活值的比特宽度来减少计算成本和内存需求。量化感知训练（QAT）方法虽在低比特场景表现优异，但需完整训练数据集且计算成本高昂。

方法

首先简述ViT中令牌级量化流程（第3.1节），随后提出基于输入自适应的动态位宽分配框架（第3.2节），最后介绍针对后GELU激活的特制移位量化器（第3.3节）。

实验

详细说明实验设置（第4.1节），展示图像分类、目标检测和实例分割任务结果（第4.2节），并进行深入方法分析（第4.3节）。

结论

我们提出的动态令牌位宽分配方法通过量化间隔高效估算误差，配合后GELU专用移位量化器，显著提升量化性能，为ViT部署提供高效解决方案。