I&S-ViT:一种包容且稳定的模型训练后视觉变换(ViTs)量化方法
《IEEE Transactions on Pattern Analysis and Machine Intelligence》:I&S-ViT: An Inclusive & Stable Method for Post-Training ViTs Quantization
【字体:
大
中
小
】
时间:2026年01月15日
来源:IEEE Transactions on Pattern Analysis and Machine Intelligence 18.6
编辑推荐:
针对视觉Transformer(ViT)后训练量化(PTQ)中存在的量化器低效和损失面粗糙问题,提出I&S-ViT方法。通过新型SULQ量化器和三阶段平滑优化策略,有效平衡计算成本与性能,尤其在低比特场景下显著提升ViT-B3模型性能达50.68%。
摘要:
尽管视觉变换器(ViTs)具有可扩展的性能,但其高昂的计算成本限制了它们在工业应用中的地位。训练后量化(PTQ)通过使用小型数据集对ViTs进行调优,并以低比特格式运行,有效解决了成本问题,但不幸的是,在低比特情况下性能会进一步下降。在本文中,我们提出了一种名为I&S-ViT的新方法,该方法能够以包容且稳定的方式调节ViTs的PTQ过程。I&S-ViT首先指出了ViTs PTQ中的两个问题:(1)对于Softmax激活后的量化,常用的log2量化器效率低下;(2)在LayerNorm激活后的粗粒度量化中,损失函数的变化较为剧烈且幅度较大。为了解决这些问题,I&S-ViT引入了以下改进:(1)一种新颖的移位均匀log2量化器(SULQ),该量化器结合了移位机制和均匀量化,以实现更广泛的域表示和更精确的分布逼近;(2)一种三阶段平滑优化策略(SOS),该策略结合了通道级和层级量化的优点,从而保证学习的稳定性。通过对多种视觉任务的全面评估,证明了I&S-ViT相较于现有ViTs PTQ方法的优越性,尤其是在低比特场景下。例如,I&S-ViT将W3A3 ViT-B的性能提升了50.68%。
引言
在不断发展的计算机视觉领域,近年来视觉变换器(ViTs)凭借多头自注意力(MHSA)机制在捕捉图像块之间的长距离关联方面表现出色。然而,这种卓越的性能是以巨大的计算开销为代价的:n个图像块会导致MHSA操作产生的复杂度达到O(n2。为了使ViTs能够被更广泛地应用,视觉领域的研究人员竭尽全力降低计算成本[2]、[3]、[4]、[5]、[6]。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号