重塑与旋转:自适应权重重塑及细粒度旋转技术,用于超低比特数的扩散变换器量化处理
《Neurocomputing》:Reshape and rotate: Adaptive weight reshaping and fine-grained rotation for ultra-low-bit diffusion transformers quantization
【字体:
大
中
小
】
时间:2026年05月06日
来源:Neurocomputing 6.5
编辑推荐:
杨连伟|林浩坤|吴一晨|单才峰|孙振楠|顾青毅
中国科学院自动化研究所,中国北京市海淀区中关村东路95号
摘要
扩散变换器(DiT)已成为高质量图像和视频生成的流行技术骨干。然而,将DiT扩展到更大的模型规模和更高的分辨率会显著增加内存和计算成本,使得高效部署变得具
杨连伟|林浩坤|吴一晨|单才峰|孙振楠|顾青毅
中国科学院自动化研究所,中国北京市海淀区中关村东路95号
摘要
扩散变换器(DiT)已成为高质量图像和视频生成的流行技术骨干。然而,将DiT扩展到更大的模型规模和更高的分辨率会显著增加内存和计算成本,使得高效部署变得具有挑战性。训练后量化(PTQ)提供了一种实用的压缩方法,可以减少内存占用并加速推理速度。然而,在超低比特设置下,DiT模型常常会出现明显的质量下降,甚至可能崩溃。为了解决这一问题,我们提出了R2Q-DiT,这是一种专为DiT设计的PTQ框架。我们首先观察到DiT权重呈现出高斯分布特征:大多数值聚集在接近零的位置,而一小部分值分布在两侧。这种分布导致均匀量化无法为大部分权重分配足够的分辨率,从而在低比特宽度下产生较大的量化误差。因此,我们引入了自适应重塑量化器(ARQ),通过非线性指数变换来压缩权重范围并平滑分布,使其更适合低比特量化。此外,我们发现全局哈达玛旋转虽然有助于减少激活值中的异常值,但无法完全抑制显著的异常值,甚至可能不必要的干扰非异常值激活。因此,我们提出了细粒度旋转(FGR),通过通道重新排序分散异常值,通过块级旋转减弱它们,并促进更精确的组级量化。在包括PixArt、FLUX和OpenSORA在内的代表性图像和视频生成模型上的大量实验表明,我们的方法R2Q-DiT在超低比特量化场景下始终优于现有的主流PTQ方法。
引言
基于U-Net的扩散模型在生成[50]、编辑[31]和去噪[41]任务中取得了显著成功,并长期以来一直是主导架构。自从DiT的引入以来,由于其卓越的性能和更高效的并行化,它越来越多地被用于高质量图像和视频生成任务,成为U-Net的一个有吸引力的替代方案。在文本到图像和文本到视频领域,DiT已成为关键的基础架构,并对后续模型及其变体产生了深远影响。DiT的优势在于它采用了自注意力机制,这使得它能够比U-Net的局部卷积更好地对视觉内容进行全局建模,从而更好地捕捉细节和结构。然而,这种更高的表现能力是以更高的内存和计算成本为代价的,尤其是在处理较长序列或较大模型时。随着生成质量的提高,参数数量和计算成本的增加给部署带来了挑战,并限制了其更广泛的应用。
作为一种有前景的压缩技术[36],量化[22]、[47]因其高压缩比和效率提升而得到广泛应用。训练后量化(PTQ)[6]、[10]、[15]可以在不进行昂贵重新训练的情况下实现模型压缩,但其在低比特宽度下的性能显著下降。对于DiT,PTQ4DiT[42]和Q-DiT[4]分别考虑了模型在不同时间步的行为,并设计了定制的量化策略。ViDiT-Q[50]分析了模型误差的来源,并引入了一种高效的PTQ方案,在W8A8和W4A8设置下取得了良好的性能。SVDQuant[19]通过SVD分解和高效核融合实现了W4A4量化。LRQ-DiT[46]对权重应用双对数量化,区分轻微和显著的异常值,并执行自适应旋转抑制,使3位量化变得实用。此外,一些工作[11]、[21]探索了用于视频生成任务的模型量化。然而,量化模型的性能仍有很大的改进空间,尤其是在极端低比特量化(例如2位、3位)下。
DiT权重呈现出高斯分布特征,其中绝大多数值集中在中心,而两侧只包含少量分散的值。这种特性与均匀量化存在根本不匹配,因为均匀量化将区间等分,仅在较高比特宽度下表现良好。在极端低比特设置(如3位(7个区间)或2位(3个区间)下,这种限制变得尤为明显,因为有限的区间数量严重限制了表示能力,并导致区间间的显著差异。此外,激活值中的异常值为模型量化带来了重大挑战。LRQ-DiT[46]根据激活值的波动程度将异常值分为轻微和显著两种类型。轻微的异常值虽然仅略大于正常值,但数量众多,而显著的异常值集中在特定通道中,可以达到接近300的极大值。先前的方法[1]、[50]采用全局哈达玛旋转来抑制异常值,而LRQ-DiT提出自适应旋转来处理这两种类型的异常值。然而,我们发现这些方案虽然提高了性能,但无法完全消除异常值,反而会对正常值造成不必要的干扰。这一双重困境严重限制了基于旋转的方法的性能。
为了解决上述严重问题,我们提出了R2Q-DiT,以提高在超低比特量化配置下的模型性能。为了实现对具有高斯分布权重的准确量化,我们提出了自适应重塑量化器(ARQ)。通过引入非线性指数变换,ARQ压缩了权重的动态范围并均匀化了它们的分布,使得转换后的权重能够通过均匀量化更精确地被量化。我们通过简单的网格搜索确定非线性变换的超参数,从而实现不同模型和层次之间的自适应权重重塑,从而实现更精确的量化。我们的理论分析进一步证明ARQ有效降低了量化误差。此外,我们提出了细粒度旋转(FGR)来减轻激活值中异常值造成的不利影响。具体来说,我们首先通过通道重新排序来重新排列包含异常值的激活通道,然后在对局部块内进行块级旋转,有效抑制异常值的同时避免对正常值的不必要干扰。最后,我们结合组级量化来实现精确的激活量化。我们在PixArt、FLUX和OpenSORA模型上评估了我们的方法,涵盖了文本到图像和文本到视频任务,并使用了包括COCO、MJHQ和sDCI在内的多个数据集。我们在2位和3位量化设置下进行了实验,并与主流基线方法进行了全面比较。广泛的实验结果充分证明了R2Q-DiT的优越性。
我们的主要贡献总结如下:
•我们首先研究了高斯分布权重与均匀量化器之间的内在不兼容性。为了解决这个问题,我们引入了自适应重塑量化器(ARQ),它压缩了权重的有效动态范围并平滑了它们的分布,以减少量化误差。
•我们的研究表明,全局哈达玛旋转无法有效抑制异常值,可能会扭曲正常值。为了解决这个问题,我们采用了细粒度旋转(FGR)策略,通过通道重新排序重新分配异常值,通过块级旋转控制量化误差,并通过组级量化提高准确性。
•我们在多个数据集和各种低比特设置下对图像和视频任务进行了全面评估。结果表明,我们的方法在性能上显著优于现有方法。
**章节片段**
**扩散变换器**
DiT因其出色的性能和广泛的实际应用而受到了广泛关注,推动了生成任务的快速进展,并激发了后续研究。
**量化**
均匀量化(UQ)因其硬件效率而在将浮点值转换为整数时被广泛采用;其-bit公式定义在方程(1)中。这里,表示缩放因子,表示零点,表示取整函数,clamp用于范围裁剪。
**旋转**
基于旋转的方法已成为减轻激活值异常值的主流技术。这些方法引入哈达玛矩阵对激活值进行旋转变换。
**模型和提示集**
为了确保实验结果的可靠性和可重复性,我们严格遵循了ViDiT-Q[50]和LRQ-DiT[46]中使用的实验设置。对于文本到图像生成任务,我们使用了四种代表性的模型变体:PixArt-(步骤=20,CFG=4.5)、PixArt-(步骤=20,CFG=4.5)、FLUX.1-schnell(步骤=4,CFG=0.)和FLUX.1-dev(步骤=50,CFG=3.5)。我们在三个数据集COCO[5]、MJHQ[18]和sDCI[38]的1024个提示上评估了性能。
**局限性和未来工作**
总体而言,所提出方法的泛化能力仍有待进一步验证和评估。在未来的工作中,我们将系统地研究R2Q-DiT在更大规模DiT模型和其他生成模型上的性能限制,以进一步验证其通用性和可扩展性。随着DiT模型规模的扩大,参数数量也会增加,这为ARQ中的超参数确定带来了额外的挑战。为了进一步降低大规模模型的校准成本……
**结论**
本文提出了R2Q-DiT,这是一种专为DiT模型设计的超低比特训练后量化方法。为了解决高斯分布权重与均匀量化之间的分布不匹配问题,我们提出了自适应重塑量化器(ARQ)。通过应用非线性变换,ARQ压缩了值范围并平滑了权重分布,提高了对均匀量化的适应性。此外,我们观察到激活值中的特定通道包含大量异常值……
**CRediT作者贡献声明**
杨连伟:撰写——原始草稿,可视化,软件,方法论,概念化。
林浩坤:撰写——原始草稿,调查,形式分析。
吴一晨:撰写——原始草稿,形式分析。
单才峰:撰写——审阅与编辑,项目管理。
孙振楠:撰写——审阅与编辑,项目管理。
顾青毅:撰写——审阅与编辑,资源管理,项目管理,资金获取。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文中的工作。
杨连伟是中国科学院自动化研究所(CASIA)和中国科学院人工智能学院的博士生。他于2021年在吉林大学获得了信息工程学士学位。他的研究兴趣包括计算机视觉、高效深度学习和模型压缩。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号