GQ-train：带有自适应阈值和硬件友好随机舍入单元的梯度量化感知 CNN 训练

《Neurocomputing》：GQ-train: Gradient Quantization-aware CNN Training with adaptive thresholding and hardware-friendly stochastic rounding unit

　　

摘要
随着对个性化模型需求的增加以及隐私保护重要性的日益凸显，在设备端环境中高效训练卷积神经网络（CNN）已成为一项关键挑战。特别是由于巨大的计算和内存访问需求，反向传播（BP）过程中的低位数量化至关重要。然而，传统量化技术难以应对梯度分布的高变异性，导致梯度量化出现显著的性能下降。为了解决这一问题，我们提出了一种对梯度量化错误具有鲁棒性的新型硬件高效 INT8 训练框架。具体而言，我们引入了一种自适应多尺度梯度量化（AMGQ）方法，该方法利用梯度分布的内在特征——通常集中在零附近但跨度广泛——以促进有效的低位数训练。通过选择性地处理梯度的一部分，我们的方法有效地区分了小幅度梯度区域和大梯度区域，从而在减少计算开销的同时，与基线（即 FP32）相比，在 CIFAR-10 和 ImageNet 数据集上分别实现了 0.27% 和 0.36% 的平均性能提升。此外，为了减轻低位数训练中随机舍入（SR）所带来的巨大计算和内存开销，我们引入了一种基于线性反馈移位寄存器（LFSR）的灵活随机舍入单元（FlexSRU）。FlexSRU 采用基于 LFSR 的方法来高效生成随机数，同时通过分层种子生成器最大化随机性。同时，它通过在批次和通道层级重用随机数，显著降低了硬件复杂度。此外，它仅使用位反转扩展了传统 LFSR 的周期，并动态调整反馈多项式以增强模式多样性，从而提高了数值稳定性。通过克服现有基于 LFSR 的随机数生成器的局限性，我们的方法实现了高效且精确的 SR，且硬件开销最小，使其成为资源受限环境中低位数 CNN 训练的有前景的解决方案。因此，提出的框架能够在一系列网络架构（例如 ResNet、MobileNetV2 和 VGG16）上实现稳定且硬件友好的 INT8 训练，且精度损失极小。

引言
卷积神经网络（CNN）已在一系列计算机视觉任务中显示出显著的效力，包括图像分类 [1], [2], [3]、目标检测 [4], [5], [6] 和分割 [7], [8]，从而在各行各业得到广泛采用。为了进一步增强 CNN 的性能，人们引入了更深的网络架构。然而，这些进展增加了计算复杂度，需要量化 [9], [10], [11] 和剪枝 [12], [13], [14] 等技术来有效压缩这些模型，同时保持其准确性。特别是随着对个性化模型需求的增长以及将个人数据传输到云服务器隐私问题的日益关注，资源受限的移动和边缘设备的设备端训练已获得相当大的关注 [15], [16]。因此，开发节能和低延迟的 CNN 训练方法 [17], [18] 已成为一项关键挑战，这超出了以前轻量级推理过程的范畴。特别是，反向传播（BP）是 CNN 训练的计算密集阶段，需要大量的内存和计算资源，这对移动和边缘设备的部署构成了重大限制 [19]。

为了促进移动和边缘设备上的高效训练，梯度量化是必不可少的 [20], [21], [22], [23], [24], [25], [26]。然而，与权重和激活不同，由于存在极端异常值和损失空间的复杂结构，梯度给量化带来了重大挑战。Koster 等人 [24] 和 Wang 等人 [25] 引入了基于浮点格式的梯度量化技术，实现了与全精度模型相当的性能。然而，由于效率低下，浮点运算对于硬件实现并不理想。为了努力解决这些局限性，Zhu 等人 [21] 提出了一种统一的 INT8 训练框架，证明了其在各种神经网络中的适用性；然而，这种方法导致了实质性的精度下降。为了缓解这些问题，Wang 等人 [20] 提出了一种基于梯度分布分析的量化方法，有效减少了以前方法中观察到的性能下降。然而，这种方法需要重复计算余弦距离，导致计算复杂度增加。Zhao 等人 [22] 也引入了一种基于梯度分布的量化方法，但采用了逐通道量化，这需要过多的量化参数。虽然这两种方法都改进了以前的技术，但它们最终引入了大量的计算开销，这仍然是一个关键限制。

为了解决这些挑战，我们采用核密度估计（KDE）对梯度分布进行更精确的分析，从而全面表征 CNN 梯度。基于此分析，我们提出了一种旨在硬件效率的自适应多尺度梯度量化（AMGQ）方法。AMGQ 在层级上将梯度分为小幅度组和大幅组，并为每个组应用不同的比例因子进行 INT8 梯度量化。这种方法利用了梯度的分布特征，即通常集中在零附近并有许多异常值，以增强训练稳定性并缓解通常由量化引起的性能下降。为了在减少计算开销的同时最小化量化错误，我们使用梯度的代表性子集而不是整个梯度集计算均方误差（MSE）。基于此，我们推导出一个能有效区分小幅度梯度和大幅梯度的最优阈值。此外，我们不是在每次迭代时更新阈值，而是采用周期性阈值更新策略，在保持量化精度的同时进一步降低计算成本。

我们还提出了一种用于梯度量化的硬件高效的随机舍入（SR）技术近似方法 [27]，有效解决了在移动和边缘设备上训练 CNN 模型的一个关键限制。虽然 SR 通过概率操作减轻了网络偏差，但其在专用硬件加速器（如神经处理单元（NPU）[28], [29]）上的部署，由于依赖固定操作，导致大量的硬件资源消耗，从而构成了重大挑战。尽管大多数关于梯度量化的研究都提到低位数训练中使用 SR，但它们往往缺乏全面的分析或详细的实现机制。一些工作 [21], [23], [30], [31], [32] 试图解决这一问题，但仍有相当大的改进空间。为了提供新的解决方案，我们提出了一种基于线性反馈移位寄存器（LFSR）的灵活随机舍入单元（FlexSRU）。FlexSRU 通过硬件优化操作和随机数重用增强了随机数生成效率，从而在保持与常规 SR 方法相当性能的同时，降低了硬件资源需求。我们的主要贡献如下：
•我们采用 KDE 技术对梯度分布进行更精确的分析，从而更清晰地表征 CNN 梯度。
•我们引入了 INT8 精度的 AMGQ，这是一种旨在准确捕捉具有极端分布的梯度特性的新方法。通过为小幅度梯度和大幅梯度区域应用不同的比例因子，AMGQ 通过有效捕捉梯度特性的完整光谱来改善训练稳定性。
•我们提出了选择性自适应最优阈值处理（SAOT），以识别能有效区分小幅度梯度和大幅梯度的最优阈值。SAOT 利用对网络收敛有更大影响的梯度代表性子集，以最小的硬件开销实现低量化错误。此外，为了进一步减少硬件开销并加速训练过程，我们引入了周期性阈值更新策略，定期更新最优阈值。
•我们提出了 FlexSRU，一种基于 LFSR 的高效随机数生成方法。FlexSRU 利用位反转有效克服了传统 LFSR 的局限性，确保生成高度可靠的随机数。此外，通过引入随机数重用策略，FlexSRU 实现了一种新颖的硬件优化解决方案，在保持与现有 SR 方法等效性能的同时，显著减少了低位数训练中的计算和内存开销。该方法实现了 SR 的寄存器传输级（RTL）实现，与以前的工作 [23] 相比，查找表（LUT）使用量减少了约 95.7%，触发器（FF）使用量减少了 96.6%。

本文其余部分组织如下。第 2 节介绍了梯度量化和 SR 的背景及相关工作。第 3 节和第 4 节分别详细描述了我们提出的 INT8 训练量化框架和 FlexSRU。第 5 节展示了实验结果并提出方法分析。最后，第 7 节总结了本文。

章节片段
训练量化
与推理量化相比，训练量化具有更大的潜力，不仅可以通过将激活、权重和梯度量化为低位数（例如 INT8）来加速整体训练过程，还能提高计算效率。然而，正如几项研究 [20], [21], [22], [33] 所指出的，直接量化梯度会由于梯度分布的独特特性及其在训练过程中的变异性而引入量化噪声。

梯度分布分析
直方图通常用于分析 CNN 梯度的分布。如图 1(a) 所示，大多数梯度集中在零附近，但它们表现出广泛的范围。这一特征在多个网络和层级中一致观察到。然而，异常值的存在给基于最大绝对值应用截断点——一种常用于激活和权重量化的方法——带来了挑战。具体而言，这种方法可能

提出的整体 FlexSRU 设计
为了解决梯度量化所必需的 SR 过程引起的显著硬件开销，我们提出了 FlexSRU，这是一种最大化计算效率和随机性的新颖设计。图 6 说明了 FlexSRU 生成 SR 所需随机数的整体过程。分层种子生成器（HSG）利用单个 4 位 LFSR 生成一个全局种子（），随后产生对应于批处理块的多个局部种子（）。这些

实验环境
为了验证所提出方法的有效性，我们使用各种 CNN 进行分类任务实验。所有实验均使用 NVIDIA RTX GPU 以及 CUDA 11.8 和 PyTorch 2.2 框架执行。对于权重和激活，我们应用了 NR 以及一种朴素的 INT8 量化方法，其中截断点设置为最大绝对值，类似于其他 INT8 梯度量化研究 [20], [21], [22]。对于梯度，我们应用了提出的

讨论
在这项工作中，我们关注设备端环境中 CNN 工作负载的实际低位数训练。与服务器端训练不同，设备端训练必须在严格的计算、内存和硬件资源约束下运行。因此，仅降低数值精度并不一定确保实际部署；量化框架还应与以整数为中心的数据路径和轻量级硬件实现兼容。从这个角度来看，GQ-Train 提供了一个

结论
本文提出了对梯度行为的详细分析，以实现低位数设备端 CNN 训练。基于此，我们提出了一种硬件友好的训练量化框架，该框架考虑了极端梯度分布，同时仅使用部分梯度显著减少了计算量并实现了低量化错误。此外，为了解决现有 SR 实现中发生的计算成本高和资源消耗问题，我们

CRediT 作者贡献声明
Sangbeom Jeong：写作 – 初稿，可视化，验证，软件，资源，方法论，调查，形式分析，数据整理，概念化。Seungil Lee：写作 – 初稿，可视化，软件，方法论，调查，数据整理。Hyun Kim：写作 – 审阅与编辑，验证，监督，项目管理，方法论，资金获取，概念化。

竞争利益声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文中报告的工作。

Sangbeom Jeong 于 2025 年获得韩国首尔科学技术大学电气与信息工程硕士学位。他是韩国首尔科学技术大学电气与信息工程专业的博士生。他的研究兴趣包括计算机体系结构、数字系统设计、量化、深度神经网络计算优化领域。

Sangbeom Jeong|Seungil Lee|Hyun Kim