通过变换正则化稀疏化激活图

《Neurocomputing》：Sparsifying activation maps with transformed regularization

　　

摘要尽管深度神经网络仍在快速发展，但其巨大的计算和内存需求仍然对低功耗设备上的部署构成挑战。为解决这些挑战，研究者投入了大量精力于神经网络剪枝、激活图稀疏化以及专用硬件加速器等方面。其中，基于正则化的激活图稀疏化是一个前景广阔但尚未充分探索的方向。现有方法往往稀疏性增益有限，且在不同模型上稀疏性-精度权衡不一致。正则化器行为与激活分布之间的关联也尚未得到充分研究。本文首先对代表性正则化器进行了基于梯度的实证分析，并总结出两条经验准则：对微小激活的强抑制以及剩余非零分布的连续性。基于这些观察，我们提出了一种基于变换后L0（λ0）正则化的方法来增加激活图的稀疏性。我们进一步将该方法与非结构化权重剪枝结合，构建了一个三阶段的稀疏训练（Dual Sparse Training）流程。所得模型同时具有静态权重稀疏性和动态激活稀疏性，从而降低了推理成本。在MNIST、CIFAR-100和ImageNet-1 K上进行了大量实验。结果表明，所提出的基于λ0的激活稀疏化方法在不同模型上均有效。具体而言，该方法在DenseNet-121（CIFAR-100）上将激活稀疏性提高了20.09个百分点，在ResNet-18（ImageNet-1 K）上提高了27.52个百分点，在LeNet-5（MNIST）上提高了44.24个百分点，同时保持了精度。此外，所提出的流程在ResNet-18上将浮点运算减少了81.70%，在ResNet-50上减少了84.13%。基于Flexagon加速器模型的模拟案例研究表明，在相同权重稀疏水平下，双稀疏模型相比单独权重剪枝可实现的推理加速。引言深度神经网络（DNNs）展现了卓越的性能并在各个领域取得了显著成功。然而，其成功往往依赖于庞大的模型参数和昂贵的计算资源。例如，广泛使用的ResNet-50模型包含约2560万个参数，处理一张空间维度为的输入图像需要约浮点运算。这些频繁的参数访问和密集计算不仅导致能耗增加，还导致更长的推理延迟，限制了这些模型在资源受限的低功耗设备上的应用。因此，在保持性能的同时降低计算成本和能耗尤为重要。利用DNN中的稀疏性是提高推理效率的一种有前景的方法。现有研究大多聚焦于神经网络剪枝，通过移除冗余权重和压缩模型来减轻计算负担。然而，推理过程中产生的中间激活的冗余性在文献中受到的关注有限。在高分辨率输入下，这些激活会导致显著的计算和内存成本。值得注意的是，DNNs通常采用ReLU作为激活函数，它将负值置零，并自然地产生稀疏的激活图。这种稀疏性在不同输入样本间往往保持稳定。许多加速器设计利用这种稳定的稀疏性，通过跳过零值计算或压缩稀疏特征图来减少计算开销。然而，这种固有的稀疏性往往不足以完全实现此类硬件的理论加速潜力。因此，在不降低模型性能的前提下增强激活稀疏性对于优化DNN推理至关重要。基于正则化的技术常用于稀疏化激活图。然而，基于正则化和Square Hoyer正则化的代表性方法在不同架构上表现出不一致的稀疏性-精度权衡。造成这些差异的原因仍未得到充分理解。与权重不同，激活是依赖于输入的中间变量，仅通过参数更新间接受影响。因此，我们对这些正则化器进行了基于梯度的实证分析，并总结出两条经验准则：对微小激活的强抑制以及剩余非零分布的连续性。基于这些观察，我们提出了一种基于变换后正则化来稀疏化激活图的方法。其量值相关的梯度对微小激活施加的收缩强于对大激活的收缩。实验表明，基于的方法展现出更稳定的训练动态，并在多个模型和数据集上实现了超过20个百分点的激活稀疏性增益，同时保持了精度。除了单独提高激活稀疏性外，在推理期间联合利用多种稀疏性类型还可以实现进一步的效率提升。一些硬件加速器设计同时利用了激活图和权重稀疏性。然而，其性能仍受限于激活的固有稀疏性。同时，大多数现有算法研究仅关注权重或激活稀疏性其中之一。我们进一步观察到，激活图稀疏化主要在浅层增强稀疏性，而剪枝更适合深层。受此互补性启发，我们提出双稀疏训练，将神经网络剪枝和激活图稀疏化整合在一个三阶段流程中：模型预训练、权重稀疏化和激活稀疏化。它在保持训练开销较低的同时显著降低了推理成本。在上的实验结果表明，使用我们的流程训练的ResNet模型在60%剪枝率下实现了与标准80%剪枝相当的计算量减少，同时保持了更高的精度。此外，基于Flexagon加速器模型的模拟评估表明，我们的策略在相同权重稀疏水平下可实现至多倍的推理加速，凸显了其硬件级加速潜力。我们的贡献可归纳为以下三个方面：1. 我们总结了两条有效的基于正则化的激活图稀疏化的经验准则，并基于这些观察提出了基于的方法。2. 我们提出了一个三阶段的双稀疏训练流程来构建同时具有两种稀疏性的模型。3. 我们在、CIFAR-100和上针对LeNet-5、GoogLeNet、DenseNet-121和ResNet系列等多种模型进行了大量实验。结果验证了所提方法的有效性，在相同权重稀疏下相比单独权重剪枝可实现至多倍的硬件级推理加速。片段稀疏化激活图关于如何提高激活图稀疏性的研究相对有限。一些工作探索了运行时掩码或阈值技术来增加激活稀疏性。基于神经元重要性设置动态激活掩码，但仅实现了有限的稀疏性并引入了额外的运行时开销。Oh等人将选定层中最小的激活值置零；Li等人也探索了类似想法。进一步注入激活稀疏性。形式化增强激活稀疏性是本工作的核心目标。这一任务不仅对于提高DNNs的推理效率具有内在价值，还在我们提出的双稀疏训练流程中发挥着关键作用。为此，我们将激活图稀疏化问题形式化为以下优化模型：其中表示由参数化的深度神经网络，包含个激活层。表示mini-batch大小，表示第个输入-标签对。表示方法本节详细介绍所提出的方法。4.1节描述了基于变换后的激活图稀疏化方法，4.2节介绍了将其与权重剪枝结合的双稀疏训练流程。实验本节首先介绍实现设置。然后我们在图像分类任务上对所提出方法进行了全面评估，这是计算机视觉中的一个基础问题，也是评估稀疏化研究有效性的标准基准。结论在本工作中，我们首先对基于正则化的激活图稀疏化进行了系统分析，并提出了一种基于正则化的有效激活图稀疏化方法。在多个数据集和模型上的实证结果表明，基于的方法相比现有方法实现了更高的激活稀疏性，同时保持了更好的模型精度。在此基础上，我们提出了一个三阶段的双稀疏训练流程，将激活图稀疏化与权重剪枝相整合。未来工作该研究存在多个自然且有前景的扩展方向。首先，值得探索所提方法在更广泛网络架构上的适用性。虽然卷积神经网络（CNNs）由于性能与效率之间的良好平衡，在实际任务中仍被广泛采用，但基于Transformer的架构近来因其强大的表示能力而日益突出。作者贡献声明：Yu Xiaolong：撰写—初稿、方法论、概念化。Tian Cong：撰写—审阅与编辑、监督。利益冲突声明：作者声明不存在可能影响本文工作的已知竞争性财务利益或个人关系。致谢本研究得到中国国家重点研发计划（项目编号2018AAA0103202）和中国国家自然科学基金（62192734、62192730、61972301）的支持。Yu Xiaolong于2018年获得中国重庆大学信息与计算科学学士学位。目前就读于西安电子科技大学计算理论与技术研究所（ICTT）攻读博士学位。其研究方向包括深度神经网络压缩、模型剪枝以及深度学习模型的边缘部署。Yu Xiaolong | Tian Cong西安电子科技大学计算机科学与技术学院，中国西安市太白南路2号，邮编710071