FGSEP：用于高效深度神经网络的细粒度结构化元素剪枝技术

《Neurocomputing》：FGSEP: Finer-grained structured element pruning for efficient deep neural networks

　　张鹏|田聪|王斌|段振华
信息与计算机系，太原理工大学，迎泽西路79号，太原，030024，山西省，中国

摘要
网络剪枝已被广泛认为是使深度神经网络适应资源受限部署场景的有效解决方案。然而，现有的剪枝方法通常在计算规则性和准确性保留之间存在权衡：细粒度剪枝会导致不规则的稀疏模式，而粗粒度剪枝在高剪枝比率下常常会导致不可接受的性能下降。为了解决这一差距，我们提出了FGSEP（细粒度结构化元素剪枝），这是一种基于ADMM的剪枝框架，它通过选择性地调节内核平面内的元素级稀疏性来操作中等粒度。FGSEP不是移除整个结构单元，而是评估内核元素的贡献，并通过受限优化来强制实现稀疏性，从而在减少准确性的同时保持结构规则性。此外，还开发了一种以元素为中心的推理公式来重新组织卷积计算，允许高效地绕过与零值元素相关的冗余操作。在MNIST、CIFAR-10和ImageNet-1K上进行的广泛实验表明，与现有的粗粒度剪枝方法相比，FGSEP在参数和FLOPs方面始终实现了更显著的减少，同时仅引入了最小的索引开销。

引言
深度神经网络（DNN）已成为现代人工智能的基石，在图像分类[1]、语音识别[2]和自然语言处理[3]等各种实际任务中提供了最先进的性能。尽管取得了这些进展，但DNN的实际部署仍然具有挑战性，因为当代模型的参数数量通常很多，计算复杂性（以浮点运算次数FLOPs衡量）也很高。这些问题在资源受限的环境中尤为突出，包括嵌入式移动平台和物联网（IoT）设备[4]。

为了克服这些困难，提出了多种模型压缩方法，这些方法在减少计算和存储需求的同时，对整体准确性的影响很小。这些方法包括模型剪枝[5]、[6]、[7]、权重量化[8]、低秩分解[9]和稀疏正则化[10]。

韩等人[11]提出的经典三阶段流程——训练、剪枝和微调——引发了关于权重剪枝的广泛研究，通过稀疏表示和量化将模型大小减少了高达49%[5]。随后，张等人[12]将剪枝表述为一个受限优化问题，并应用ADMM方法进行分层剪枝。其他先进的权重剪枝工作[13]、[14]也致力于在极高稀疏度下确保模型准确性。可以看出，稀疏性是不规则的，因此在通用硬件平台上加速计算很困难。虽然某些特殊硬件可以加速不规则稀疏性[15]，但需要引入复杂的索引。

为了使剪枝后的模型能够完美地被当前的深度学习库支持，人们将注意力从细粒度剪枝转向了粗粒度剪枝。娄等人[16]提出通过删除整个滤波器来进行结构剪枝，以便模型可以应用于通用硬件加速平台。但剪枝后，模型的整体准确性下降超出了容忍范围。在之前的滤波器剪枝工作中也观察到了类似的问题[17]、[18]，其中剪枝率超过70%时，准确性下降超过2%。

受到上述观察的启发，我们专注于一种精心设计的细粒度剪枝策略。需要注意的是，粗粒度剪枝具有一定的优势，例如无需特殊硬件即可加速，并且对网络类型具有很强的适应性。如果细粒度剪枝能够融合这些优势，其在减少准确性损失方面的潜力是巨大的。众所周知，细粒度剪枝对权重的位置没有限制，可以在任意位置进行剪枝。一些工作（如分组剪枝）强制剪除滤波器中相同位置的权重，这可能会丢失一些局部信息并大幅降低准确性。

在本文中，我们提出使用基于ADMM的约束来进行中等粒度的元素剪枝，旨在剪除DNN层卷积内核中不重要的元素。如果内核平面中的所有元素都无用，我们就移除整个内核平面，即通道剪枝。我们还提出了一种适用于这种剪枝策略的矩阵元素乘积方法。我们的方法在保持高准确性的同时实现了细粒度剪枝的加速。

我们在三个广泛使用的基准数据集上进行了广泛的评估，即MNIST、CIFAR-10和ImageNet-1K，涵盖了包括LeNet、VGG、ResNet以及轻量级MobileNet在内的多种代表性卷积神经网络架构。实验结果一致表明，FGSEP的性能优于现有的粗粒度剪枝方法。特别是在ImageNet-1K上的ResNet-34应用中，FGSEP将FLOPs减少了67.19%，同时Top-1准确率比未剪枝的基线高出0.36%。

我们总结我们的贡献如下：
1. 我们为FGSEP剪枝得到的稀疏模式设计了一种基于GPU的加速策略。与传统的滑动窗口机制不同，这种实现仅将非零权重及其相关激活区域分配给线程，从而避免了涉及零值元素的冗余计算。
2. 我们基于之前提出的内核元素剪枝方法构建了一个新的稀疏约束问题，并使用交替方向乘子方法将约束问题分解为两个子问题，然后迭代求解它们。
3. 在三个标准基准数据集上进行的广泛实验从实证上验证了所提方法的有效性和计算效率。在CIFAR-10数据集上的ResNet-20上，我们在最高剪枝率下获得了最高的准确性，并实现了卷积网络的推理速度。

相关工作
已经有很多关于剪枝的研究。这些工作主要分为两类：细粒度剪枝和粗粒度剪枝。这些剪枝方法的过程如图1所示。

细粒度剪枝：细粒度剪枝旨在消除贡献有限的权重，无论它们在网络中的位置如何。韩等人[5]、[11]的工作开创了权重剪枝的研究，而后续的方法如GMP[17]和SET[19]进一步证明了这一点。

方法
本节讨论了我们方法的详细信息。

模型和数据集：我们的实验评估涵盖了四个代表性的CNN模型，即LeNet、VGG、ResNet和MobileNetV2，并涵盖了三个基准数据集：MNIST、CIFAR-10和ImageNet-1K。

基线训练：除了LeNet外，其余模型使用SGD进行优化，权重衰减为，动量系数为。对于CIFAR-10，模型从随机初始化开始训练，使用大小为128的小批量数据进行200个训练周期。采用基于余弦的学习率调度。

基于FGSEP的GPU平台推理
GPU由一组流式多处理器（SM）组成，GPU内核由线程组成，这些线程被分成每组32个的线程块。组成内核的线程块集合称为网格。在CUDA编程模型中，每个块都有一个共享内存，访问共享内存比访问全局内存（所有块都可以访问）更高效。共享内存可用于不同数据之间的重用。

结论
本文提出了一种用于CNN压缩中重要元素适应的中等粒度剪枝方法。通过使用ADMM限制内核平面中的元素数量并执行迭代求解，我们显著减少了权重的内存占用，并实现了与现有方法相当的性能。此外，我们提出了一种新颖的矩阵元素级乘积方法来跳过无效计算，使权重剪枝具有类似于粗粒度剪枝的结构。

作者贡献声明
张鹏：撰写——原始草案、方法论、概念化。
田聪：撰写——审阅与编辑、调查。
王斌：撰写——审阅与编辑。
段振华：撰写——审阅与编辑。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本研究得到了中国国家重点研发计划（项目编号2018AAA0103202）和中国国家自然科学基金（项目编号62192734、62192730）的支持。

张鹏于2018年获得上海海事大学计算机科学学士学位，2025年通过直接博士项目获得西安电子科技大学计算机科学与技术博士学位。目前，他在太原理工大学担任教师。他的研究兴趣包括深度神经网络的压缩、模型剪枝和深度学习模型的边缘部署。