基于平滑组稀疏正则化的卷积神经网络结构化剪枝

《Pattern Recognition Letters》：Structured pruning of convolutional neural networks with smooth group sparse regularization

　　

- 我们提出了用于结构化卷积神经网络（CNN）剪枝的 SGL2,q 正则化方法，其中 0 < q < 1
- 分段平滑消除了 L2,q 的奇异性，从而实现稀疏性和稳定优化
- SGL2,q 无需额外微调即可对滤波器与神经元实现联合稀疏化
- 实验在关键指标上取得了超过现有剪枝方法的 SOTA 性能

引言

深度卷积神经网络（CNN）在图像分类[1]、目标检测[2]、语义分割[3]等多种计算机视觉任务中均取得了最先进的性能。然而，现代 CNN 架构不断上升的结构复杂度严重阻碍了其在边缘设备和资源受限平台上的部署。近期的研究[4]、[5]表明，计算开销和内存占用随着网络深度的增加而扩大，这给实际落地造成了关键瓶颈。

为缓解这一挑战，近期工作引入了多种压缩技术，例如网络剪枝[6]、[7]、低秩分解[8]、[9]和知识蒸馏[10]。剪枝作为一种有效且流行的方案，通过去除冗余连接来压缩模型，通常分为非结构化和结构化方法。非结构化剪枝[11]、[12]逐元素地移除冗余权重，但其不规则的稀疏性妨碍了硬件和软件的加速。结构化剪枝[13]、[14]、[15]则消除规则结构（滤波器、通道、层），产生紧凑且便于加速的网络。

分组正则化是 CNN 剪枝中实现结构化稀疏的关键技术[16]、[17]，它通过在损失函数上施加分组约束，联合在所有层上诱导稀疏性。分组 Lasso（GL）将经典的 Lasso 方法扩展到这种分组惩罚。其公式融合了 L2 和 L1/2 范数的性质：L2 对组内权重施加全局收缩，而 L1/2 分量则诱导组级别的稀疏性。然而，L2 约束将 GL 限制在粗粒度的分组稀疏上，无法消除组内冗余，限制了压缩粒度。为缓解这一局限，分组 L1/2（GL1/2）用 L1 范数替换 GL 中的 L2 项，显著增强了组内稀疏的诱导[18]。然而，其过强的非凸性会导致严重的梯度振荡和较差的稳定性，阻碍了实际应用部署。

为在强稀疏性诱导和稳定优化之间取得更好的平衡，本文引入了广义分组 L2,q（记为 GL2,q，0 < q < 1）正则化，并进一步提出了一种平滑分组 L2,q（SGL2,q）结构化剪枝方法。所提出的 GL2,q 将指数 q 限制在区间 (0,1) 内。与 GL 相比，其非凸的分数正则化能同时诱导组级别和组内稀疏性，从而实现更细粒度的结构化剪枝。与 GL1/2 相比，灵活的 q ∈ (0, 1) 形式保留了非凸正则化固有的强稀疏诱导能力。该设计实现了可连续调节的正则化强度，以在稀疏性和优化稳定性之间取得平衡，同时理论结果证实 GL2,q（0 < q < 1）正则化能诱导更强的组稀疏性[19]。因此，整体训练目标将标准任务损失与所提出的 SGL2,q 正则化相结合，以联合优化模型性能与结构化稀疏性。贡献可以概括如下：

- 我们提出了一种新颖的平滑分组 L2,q（0 < q < 1）正则化方法用于结构化 CNN 剪枝，该方法有效消除了梯度奇异性，并在强稀疏性诱导和稳定优化之间取得了优越的平衡。
- 所提出的 SGL2,q 能同时学习卷积滤波器和全连接神经元上的结构化稀疏性，从而无需额外微调即可生成便于硬件加速的紧凑网络。
- 在 MNIST 和 CIFAR 上的大量实验表明，我们的方法在剪枝率、参数减少和精度保持方面都超过了其他分组正则化和剪枝方法。

章节片段

非结构化剪枝

非结构化剪枝采用基于幅度的策略，将小的个体权重置零以产生稀疏的权重矩阵并降低计算开销。最优脑损伤（OBD）[12]利用权重的海森矩阵来衡量其重要性。与基于幅度的剪枝相比，二阶剪枝准则可提供更优的压缩性能[20]。另一类方法在全连接层上施加稀疏正则化，以训练出参数更少的紧凑网络。

预备知识

假设有一个由 L 个卷积层组成的 CNN 模型，???? ∈ ?^(????×????×????×????) 表示第 l 个卷积层的滤波器权重张量，其中 Cl 是输出通道数，Dl 是输入通道数，Il 和 Jl 分别是每个卷积核的高度和宽度。对于每个输出通道 ?? = 1, 2, ?, ????，我们定义 ?????? = vec(??????,:,:,) ∈ ?^(????????????)，其中 vec(·) 表示标准向量化算子，??????,:,:, 表示 4D 权重张量沿……（原文截断）

架构和数据集

我们在三个广泛采用的基准数据集上进行实验：MNIST、CIFAR-10 和 CIFAR-100。MNIST 由 60K 训练样本和 10K 测试样本的 28 × 28 灰度图像组成，评估在 LeNet-5 上进行。CIFAR-10 和 CIFAR-100 均包含 60K 张 32 × 32 彩色图像。我们采用 VGG-16、ResNet-20/56 和 MobileNetV2 用于 CIFAR-10 评估，采用 ResNet-50 用于 CIFAR-100 评估。

实验设置

在训练过程中，初始学习率设为 1e-3，并在总轮次的 60% 和 80% 处降低为原来的 1/10。LeNet-5……（原文截断）

结论

在本工作中，我们提出了一种高效的稀疏正则化方法，以强制冗余的权重组合同时趋近于零。所提出的 SGL2,q（0 < q < 1）正则化可以视为 L2 和 Lq 正则化器的组合。为克服正则化项不可微的难度，我们引入了分组正则化的一种新的平滑形式。数值实验表明，带有平滑惩罚的 CNN 在泛化稀疏性方面表现更优。

CRediT 作者贡献声明

Shuai Zhao：写作—审阅与编辑、写作—原稿、可视化、软件、方法论、调查、形式化分析、数据整理、概念化。Shuisheng Zhou：写作—审阅与编辑、验证、监督、资源、项目管理、方法论。Binjie Hou：可视化、验证、软件、调查、数据整理。Lin Liu：可视化、验证、方法论、调查、数据整理。

利益冲突声明

作者声明不存在利益冲突。

致谢

本工作得到中国国家自然科学基金（批准号：12571568）、陕西数学与物理基础科学研究计划（批准号：23JSY039）以及中国山西省自然科学基金（2024JCYBMS-051）的支持。

Shuai Zhao | Shuisheng Zhou | Binjie Hou | Lin Liu