用于结构化卷积神经网络剪枝的端到端可微通道融合

《Neurocomputing》：End-to-end differentiable channel fusion for structured CNN pruning

　　

• •
  针对通道剪枝中缺乏全局优化的问题，提出了一种基于可微聚类的融合框架。
• •
  在明确的FLOPs约束下，将通道分组与结构化剪枝统一为端到端优化。
• •
  该框架有效地建模了通道间的冗余性，在高压缩率下实现了具有竞争力的精度-效率权衡。
• •
  在Jetson Nano上的部署验证了实际加速效果和边缘平台上的一致性延迟降低。

引言

卷积神经网络在众多视觉任务中取得了显著成功，包括图像识别、目标检测和语义分割[1], [2]。近年来，基于CNN的模型越来越多地被部署在资源受限的边缘和嵌入式平台上。在这些环境中，高维数据必须在有限的计算和内存预算内高效处理，这对计算效率和部署实用性提出了严峻挑战。然而，现代CNN架构不断增加的深度和宽度通常会导致巨大的计算开销（通常以浮点运算量FLOPs衡量），以及显著的模型参数量内存开销。这些因素对在资源受限的移动和嵌入式平台上部署基于CNN的模型构成了关键挑战。因此，在保持预测性能的同时降低CNN的计算复杂度和参数规模已成为一个重要的研究方向[3]。为应对这一挑战，网络剪枝技术已被广泛研究[4]。现有剪枝方法可大致分为权重剪枝和通道剪枝。权重剪枝旨在稀疏化单个网络权重，可实现高水平的稀疏性；然而，其实际加速效果往往依赖于专门的稀疏计算库和硬件支持[5]。相比之下，通道剪枝移除整个卷积滤波器或通道，直接减少网络宽度和结构化计算量。这一特性使通道剪枝在推理期间与标准硬件加速器天然兼容，因此更适合部署在资源受限的平台上[6], [7]。

现有的通道剪枝方法可进一步分为基于重要性的方法和基于学习的方法。基于重性的方法根据预定义启发式准则选择通道，例如卷积滤波器的$$-范数或$$-范数，或批量归一化缩放因子的幅值[8], [9], [10]。基于学习的方法则通过可训练掩码[11]、代理损失函数[12]或强化学习策略[13]来估计通道重要性，使剪枝决策能与网络优化更紧密地耦合。尽管这些方法行之有效，但现有的通道剪枝方法仍存在若干固有局限性，限制了其在资源受限的边缘和嵌入式环境中的适用性。许多方法依赖于启发式准则或逐层剪枝策略，难以明确施加全局计算约束（如整体FLOPs预算或端到端推理延迟）[14]。此外，大量基于学习的方法依赖于复杂的迭代或贪心优化过程，引入了额外的训练开销，阻碍了面向部署场景的高效优化[15]。

为克服这些局限性，我们引入了一种基于可微通道融合的剪枝范式，在单一的端到端优化框架中统一了通道聚类、冗余建模和结构化剪枝。核心洞察在于：具有相似表示的通道往往存在显著冗余，因此可以通过自适应融合进行压缩，而非被独立移除。这种基于融合的策略在保持信息特征表示的同时实现结构化模型缩减，有利于在高压缩率下维持推理稳定性。然而，传统聚类技术依赖于离散分配操作，这阻止了通道分组和剪枝决策通过基于梯度的学习进行联合优化。为应对这一挑战，我们将通道聚类表述为使用Gumbel-Softmax松弛的可微分配问题。该表述使得在标准梯度下降框架内实现连续的端到端优化成为可能，并允许在明确的全球FLOPs约束下对通道融合决策进行联合优化。本文的主要贡献总结如下：

• •
  我们提出了一种用于结构化CNN剪枝的端到端可微通道融合框架。通过将通道聚类建模为连续分配问题，该框架以端到端方式联合优化通道分组和剪枝。
• •
  我们设计了一种基于Gumbel-Softmax松弛的全局计算感知通道融合机制，该机制能够在FLOPs等明确计算约束下实现可微的通道融合决策。该策略避免了贪心或迭代剪枝启发式方法，实现了全局优化的结构化模型简化。
• •
  在CIFAR-10和ImageNet数据集上的大量实验证明了所提方法在不同网络架构上的有效性和通用性。该框架在保持竞争力精度的同时实现了大幅的FLOPs削减，并在NVIDIA Jetson Nano平台上展示了稳定的部署效率。

章节摘要

神经网络剪枝

基于CNN的模型广泛应用于视觉识别和边缘应用中，在这些应用中，高维输入必须在严格的计算和内存约束下进行处理[2], [16]。神经网络剪枝通过移除冗余参数或结构来降低模型复杂度，同时最大限度地减少预测性能方面的退化。根据剪枝粒度，现有方法可大致分为非结构化剪枝和结构化剪枝[3], [17]。

非结构化

框架概述

为应对上述局限性，我们实现了带有全局计算约束明确执行的端到端通道剪枝。为此，我们提出了一个可微聚类框架，如图1所示。

卷积神经网络的参数化层主要由卷积层和全连接层组成。剪枝的目标是在保持整体预测性能的同时，减少这些层中的冗余通道或滤波器。给定一个预训练的

数据集和网络架构

所提方法在CIFAR-10和ImageNet数据集上进行了评估。CIFAR-10由60,000张尺寸为$$的彩色图像组成，涵盖10个类别。ImageNet是一个大规模视觉识别基准，包含约120万张训练图像和50,000张验证图像，涵盖1000个类别。实验在代表性的卷积神经网络架构上进行，包括ResNet、VGG和MobileNetV2。ResNet采用残差快捷连接来促进深层

结论

本文提出了一种基于可微聚类的通道融合框架，用于在明确的全局FLOPs约束下进行结构化CNN剪枝。通过将通道分组和结构化剪枝统一为端到端优化过程，所提方法实现了结构感知的模型压缩，并具有可控的精度-效率权衡。在CIFAR-10和ImageNet上针对ResNet、VGG和MobileNet等代表性架构的大量实验证明了该方法的

CRediT作者贡献声明

刘晓鑫：撰写—审阅与编辑，撰写—初稿，方法论，调查研究，概念构思。潘雄：软件，方法论，调查研究。童俊华：监督指导，调查研究，资金获取。胡嘉文：可视化，验证。戴明鹏：验证，软件。程景春：监督指导，方法论，调查研究，资金获取。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

刘晓鑫，1997年生于中国北京。目前就读于北京航空航天大学仪器科学与光电工程学院，攻读博士学位。主要研究方向包括硬件加速器、高效人工智能计算和模型压缩。

刘晓鑫|潘雄|童俊华|胡嘉文|戴明鹏|程景春