DABP：通过感知灵敏度的门控机制实现的双增强预算通道剪除技术

《Neurocomputing》：DABP: Dual-augmented budgeted channel pruning via sensitivity-aware gating

　　

摘要

深度卷积神经网络（CNN）在广泛的计算机视觉任务中表现优异，但对资源受限的设备而言仍具有较高的计算要求。结构化通道剪枝通过去除冗余通道和滤波器来降低模型复杂性；然而，现有方法通常依赖于启发式策略或计算成本较高的方法，缺乏对压缩过程的精确控制，并且在训练过程中难以保持性能。

在这项工作中，我们提出了双增强预算剪枝（DABP）这一可微分的通道剪枝框架，将网络压缩问题构建为一个受预算约束的优化问题。该方法引入了连续的通道级门控变量，并整合了增广拉格朗日机制，以在训练过程中明确强制执行全局资源预算。此外，还采用了一种基于梯度的统计信息敏感性的正则化项，以保留信息丰富的特征表示。与基于稀疏性或固定惩罚的方法不同，这些方法通过调整正则化强度和阈值间接实现目标压缩水平，而DABP则通过在线双变量更新直接将优化过程引导至预定义的全局资源预算。同时，这种敏感性感知的正则化通过阻止高信息量通道的移除，实现了在苛刻压缩条件下的精确预算控制与性能保持。

在CIFAR-10和ImageNet上的广泛实验表明，DABP在准确性与效率之间取得了更好的平衡，优于几种最先进的结构化剪枝方法。特别是在CIFAR-10上使用ResNet-56时，DABP实现了93.76%的Top-1准确率，并将FLOPs减少了54.56%。在ImageNet（ILSVRC-2012）上，其Top-1准确率达到了75.56%，FLOPs减少了56.66%，证明了其在中等和高等压缩率下的有效性。

引言

深度卷积神经网络（CNN）在各种视觉识别任务中取得了显著的成功[1]、[2]、[3]。现代架构如ResNet[4]和VGG[5]在大型数据集上表现出色。然而，这些模型通常包含数百万个参数，需要大量的计算资源，这限制了它们在资源受限平台（如移动设备、嵌入式系统和边缘计算环境）上的应用。

为了解决这一挑战，研究人员积极探索了模型压缩技术[6]、[7]，包括参数量化[8]、知识蒸馏[9]、低秩分解[10]、[11]和模型剪枝[12]、[13]（见图1）。在这些方法中，结构化通道剪枝作为一种实用解决方案脱颖而出，因为它可以从卷积层中移除整个滤波器或通道[14]，从而生成能够在标准硬件上高效运行的紧凑模型，而无需专门的稀疏操作。

尽管现有剪枝方法有效，但它们仍存在一些根本性缺陷。基于排序的方法首先估计通道重要性，然后根据预定义的比例进行剪枝，这一过程通常需要多次剪枝和微调才能达到所需的压缩水平。基于稀疏性的方法试图在训练过程中学习通道重要性，但它们通过正则化强度或阈值策略间接确定最终压缩比例，难以精确控制资源预算。基于搜索的方法可以识别有效的剪枝配置，但由于需要评估大量候选架构，因此计算成本较高。

至关重要的是，大多数现有的结构化剪枝方法将通道重要性估计和资源预算控制视为分离的目标。虽然之前的研究推动了可微分门控[15]、[16]、稀疏性正则化[15]、[17]和约束优化[18]、[19]、[20]的发展，但这些技术通常分别优先考虑重要性估计或预算执行。因此，剪枝决策往往独立于资源约束进行优化[19]、[21]，或者通过缺乏精确预算控制的稀疏性惩罚来隐式管理[12]、[22]。这种分离导致了在实现最佳通道选择与严格遵守硬件预算之间的根本矛盾。

为了解决这一矛盾，我们提出了双增强预算剪枝（DABP），它将结构化剪枝重新构建为一个统一的约束优化问题。DABP的核心创新不在于单独应用可微分门控、增广拉格朗日优化或敏感性感知正则化，而在于将它们协同整合到一个端到端的目标中。通过在训练过程中共同优化连续的通道重要性学习、明确资源预算执行和敏感性感知正则化，DABP确保了预算遵守和表示最优性的协调一致。

基于这一框架，DABP通过三个耦合机制将敏感性感知的通道门控与明确的预算约束优化结合起来。首先，连续的门控变量在训练过程中调节通道激活，实现通道重要性的自适应估计。其次，增广拉格朗日机制强制执行全局资源预算，逐步引导网络朝向预定的资源（通道）预算。第三，基于梯度的统计信息敏感性感知正则化项阻止了在压缩过程中移除信息量大的通道。

总体而言，我们的框架提供了一种原理性和可控的剪枝策略，弥合了基于启发式剪枝方法和基于约束优化方法之间的差距。具体而言，增广拉格朗日机制通过在线双变量更新稳定地引导优化过程，有效消除了间接稀疏性惩罚方法通常所需的试错调优。同时，敏感性感知正则化作为模型保真度的保障，通过惩罚高影响力通道的移除，确保即使在极端压缩条件下也能保持预测性能。这些组件共同将结构化剪枝从启发式搜索转变为稳定且可预测的优化过程。

我们通过对标准图像分类基准测试的广泛实验验证了我们的方法，使用代表性的卷积架构。我们的结果表明，DABP在显著降低计算复杂性的同时，实现了与现有剪枝方法相当或更优的性能。

本文的主要贡献总结如下：

•

我们将结构化通道剪枝构建为一个统一的预算约束优化问题，在单一的端到端可微框架内同时优化通道重要性学习和明确的资源预算执行。

•

我们引入了一个带有在线双变量更新的增广拉格朗日预算控制器，在训练过程中明确执行预定义的全局资源预算，提供明确且自适应的预算控制，而不仅仅依赖于隐式的稀疏性正则化。

•

我们将敏感性感知正则化项整合到约束优化目标中，从而使通道重要性估计和预算执行同步优化。所需的敏感性统计信息可以直接从标准反向传播过程中获得的梯度中获得，从而避免了额外的反向计算。

•

我们在VGG-16、ResNet-56/110（CIFAR-10）和ResNet-50、MobileNet-V2（ImageNet）上展示了持续的准确性与效率平衡，特别是在苛刻的压缩条件下。

本文的其余部分安排如下：第2节回顾了模型剪枝的相关工作。第3节介绍了所提出的DABP框架及其优化公式。第4节描述了实验设置并评估了该方法在标准基准测试上的表现。最后，第5节总结了本文并提出了未来的研究方向。

章节摘录

相关工作

模型压缩已成为在资源受限环境中部署深度神经网络（DNN）的核心研究方向[23]。在现有技术中，剪枝是最广泛采用的方法之一，可以大致分为非结构化和结构化方法[24]。尽管非结构化剪枝可以显著减少非零权重的数量，但由此产生的不规则稀疏性往往限制了在标准硬件上的实际加速效果[25]

双增强预算剪枝

在本节中，我们介绍了双增强预算剪枝（DABP），这是一种可微分的结构化剪枝框架，它在训练过程中同时学习通道重要性和执行全局资源预算。与传统将剪枝决策与优化分离或依赖启发式标准的方法不同，DABP将剪枝直接整合到一个统一的约束优化框架中。

图2概述了所提出的方法。

我们的关键思想是将结构化剪枝

实验

我们在标准图像分类基准测试上评估了DABP的性能，以评估其在减少计算成本的同时保持准确性的能力。我们的实验旨在回答四个问题：(i) DABP能否与最先进的剪枝方法相比实现有竞争力的准确性与效率平衡？(ii) 它是否适用于不同的架构，包括简单的和残差网络？(iii) 它能否扩展到大规模数据集（如ImageNet）？(iv) 剪枝后的性能改进程度如何

结论

在本文中，我们介绍了DABP，这是一种将结构化剪枝构建为全局预算约束优化问题的可微分通道剪枝框架。通过将连续通道门控直接整合到训练过程中，DABP同时优化了网络参数和剪枝决策，实现跨层的自适应通道选择。

为了提供明确的资源控制，DABP采用了增广拉格朗日优化策略，动态执行预定义的全局预算

CRediT作者贡献声明

Soumia LAROUI：撰写——原始草稿、软件开发、方法论、形式分析、概念化。Hamida SEBA：撰写——审阅与编辑、监督、方法论、形式分析。Karima AMROUCHE：监督、概念化。Yassine AIT ALI YAHIA：监督、概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

Soumia LAROUI是阿尔及利亚阿尔及尔高等国家计算机科学学院（ESI）的博士候选人。她的研究兴趣包括深度学习、神经网络压缩、可解释人工智能（XAI）以及适用于边缘计算的硬件高效深度学习。

Soumia LAROUI|Hamida SEBA|Karima AMROUCHE|Yassine AIT ALI YAHIA

信息系统的通信实验室（LCSI），阿尔及尔高等国家计算机学院（ESI），BP，68M Oued-Smar，16270阿尔及尔