深度强化学习指导的动态聚类通道剪枝

《Knowledge-Based Systems》：Dynamic clustering for channel pruning guided by deep reinforcement learning

　　

## 摘要

基于深度强化学习（DRL）的卷积神经网络剪枝方法从理论和实践角度为自动化模型压缩提供了有效的框架。然而，现有的基于DRL的剪枝方法通常忽略了网络状态表示中通道的功能特性和相似性。此外，它们的动作空间通常被设计为生成逐层剪枝比率，这限制了其直接识别冗余通道的能力。为了克服这些局限性，同时在通用硬件上实现高效部署和加速，我们提出了面向通道剪枝的动态聚类方法（DCCP）。具体而言，我们采用多频通道响应统计来表征网络状态，从而为智能体提供精细决策所需的关键先验信息。此外，我们设计了一个动态聚类智能体，利用超图卷积的表示能力来整合复杂的通道级信息并建模通道间的高阶功能相似性。该设计使智能体能够有效识别冗余通道以进行剪枝。在两个遥感场景分类数据集（NWPU-RESISC45和NaSC-TG2）上对所提方法进行了评估。在NaSC-TG2上的实验结果表明，DCCP将ResNet-50的浮点运算量减少了68.52%，在GPU上实现了1.41倍的加速比，在移动嵌入式平台上实现了1.24倍的加速比，同时保持了具有竞争力的分类准确率。

## 引言

卷积神经网络（CNN）的出现和快速发展极大地推动了人工智能领域的发展[1]。随着对更高模型性能需求的增加和持续的技术创新，CNN架构变得越来越复杂，导致参数量和浮点运算量（FLOPs）急剧增加[2]。这种增长大幅提高了存储需求和推理延迟，从而对CNN在资源受限环境中的实际部署和工程应用构成了严重制约。这种制约对于星载平台尤为关键，因为星载平台的功耗受到严格限制，内存带宽和容量往往不足[3]。模型轻量化已成为弥合高性能模型与有限硬件资源之间差距的关键策略。代表性方法包括低秩分解[4]、知识蒸馏[5]、量化[6]和网络剪枝[[7], [8], [9]]。在这些方法中，网络剪枝因其能够有效地直接移除神经网络中的冗余权重或结构而受到了广泛关注。

根据剪枝操作的粒度，剪枝方法可以大致分为非结构化[7,10]、结构化[8,11,12]和半结构化[9]方法。非结构化剪枝旨在在保持准确率的同时实现高压缩比；然而，它通常会牺牲硬件通用性。此外，索引和不规则内存访问引入的开销可能会抵消甚至超过参数减少带来的收益。相比之下，结构化剪枝更适合实际的硬件加速，因为它移除了规则的网络组件，并与通用硬件具有更好的兼容性，尽管可能需要对剪枝比进行权衡。因此，本研究聚焦于高剪枝比率的结构化剪枝，以满足在航空航天应用中将深度模型部署到边缘设备上的严格要求。

网络剪枝的研究主要围绕两个基本问题展开：确定合适的剪枝比率和建立泛化的剪枝准则。在早期研究中，针对不同层或模块的剪枝比率是根据专家知识手动分配的。然而，这种直觉范式缺乏对特定模型和任务固有特征的可适应性。当模型架构或目标任务发生变化时，往往需要进行繁琐的重新调整，且难以避免次优的压缩结果[13]。为了克服这些局限性，自动化剪枝方法应运而生。这些方法旨在利用任务特定的数据和架构特征来引导模型通过自适应学习自主优化层次稀疏分布，从而提高压缩效率并增强泛化能力。

在各种自动化探索搜索策略中，深度强化学习（DRL）为网络剪枝提供了一个特别有前景的框架。该范式将剪枝比率的确定表述为一个序贯决策问题，在此过程中，智能体与网络环境交互，并通过试错逐步探索最优剪枝策略。通过自主为每一层选择合适的剪枝动作，智能体能够高效地搜索巨大的策略空间，以找到平衡模型准确率和剪枝比率的解决方案。在先前的启发式研究中，网络状态通常由由层索引和剪枝比等信息组成的特征向量[13,14]来表示，或者由网络拓扑的变化来表示[15]。然而，这些表示方法通常将层内的所有通道视为同质单元，从而忽略了单个特征通道所编码的语义内容和功能异质性。为了克服这一局限性，我们提出了一种通道级的状态表示方法。具体来说，通过分析通道在不同样本上的低频和中频分布来表征通道，这些分布分别反映了特征图中的类别激活强度和纹理细节。这种表示方法提供了更全面、更量化的通道功能抽象，并从数据驱动的角度使智能体能够学习更深入、更精细的剪枝策略。

为了进一步赋予智能体直接识别冗余滤波器的能力，我们提出了动态聚类智能体。传统图结构仅限于建模成对关系，而超图可以通过超边自然地捕捉高阶关系。通过整合多个顶点之间的相似性，超图可以有效表示多个实体之间的复杂交互和依赖关系，从而增强模型描述丰富关系结构的能力[16]。受此特性的启发，动态聚类智能体利用超图结构来在实时网络状态下识别滤波器冗余，从而实现更精细的剪枝决策。具体而言，所提智能体将通道级状态表示定义为超图顶点。通过顶点-超边-顶点特征聚合，超图卷积学习编码复杂邻域信息的顶点嵌入。在每个计算阶段之后，通过对更新后的顶点嵌入进行重新聚类来动态重构超图结构，从而逐步捕捉通道之间更高层次和更抽象的功能相似性。然后，智能体解码交互后的顶点特征以预测连续的逐层剪枝比率。随后，使用Jaccard系数对超图中的顶点相似性进行排序，并在预测的逐层剪枝比率约束下剪除冗余通道。在整个网络处理完成后，智能体计算奖励，并通过DRL训练更新其参数，使剪枝策略逐渐收敛到更优的准确率和效率。

为了展示所提方法的通用性，我们在两个遥感场景分类基准数据集NWPU-RESISC45 [17]和NaSC-TG2 [18]上进行了实验，使用了包括ResNet-50 [19]、MobileNet-V2 [20]和VGG-16 [21]在内的代表性深度神经网络架构。实验结果表明，面向通道剪枝的动态聚类方法（DCCP）优于现有的代表性结构化剪枝方法。此外，我们评估了推理速度和内存消耗，证明DCCP在不同的硬件平台上均实现了显著的性能提升。

本研究的主要贡献总结如下：

1) 我们提出了一种DRL引导的通道剪枝方法。利用通道响应在不同频率分量上的统计分布来表示网络状态。这种信息丰富的通道级表示为智能体识别通道间功能冗余提供了直接指导。

2) 我们设计了一种基于超图的通道信息聚类智能体。通过利用超图卷积捕捉数据间复杂相关性的能力，所提智能体对通道相似性进行高阶建模，从而实现内容感知的剪枝决策。

3) 我们将所提剪枝方法应用于遥感场景分类任务的经典CNN架构。所提方法在保持具有竞争力的网络准确率的同时实现了高压缩比。此外，剪枝后的模型被部署在移动嵌入式设备上，结果验证了模型轻量化在实际应用中带来的实际加速效益。

## 各章节摘要

### 相关工作

本节回顾了与所提方法相关的研究，特别关注网络剪枝和神经架构搜索（NAS）的最新进展。

### 方法

在本工作中，我们提出了一种基于NAS的新型CNN剪枝算法，利用深度DRL自动确定每层的剪枝比率，同时识别冗余通道。整体框架如图1所示。具体而言，DRL智能体获取网络的实时状态，并在连续动作空间中搜索不同层的剪枝率。奖励函数定义为剪枝网络的准确率，引导智能体进行迭代式

### 实验结果

在准备网络状态时，我们采用了[30]中的配置，使用2D DCP提取多频率分量的频率索引（α,β）。低频分量的频率索引设为(0,0)，相当于全局平均池化。由于经典网络中最小的特征图相对于输入图像尺寸的下采样因子为32，我们将频率空间划分为(H/32)×(W/32)，中频分量的频率索引为

### 结论

本文提出了一种基于DRL的CNN结构化剪枝方法，旨在实现高效的模型轻量化并提高推理速度。我们的方法通过统计聚合多个样本上的低频和中频通道响应来构建网络状态。所提动态聚类智能体利用这些状态来捕捉高阶通道表示并预测对应逐层剪枝速率的动作。此外，该智能体还具备

## CRediT作者贡献声明

Boxiao Wang：撰写——初稿，可视化，验证，软件，方法论，调查，形式化分析，数据整理，概念化。
Jin Qian：调查，概念化。
Dongdong Xu：可视化，资金获取。
Guangli Ben：调查，概念化。
Chi Chen：方法论，数据整理，概念化。
Yongcheng Wang：撰写——审阅与编辑，监督，资源，项目管理。

## 利益冲突声明

作者声明不存在任何可能影响本文所述工作的已知经济利益或个人关系。

Boxiao Wang | Jin Qian | Dongdong Xu | Guangli Ben | Chi Chen | Yongcheng Wang