用于高效神经网络压缩的基共享与系数剪枝

《Neural Networks》：Basis Sharing and Coefficient Pruning for Efficient Neural Network Compression

　　

摘要 网络压缩对于在资源受限设备上部署深度神经网络至关重要，然而现有方法往往单独关注滤波器剪枝或权重共享。在本工作中，我们提出了一种统一的压缩框架SaP，它联合利用基共享和系数剪枝来减少卷积滤波器及其产生的特征图中的冗余。通过将滤波器表示为较少共享基滤波器的线性组合并去除冗余系数，SaP在保持判别信息的同时实现了更高的压缩比。这种混合设计缓解了单独使用基共享方法固有的瓶颈问题，降低了计算复杂度，并能够在系数子空间中高效微调。我们进一步提供了理论分析，表明在由奇异值分解诱导的正交基下，滤波器之间的距离在系数空间中被保持，从而为在这种低维表示中进行冗余分析和剪枝提供了合理性。在图像分类、对象检测、实例分割和关键点检测上的大量实验表明，SaP在压缩、精度保持和实际效率方面始终优于最先进的基线。消融研究进一步验证了联合方法的有效性，并对超参数选择和特征保持提供了见解。我们的结果表明，结合互补的压缩策略可以创建高效、可部署的神经网络。

引言 网络压缩是机器学习中的关键技术，旨在减少神经网络的计算和内存需求。其目标是在保持相当性能的同时创建更高效的模型，促进在资源受限设备上的部署，并增强整体可扩展性和通用性。各种方法被用于实现压缩，包括剪枝、量化、知识蒸馏、低秩分解、神经架构搜索（NAS）和权重共享（Kumar, Shibu, Lee, 2025, Li, Chen, Li, Jiang, Cao, 2026, Pham, Zniyed, Nguyen, 2025b, Pham, Zniyed, Nguyen, 2026）。

在这些多样化的范式之中，结构化剪枝（Pham, Zniyed, Nguyen, 2025b, Tofigh, Askarizadeh, Ahmad, Swamy, Nguyen, 2026a）已被广泛研究，而权重共享（Kang, Kim, 2021, Li, Gu, Gool, Timofte, 2019）则相对研究不足。然而，从模型压缩的角度来看，这两种技术共享若干概念上的相似性。从动机角度来看，两者都依赖于深度网络是过度参数化的假设，因此包含可以消除的冗余信息，要么通过移除冗余权重（结构化剪枝），要么通过更紧凑地表示它们（权重共享）（Pham et al., 2026）。从部署角度来看，两种方法都产生密集的、对硬件友好的网络，可以在标准设备上执行，无需专用加速器（与结构化稀疏化或量化不同）（Pham et al., 2025a）。有趣的是，这两种方法的优点不是重叠而是互补的，因此可以联合利用以增强压缩效果（Shin et al., 2024）。尽管存在这种协同潜力，它们通常被独立开发，其集成在文献中仍基本未被探索。

在本研究中，我们重新审视卷积神经网络，并做出两个关键观察。首先，卷积层内的所有滤波器具有相同的维度，并在相同的输入张量上操作以生成各自的特征图，如图1顶部所示。其次，如基于相似性的剪枝研究中广泛报道的那样（Li, Li, Li, Shen, Zou, Wang, Wang, Li, 2025, Pham, Zniyed, Nguyen, 2024a），这些滤波器之间经常出现冗余。因为部分相似的滤波器从相同输入中提取重叠信息，它们的输出特征通常包含冗余组件。例如，在图1中，滤波器??1和??3生成的输出图??1和??3共享一个相似的区域（红色区域），该区域被计算了两次。这种重复反映了滤波器空间和特征空间中的冗余。传统的剪枝通过移除整个滤波器（如??3）来消除冗余，但这可能会丢弃有价值的信息，因为两个滤波器只是部分相似。有效的压缩策略应该同时解决两个空间中的冗余，同时保留原始滤波器的基本判别信息。

基于这些观察，我们提出了一种统一的压缩框架，结合基共享和系数剪枝，联合减少卷积滤波器和特征图中的冗余。由于所有滤波器具有相同的形状，它们从理论上（由于共享维度）和经验上（由于冗余）都可以被表示为较少共享基滤波器的线性组合。例如，在图1左下方，四个原始滤波器{??1, ??2, ??3, ??4}可以从仅三个基滤波器{??1, ??2, ??3}线性组合并带有四个对应的系数向量{C1, C2, C3, C4}重建。这种表示更加紧凑，因为基滤波器和系数的总参数数量小于原始滤波器的参数数量。然而，系数空间中可能仍然存在冗余，例如相似的系数C1和C3导致重叠的输出特征??1和??3。为了进一步消除这种低效，我们在系数空间中直接执行结构化剪枝，通过移除冗余系数如C3，同时也消除了对应的输出特征图??3，如图1右下方所示。

这种混合方法提供了几个优势。首先，它移除了滤波器和特征域之间的冗余，将压缩潜力扩展到单独的权重共享或剪枝之外。在权重共享（Kang and Kim, 2021）中，压缩比通常仅由基的数量控制，而在混合方法中，通过移除在常规权重共享中保持固定的冗余系数来实现额外的压缩。这种设计比标准剪枝方法（Lin, Peng, Zhang, Bie, Zhao, Gao, 2025, Tang, Ye, Shi, Hu, Peng, You, 2025）中直接移除整个滤波器更加灵活。其次，对于预定义的压缩目标，混合设计产生更平衡的架构。与纯滤波器剪枝（Li, Li, Li, Shen, Zou, Wang, Wang, Li, 2025, Tofigh, Askarizadeh, Ahmad, Swamy, Nguyen, 2026a）相比，它避免了过度移除信息丰富的滤波器；而与单独的基共享（Kang, Kim, 2021, Li, Gu, Gool, Timofte, 2019）相比，它进一步消除了系数空间中的冗余。另一个额外的好处是缓解了基共享固有的瓶颈问题，其中基滤波器的数量远小于系数的数量。这种不平衡可能会阻碍训练（Shin et al., 2024），而剪枝冗余系数通过减少活动系数的数量来解决这个问题。第三，在系数子空间中操作大大降低了计算复杂度，并能够实现更快的剪枝和微调过程。这是因为剪枝操作是在系数向量上执行的，这些系数向量的大小远小于原始滤波器，导致剪枝过程中需要评估的参数更少。此外，在截断SVD诱导的正交基下，卷积滤波器之间的距离在系数空间中被精确保持，这为在这个简化表示中进行冗余分析和剪枝而不会损失几何保真度提供了正式证明。在移除冗余系数后，我们冻结共享基滤波器，仅通过轻量级微调过程更新剩余的系数向量。与现有的混合分解-剪枝方法（Li, Gu, Mayer, Van Gool, Timofte, 2020b, Pham, Zniyed, Nguyen, 2025a, Ruan, Liu, Yuan, Li, Hu, Li, Maybank, 2021, Shin, Cho, Muhammad, Shahab Uddin, Jang, Bae, 2024, Sui, Yin, Gong, Yuan, 2025, Wong, Kashyap, Moradi, 2024）不同，这些方法通常剪枝分解后的层或在重新训练期间联合优化基滤波器和系数，SaP直接在共享正交基诱导的系数空间中进行冗余感知的结构化剪枝，并在微调期间冻结共享基滤波器，从而实现了更高效的优化和更好的压缩效率。因此，这种方法不仅加速了剪枝，还促进了迭代优化和微调，使其非常适合大规模网络和实时部署场景。

我们的主要贡献总结如下：
•我们提出了联合使用权重共享和结构化剪枝的方法，分析了这两种互补策略如何集成以减少滤波器和特征级别的冗余。
•我们引入了SaP，这一概念的具体实现，由两个模块组成：基于截断奇异值分解的基共享机制和冗余感知的系数剪枝算法，该算法在保留滤波器多样性的同时移除冗余系数。
•我们提供了理论分析，证明了在SVD诱导的正交基下，卷积滤波器之间的距离在系数空间中被精确保持。这一结果为在低维表示中进行冗余分析和剪枝而不会损失几何保真度提供了正式证明。
•我们在多种视觉任务上进行了大量实验，包括图像分类、对象检测、实例分割和关键点检测，展示了SaP在卷积神经网络、transformer和混合卷积-transformer架构上的一致优越性。
•我们进一步提供了消融研究和关于关键方面的讨论，如超参数选择、压缩效率、实际延迟、定性特征保持和统计鲁棒性。

相关工作 模型压缩已被广泛研究，以减少深度神经网络的计算和内存需求，同时保持精度。现有方法可大致分为剪枝、量化、知识蒸馏、低秩分解、权重共享和NAS。我们简要回顾了最相关的方法，并突出了我们提出的SaP框架与它们的区别。

SaP框架 在本节中，我们介绍SaP，我们提出的神经网络压缩框架，它联合利用基共享和系数剪枝来消除滤波器和特征级别的冗余。图2展示了单个卷积层的SaP流水线。虽然该过程应用于所有层并并行执行，但为了清晰起见，我们在这里描述一个层的过程。从原始卷积滤波器开始，基共享阶段使用截断奇异值分解来近似滤波器，并使用较少的基滤波器表示它们。

架构和数据集 我们在十二种架构和四个数据集上验证了所提出的SaP框架，以全面评估其通用性和可扩展性。实验涵盖经典的和现代的卷积骨干网络、基于transformer的以及混合CNN-transformer架构，从小型模型到大规模模型。

对于中小型数据集，评估包括VGG-16（Simonyan and Zisserman, 2015）、ResNet-20/32/56/110（He et al., 2016）、DenseNet-40（Huang et al., 2017）、GoogLeNet……

关于基滤波器数量的选择 由于基滤波器数量B直接影响压缩比、近似误差和压缩模型的精度，我们在CIFAR-10上预训练的VGG-16上进行了对照消融研究，以研究该超参数的影响。为了衡量原始模型和分解模型之间的近似误差，我们使用归一化均方误差（NMSE）定义为：
NMSE = [Σ_l=1^L Σ_o=1^{O(l)} ||??(l)_o - Σ_b=1^{B(l)} ??(l)_ob · ??(l)_b||_F2] / Σ_l=1^L Σ_o=1^{O(l)} ||??(l)_o||_F2
其中??(l)_o是第o个3阶滤波器……

结论 在本工作中，我们引入了SaP，一种统一的压缩框架，它联合集成基共享和系数剪枝来解决卷积神经网络中滤波器和特征空间的冗余。通过将滤波器表示为较少共享基滤波器的线性组合，然后剪枝冗余系数，SaP实现了更紧凑和计算高效的表示，同时保持了原始模型的判别能力。

CRediT作者贡献声明
Van Tien Pham：写作——审阅与编辑，写作——原稿，可视化，验证，监督，软件，资源，项目管理，方法论，调查研究，资金获取，形式分析，数据整理，概念化。

利益冲突声明
作者声明，他们没有任何已知的竞争性经济利益或个人关系可能影响本文所报告的工作。

Van Tien Pham