《Neural Networks》：A Novel Approach to Lossless Convolutional Neural Network Compression via Progressive Knowledge Distillation-Incorporated Low-Rank Compression
编辑推荐：
模型压缩被广泛用于在资源受限的边缘设备上部署大型神经网络。在现有技术中，低秩分解（low-rank decomposition）在逼近论（approximation theory）中具有坚实的理论基础，为压缩后保持模型性能提供了有力依据。然而，在实际应用中，即
模型压缩被广泛用于在资源受限的边缘设备上部署大型神经网络。在现有技术中，低秩分解（low-rank decomposition）在逼近论（approximation theory）中具有坚实的理论基础，为压缩后保持模型性能提供了有力依据。然而，在实际应用中，即使是目前最先进的低秩方法，如Tucker、张量列（Tensor Train, TT）和张量环（Tensor Ring, TR）分解，仍可能引入显著的重构误差。这些误差难以通过常规微调策略恢复，尤其是在高压缩比条件下。为解决这一问题，本文提出了渐进式知识蒸馏结合低秩压缩（Progressive Knowledge Distillation-Incorporated Low-Rank Compression, PKD-LRC）框架。该框架引入了三个关键组成部分：第一，在卷积压缩中引入残差补偿机制（residual-compensation mechanism）以减少信息损失；第二，采用动态温度调整策略（dynamic temperature adjustment strategy）以改进低秩模型的微调过程并提升预测精度；第三，构建渐进式学习范式（progressive learning paradigm）以平衡压缩比与分类性能。本文对残差补偿机制在压缩卷积神经网络（convolutional neural networks, CNNs）中的有效性进行了理论分析。在CIFAR-100数据集上的实验结果表明，与未压缩的VGG-16模型相比，PKD-LRC在7.75×压缩比下Top-1准确率提升了0.35%。在ImageNet数据集上，与基线ResNet-18模型相比，所提方法在2.78×压缩比下取得了0.20%的Top-1准确率增益。上述结果表明，PKD-LRC通过自适应微调有效缓解了重构误差，并增强了压缩模型的性能。
一、研究背景与问题提出
卷积神经网络（convolutional neural networks, CNNs）近年来已成为众多领域的核心技术，尤其在计算机视觉任务中表现突出，如图像分类、目标检测和语义分割等。此外，CNNs还被扩展至多模态学习场景，通过联合利用多模态信息提升性能。然而，尽管CNNs在各领域表现出优异的性能，其庞大的参数量在资源受限场景中带来了严峻挑战。许多下游应用需要包含数千万乃至数亿参数的模型，这导致了训练和推理过程中的高额计算开销，同时大幅增加了存储和内存需求。例如，ResNet-50拥有2300万参数，而近期模型如ConvNeXt的参数量已达数十亿级别。这些因素使得CNNs在手机、无人机及各类嵌入式平台等受严格内存和功耗限制的硬件上的部署面临重大障碍。因此，模型压缩已成为应对这些挑战的核心策略。
在众多模型压缩技术中，低秩分解凭借其强大的压缩能力和逼近论中坚实的理论基础脱颖而出。基于矩阵的方法如截断奇异值分解（Truncated Singular Value Decomposition, TSVD）通过将高阶张量重塑为矩阵来压缩卷积核，但可能丢弃其固有的多维结构和模间相关性。张量分解方法如典型多项式（Canonical Polyadic, CP）和Tucker分解能更好地保留张量结构，但CP方法对秩选择敏感且在激进压缩下可能面临优化不稳定的问题，而Tucker方法中的稠密核心张量可能限制可达到的压缩比。张量列（Tensor Train, TT）和张量环（Tensor Ring, TR）分解通过顺序因子化进一步减少参数冗余，但其强约束表示可能限制卷积核在低秩设置下的表达灵活性。值得注意的是，上述方法主要改进保留的低秩表示，通常用单一低秩近似替换原始权重，因此秩截断过程中丢弃的残差信息很少被显式建模或补偿。
在此基础上，近期研究探索了混合压缩框架以克服单一压缩技术的局限。一条研究路线将低秩分解作为主要压缩机制，并在后续微调阶段引入知识蒸馏。然而，这些方法中知识蒸馏主要作为辅助恢复策略，通常遵循预定义的温度配置，未显式适应压缩学生模型不断演化的表示能力和学习状态。另一条研究路线以知识蒸馏为主要框架，对教师模型应用低秩分解，但蒸馏过程本身仍缺乏动态机制来适应压缩学生模型的演化状态。因此，现有混合框架在压缩后恢复过程中仍缺乏足够的自适应性，尤其是在高压缩比条件下。
基于上述分析，当前存在两个关键挑战：一是缺乏创新的误差补偿机制，低秩分解引起的近似误差既未被显式建模也未被有效补偿，常导致明显的性能退化；二是缺乏有效的精度恢复策略，基于静态温度蒸馏的常规微调方法无法充分适应压缩学生模型不断演化的表示能力和学习状态。
二、研究内容与主要技术方法
针对上述挑战，本文提出了渐进式知识蒸馏结合低秩压缩（Progressive Knowledge Distillation-Incorporated Low-Rank Compression, PKD-LRC）方法，该方法基于三个关键组成部分构建：残差补偿Tucker-2（Residual-compensated Tucker-2, ResTucker-2）压缩框架，用于增强低秩压缩模型的性能；动态温度调整方案，用于细粒度优化和改进精度恢复；以及增长机制，用于更有效地平衡压缩比与预测性能。研究人员在五个基准数据集上进行了广泛实验，证明所提方法在图像分类任务中优于若干最先进的低秩和基于蒸馏的压缩方法。
三、研究结果
3.1 CIFAR-100数据集上的性能评估
在CIFAR-100数据集上，以VGG-16为基线模型进行实验。结果表明，PKD-LRC在7.75×压缩比下实现了比未压缩VGG-16模型高0.35%的Top-1准确率。这一结果验证了所提方法在高压缩比条件下仍能保持甚至提升模型性能的能力。
3.2 ImageNet数据集上的性能评估
在ImageNet数据集上，以ResNet-18为基线模型进行实验。结果表明，所提方法在2.78×压缩比下取得了比基线模型高0.20%的Top-1准确率增益。这进一步证实了PKD-LRC在更大规模和更复杂数据集上的有效性和泛化能力。
3.3 消融研究
研究人员通过消融实验验证了各关键组件的贡献。实验表明，残差补偿机制能够有效减少低秩分解带来的信息损失，动态温度调整策略能够改进低秩模型的微调过程并提升预测精度，渐进式学习范式则有助于在压缩比和分类性能之间实现更有效的平衡。各组件协同作用，共同实现了压缩模型性能的显著提升。
3.4 理论分析
研究人员对残差补偿机制的有效性进行了理论分析，建立了理论保证，证明所提出的残差补偿分解比传统Tucker-2分解产生严格更紧的重构误差界，从而确保残差补偿步骤不会增加近似误差。
四、讨论与结论
讨论部分指出，现有低秩压缩方法在压缩后恢复过程中缺乏自适应性，特别是在高压缩比条件下。PKD-LRC通过引入残差补偿机制显式建模和补偿秩截断过程中丢弃的残差信息，通过动态温度调整策略适应压缩学生模型不断演化的表示能力和学习状态，通过渐进式学习范式更有效地平衡压缩比与预测性能，从而克服了现有方法的局限性。
研究结论部分总结如下：本文提出了PKD-LRC方法，该方法融合了残差补偿机制、动态温度调整策略和渐进式学习范式三个关键组件。理论分析表明残差补偿分解比传统Tucker-2分解具有更紧的重构误差界。在CIFAR-100和ImageNet等五个基准数据集上的广泛实验证明，所提方法在图像分类任务中优于若干最先进的低秩和基于蒸馏的压缩方法。具体而言，在CIFAR-100数据集上，PKD-LRC在7.75×压缩比下实现了比未压缩VGG-16模型高0.35%的Top-1准确率；在ImageNet数据集上，在2.78×压缩比下取得了比基线ResNet-18模型高0.20%的Top-1准确率增益。上述结果表明，PKD-LRC通过自适应微调有效缓解了重构误差并增强了压缩模型的性能，为在资源受限设备上部署高性能CNN模型提供了有效途径。该论文发表在《Neural Networks》期刊上。
