基于降维存储直接张量环分解的卷积神经网络压缩方法研究

本文提出了一种基于降维存储直接张量环分解（RSDTR）的卷积神经网络（CNN）压缩新方法，通过将原始卷积核分解为更小的子核序列，显著降低了存储和计算复杂度（FLOPS）。实验表明，该方法在CIFAR-10和ImageNet数据集上既能保持较高分类精度，又能实现参数与计算量的双重压缩，为边缘设备部署提供了高效解决方案。

　　

Highlight

本研究提出了一种创新的低秩卷积神经网络（CNN）压缩方法——降维存储直接张量环分解（RSDTR）。该方法通过张量环（TR）分解的循环维度置换灵活性，实现了参数和浮点运算量（FLOPS）的高效压缩，同时保持压缩网络的分类精度。与现有张量化TR方法相比，RSDTR能直接从预训练模型中提取内核权重信息，仅需微调即可达到优异性能。

Proposed method

卷积层的权重张量被表示为四阶张量W∈R^{T×C×D₁×D₂}，通过TR模型分解为四个低阶核心张量G⁽¹⁾至G⁽⁴⁾。这种分解方式不仅突破了传统Tucker-2分解的维度诅咒，还通过循环置换特性显著提升了模式不平衡权重张量的适应性。

Experiments

在CIFAR-10和ImageNet数据集上的测试表明，RSDTR在ResNet等不同规模CNN架构中均表现优异。例如，某模型参数压缩率达15倍时，Top-5准确率仅下降1.2%，显著优于传统剪枝和量化方法。

Conclusions

RSDTR为CNN压缩提供了新的研究范式，其核心优势在于：1）通过TR-SVD算法自动优化模式排列和初始秩；2）理论推导出存储复杂度的严格上界；3）在保持精度的同时实现FLOPS和参数的双重压缩。这项工作为移动端实时图像处理（如自动驾驶障碍物检测）提供了重要技术支撑。