基于自适应Tucker分解的卷积神经网络渐进式模型压缩方法

《Expert Systems with Applications》:Adaptive Tucker Decomposition-based Progressive Model Compression for Convolutional Neural Networks

【字体: 大 中 小 】 时间:2026年01月10日 来源:Expert Systems with Applications 7.5

编辑推荐:

  降低计算资源需求的同时保持高精度的CNN模型压缩方法,提出自适应张量分解与渐进式压缩框架,创新性构建并行结构优化权重表示,设计退化机制逐步减少预训练权重依赖,并基于0-1规划实现自适应秩选择,平衡压缩比与模型精度。

  
何亚萍|吴浩|罗欣
机构:西南大学计算机与信息科学学院 地址:中国重庆市西南大学,邮编400715

摘要

大规模卷积神经网络严重依赖于卷积运算,而这些庞大的参数给模型在资源受限环境(如计算能力或存储空间有限的终端设备)中的部署和执行带来了挑战。基于低秩逼近的方法被广泛用于神经网络模型的压缩。不幸的是,现有的这类方法在适当连接预训练权重和近似结果或自适应选择逼近秩方面存在不足,导致性能显著下降。为了解决这些关键问题,本文提出了一种基于自适应Tucker分解的渐进式模型压缩(ATD-PMC)方法,该方法包含以下三个核心思想:1)创新性地构建并行结构以高效表示卷积权重张量;2)引入退化机制逐步减少对预训练权重的依赖,从而实现渐进式压缩;3)提出基于0-1编程的自适应秩选择策略,以平衡模型的学习精度和压缩比。在五个基准数据集上的实验结果表明,与基于低秩逼近的现有压缩方案相比,所提出的ATD-PMC方法能够以最高的压缩比压缩目标神经网络,同时保持(甚至略微提高)其分类精度。

引言

迄今为止,深度学习已经在各种应用场景中推动了变革性进展,例如目标检测(Li等人,2023年)和分割(Huang、Chen、Guo、Jiang和Liu,2023年)。卷积神经网络(CNN)模型通常包含数百万到数十亿个参数,这使得它在许多任务中表现出色。然而,这种性能优势是以巨大的计算开销为代价的。庞大的参数不仅增加了训练和推理所需的时间,还为在边缘设备(如移动设备)上部署模型带来了重大挑战。因此,模型压缩技术变得至关重要,尤其是在资源有限的人工智能应用场景中。
低秩分解是最常用的降低CNN模型成本的技术之一。这种方法将CNN的权重矩阵/张量分解为维度较低的形式,同时仅有轻微的精度损失,从而显著减小了参数规模。已经提出了多种基于低秩分解的压缩方法,这些方法大多依赖于现有的分解框架,如奇异值分解(SVD)(Yang等人,2020年)、CANDECOMP/PARAFAC(CP)分解(Dai、Fan、Miao和Hwang,2025年)、Tucker分解(Yin、Phan、Zang、Liao和Yuan,2022年)、Tensor-Train(TT)分解(Yin、Sui、Liao和Yuan,2021年)或Tensor Ring(TR)分解(Wang、Sun、Eriksson、Wang和Aggarwal,2018年)。其中,张量分解方法通常能获得更好的性能,因为张量可以表示嵌入在多个空间维度中的高阶、动态和复杂模式。尽管低秩压缩方案很有前景,但现有的方法难以同时实现高压缩率和高表示学习能力。它们通常存在两个主要缺点:
  • •
    缺乏合适的微调方法。 直接分解预训练模型无法为微调提供良好的初始化,导致压缩后的模型收敛到次优解。
  • •
    无法很好地平衡精度和压缩比。
  • 受到上述发现的启发,本文提出了一种基于自适应Tucker分解的渐进式模型压缩(ATD-PMC)方法,该方法基于以下三个主要思想:
  • •
    创新性地构建高效并行结构,以实现CNN权重张量的高精度表示。
  • •
    通过衰减因子λ引入退化机制,逐步减少预训练模型的影响,从而显著减少压缩后模型的参数数量。这大大降低了计算资源需求,同时保持了高精度。
  • •
    新构建的ATD方法能够平衡压缩比和模型精度,从而提高压缩后模型的效率和性能。
  • 通过这些方法,本研究取得了以下两个主要贡献:
  • •
    ATD-PMC模型。
    它利用基于Tucker-2分解的并行压缩框架,并通过自适应秩选择策略进一步平衡压缩比和模型精度之间的权衡。
  • •
    ATD-PMC的算法设计和分析。
    它提供了具体的算法实现和分析,为研究人员和工程师提供了有价值的参考和实用指导。
  • 在五个基准数据集上的广泛实验结果表明,与基于低秩逼近的现有压缩方案相比,所提出的ATD-PMC方法在图像分类任务中具有更高的压缩比,并且保持了(甚至略微提高了)模型的分类精度。
    本文的其余部分组织如下:第二节讨论相关工作,第三节介绍背景知识,第四节介绍所提出的ATD-PMC方法的方法论,第五节提供实证研究,第六节进行总结。

    模型压缩

    自从Denil等人(2013年)证明神经网络中存在冗余性以来,这一领域的研究激增。出现的著名方法包括剪枝、权重量化和低秩分解。
    权重量化。 这是一种将神经网络中的权重参数从高精度浮点数(例如32位)转换为低精度表示(例如8位、4位)的技术。

    背景知识

    在本文中,我们用粗体大写字母表示N阶张量,例如X∈RI1×I2?×Rn
    此外,粗体斜体小写字母用于表示向量,例如x,常规大写字母用于表示矩阵,例如X。
    基于张量分解的模型压缩通常包括三个主要阶段:预训练、分解和微调。在预训练阶段,原始网络在目标数据集上训练以获得性能良好的基线模型。

    方法论

    在本节中,将依次介绍PMC构建和ATD过程的详细信息。图4展示了ATD-PMC框架,该框架采用并行架构来联合优化预训练权重和低秩分解组件。引入了衰减机制,逐步减少预训练权重的影响,从而实现高效的模型压缩。此外,基于0-1编程的自动化秩选择模块动态确定

    实证研究

    在本节中,我们在几种主流CNN模型上评估了我们的方法并分析了实验结果。

    结论

    在本文中,我们提出了一种用于CNN的自适应Tucker-2分解渐进式模型压缩(ATD-PMC)方法。该方法有效解决了在资源受限环境中部署深度学习模型的挑战。通过引入退化机制和自适应秩选择策略,显著减少了模型规模,同时保持了最小的精度损失。实验结果表明,该方法实现了优异的压缩性能和精度。

    CRediT作者贡献声明

    何亚萍:写作 – 审稿与编辑、撰写原始草稿、可视化、方法论、软件设计、概念化、监督、项目管理。 吴浩:概念化、写作 – 审稿与编辑、调查、数据整理、软件开发、形式分析、可视化。 罗欣:验证、资源获取、写作 – 审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号