CoRe:利用先验引导的初始化方法学习紧凑表示

《Pattern Recognition》:CoRe: Learning Compact Representation with Prior-Guided Initialization

【字体: 大 中 小 】 时间:2026年01月12日 来源:Pattern Recognition 7.6

编辑推荐:

  基于卷积稀疏编码与残差结构理论结合,提出CoRe模块通过先验引导初始化和迭代优化展开技术,在ResNet、YOLO、SwinIR等多样架构中实现跨任务(分类、检测、分割、去噪)参数高效的特征优化,建立理论解与深度学习架构的桥梁。

  
宋宇|谢俊山|张静|张世华|孟德宇|杨晓辉|杨莉莉
中国河南省开封市河南大学数学与统计学院人工智能理论与算法工程研究中心,475004

摘要

现代深度网络受益于紧凑的特征表示,但往往缺乏理论保障。虽然卷积稀疏编码(CSC)通过显式优化提供了数学上保证的解决方案,但其实际应用受到架构限制和性能不佳的阻碍。本文介绍了CoRe模块——一个实用的紧凑表示模块,它弥合了稀疏编码的理论基础与实际深度学习实践之间的差距。通过结合先验引导的初始化策略来增强先验知识的利用,我们提出了CoRe方法,为残差结构提供了新的解释视角。通过严格的数学分析,我们证明了CoRe方法比传统的CSC方法更好地保留了输入信息,并展示了结构优势。我们进一步将迭代优化展开为一个可学习的紧凑表示组件,该组件可以通过替换卷积层或直接插入到CNN和Transformer架构中,从而从数据中获得紧凑表示。在包括ResNet、YOLO、U-Net、MobileNet、ShuffleNet、EfficientViT和SwinIR在内的广泛模型上的实验验证了CoRe模块的多功能性。综合评估显示,在分类、检测、分割和图像去噪任务中,CoRe模块的性能均得到了持续提升。代码可在https://github.com/jingmingliang/CoRe获取。

引言

由于深度学习能够从复杂数据中生成紧凑的特征表示,它迅速成为许多领域的主流方法。通过学习潜在嵌入,这些模型在保留特定任务所需的基本统计信息的同时,最小化了无关细节[1]、[2]、[3]、[4]、[5]、[6]。与传统依赖于手工设计特征的算法不同,深度学习通过分层神经网络架构自动从庞大、高维和异构的数据集中提取多级抽象,每一层都在前一层的基础上构建,以捕捉越来越复杂的模式[7]。
现代方法以多种方式进一步增强了数据表示[8]、[9]、[10]、[11]。例如,残差网络(ResNet)[12]使用残差连接来保留原始输入的细粒度细节和语义信息,同时减轻深度网络中的梯度退化。类似地,Transformer框架[13]采用自注意力机制来分配动态注意力权重,强调关键特征并抑制冗余。最近的创新,如YOLOv9[14],引入了可编程的梯度信息和通用的高效层聚合网络,以减少传统模型中的信息损失,从而优化了目标检测的表示。然而,这些方法主要基于经验性的架构创新,而不是表示优化的显式数学公式,这导致了深度学习黑箱性质的持续可解释性挑战。这突显了需要将经验模型设计与表示学习中的原则性目标相结合的理论框架。从这个角度来看,将迭代稀疏编码引入深度学习提供了一个有前景的解决方案:深度网络中的编码过程可以被视为学习紧凑表示,而迭代稀疏编码提供了指导这一编码过程的显式约束。这种整合不仅有助于学习更高效和结构化的表示,还增强了模型的可解释性。此外,基于展开的架构允许在深度网络内部表达这一优化过程,从而将传统的迭代算法与现代的数据驱动学习范式联系起来。
基于这一动机,展开技术提供了一种将迭代稀疏编码嵌入深度学习架构的实用方法,最近出现了许多基于展开的稀疏编码方法[15]、[16]。卷积稀疏编码(CSC)[17]、[18]、[19]因其稳健的理论保证[20]、[21]、[22]而受到了广泛关注,通常被设计为展开网络。与传统处理孤立信号块的方法不同,CSC使用卷积字典对整个信号进行操作,从而提高了计算效率。尽管有这些理论进展和关于将CSC与深度学习结合的深度展开网络的研究出现,但之前的努力尚未从实证上验证CSC在多样化架构中的适应性和在主流计算机视觉任务中的竞争性能。这一差距激发了我们探索一个与现有深度学习范式无缝集成的通用CSC模块的兴趣。
在这项工作中,我们介绍了一种紧凑表示(CoRe)方法,并在此基础上将其迭代算法展开为一个可学习的网络模块。我们首先推导出一个初步的理论框架,然后观察到初始化的选择1显著影响了展开模块和最终的特征提取质量。为了解决这个问题,我们提出了一种带有先验引导的初始化方案的CoRe方法,该方法能够准确估计紧凑信号表示并保留输入信息。将这种改进的初始化代入迭代公式中,从数学上揭示了残差设计(例如ResNet[12]、RepVGG[23]和VoVNet[24])为何能如此有效地工作——从而为残差结构的工作原理提供了新的理论见解。然后,这个迭代过程被“展开”成CoRe模块,可以插入到任何神经网络中(集成时称为CoRe-Net)。CoRe-Net具有三个关键优势:(1)每个组件都直接对应于CoRe方法优化过程中的一个数学操作,确保设计选择是可追溯的而不是启发式的;(2)它可以灵活应用于各种网络架构,在分类、检测、分割和图像去噪任务中实现一致的性能提升;(3)它通过两种部署模式提供参数效率的增强:作为直接替换,保持原始参数数量的同时提高性能;或者作为附加模块,最小化参数增加的同时提升能力。
本文的主要贡献如下:
1. 我们设计了一种先验引导的初始化方法,并基于此提出了CoRe方法,建立了现有手工设计的残差架构与我们的CoRe方法之间的联系。
2. 我们引入了一个CoRe模块,将CoRe方法的迭代公式转换为可学习的组件,通过替换或增强现有卷积来无缝集成到各种网络中,同时参数增加最少。
3. 本研究弥合了理论稀疏编码与实际残差结构设计之间的差距,表明架构改进可以来自CoRe方法,而不仅仅来自经验性的试错,从而为可解释的深度网络设计提供了新的范式。
本文的其余部分组织如下。第2节我们回顾了相关的最新文献。第3节描述了CoRe理论模块、网络模块及其分析。第4节,我们验证了CoRe模块在多任务和多架构中的有效性,并进行了消融实验。最后,提供了结论和未来研究的方向。

部分摘录

展开稀疏编码

由于展开稀疏编码的理论优势,许多研究已将其应用于各种下游任务。例如,罗等人[25]提出了一种非局部正则化的卷积稀疏正则化模型,用于提高颜色偏振解码任务的召回率;胡等人[26]介绍了一种使用学习到的卷积稀疏先验的RGB+NIR图像重建新方法;王等人[27]展示了专门为

方法论

本节首先介绍基本的理论方法。然后我们改进其初始化方法,以推导出与残差架构相对应的CoRe方法。接下来,我们分析了CoRe方法的有效性,并对其有效性提供了见解。最后,我们提出了一个CoRe模块,该模块将迭代公式展开为一个可学习的组件,能够替换传统卷积并无缝集成到网络中。

实验

在本节中,我们通过实验来研究CoRe模块在各种任务、数据集和模型架构中的有效性。为了公平比较,除了Imagenet分类之外,每个实验中的所有模型都在配备Intel(R) Xeon(R) Silver 4216 CPU @ 2.10GHz处理器和NVIDIA GeForce RTX 3090显卡的机器上从头开始训练。Imagenet分类实验使用四个NVIDIA A100 GPU进行。

结论

在本文中,我们介绍了CoRe模块,这是一个可学习的网络组件,它通过先验引导的初始化和展开的优化设计,将卷积稀疏编码理论与现代深度网络结合起来。CoRe模块为残差连接提供了清晰的数学解释,可以无缝集成到CNN和Transformer骨干网络中,并在分类、检测、分割和去噪任务中实现参数效率的提升。我们当前的设计是

CRediT作者贡献声明

宋宇:撰写——原始草稿,方法论。谢俊山:监督。张静:撰写——审阅与编辑。张世华:监督,方法论。孟德宇:监督,方法论。杨晓辉:可视化,监督,资源,方法论。杨莉莉:监督,资源。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

作者衷心感谢本工作中使用的所有公开可用的数据集和比较方法的提供者。特别感谢戴希利博士对SDNet实现细节的详细说明以及他的宝贵指导。本工作得到了国家自然科学基金(编号12571559)和河南省重点研发计划(编号241111114000)的支持。
宋宇2021年获得中国海南大学的学士学位,目前在中国开封市河南大学数学与统计学院攻读博士学位。他曾是南方科技大学的访问学生。他的当前研究兴趣包括智能信息处理。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号