面向图像压缩感知的多尺度小波卷积采样与跨阶段特征增强重建
《Pattern Recognition》:Multi-scale wavelet convolutional sampling and cross-stage feature enhancement reconstruction for image compressed sensing
【字体:
大
中
小
】
时间:2026年10月24日
来源:Pattern Recognition 9.1
编辑推荐:
• 采样网络MSWT获取包含多维特征的测量值。• 子模块DSFF融合测量引导的深层特征和浅层细节特征。• 子模块CSCA建立不同阶段之间的强相关性。• 端到端网络MWCFE-Net在低采样率、高噪声和复杂场景下表现出色。
**引言**
压缩感知(CS)[1]是一种信号处理
• 采样网络MSWT获取包含多维特征的测量值。• 子模块DSFF融合测量引导的深层特征和浅层细节特征。• 子模块CSCA建立不同阶段之间的强相关性。• 端到端网络MWCFE-Net在低采样率、高噪声和复杂场景下表现出色。
**引言**
压缩感知(CS)[1]是一种信号处理理论,它革新了传统的奈奎斯特-香农采样定理。它使得从远少于传统所需的测量值中准确恢复稀疏信号成为可能,从而显著降低了传输和存储成本。该方法已在单像素成像[2]、高光谱压缩成像[3]、通信[4]、快照压缩成像[5]、[6]等领域得到广泛应用。
在CS中,给定原始信号??∈???×1,通过采样??获得的测量值??∈???×1可表示为以下线性映射:??=?????,其中??∈???×??表示采样矩阵,采样率??定义为??/??,且?????,表明CS对应于高度欠定系统。为实现高效恢复,常用方法将从??重建??这一NP难问题重构为带有适当正则化的凸优化问题:???=arg?min???12?‖????????‖22+?????(??),其中12?‖????????‖22表示数据保真项,用于建模测量似然,?????(??)表示带有正则化参数??的先验项。总体而言,公式(1)和(2)提出了CS中的两个根本问题:(1)应采用何种采样策略?(2)如何尽可能准确地从测量值中恢复原始信号?
在传统CS中,采样通过将原始信号与测量矩阵相乘来实现。测量矩阵的选择对信号的稀疏表示和重建性能具有关键影响。为满足多种采样需求,已提出了各种各样的测量矩阵,大致可分为两类:随机测量矩阵[7]和确定性测量矩阵[8]。然而,这些矩阵通常对信号施加严格的稀疏性要求,存在重建精度次优的问题,且构造过程耗时。因此,研究人员探索了基于深度学习(DL)的采样策略[9]、[10]以解决这些局限性。Xu等人[9]提出了LAPRAN,该方法采用多级采样机制,与传统固定比率的单步采样形成对比。BCSNet[10]通过多通道输入利用块间相关性,每个通道对应不同的采样率,且部分网络权重在这些通道之间共享。
在重建阶段,传统的图像CS方法通过求解优化问题来恢复原始图像。离散余弦变换(DCT)[11]、离散小波变换(DWT)[12]、梯度域以及关于变换系数的先验知识(例如统计相关性和结构特性)等许多经典领域已被广泛纳入公式(2)以建模CS逆问题。许多基于稀疏正则化的方法已被开发,包括贪心算法[13]和凸优化框架[14]。与此同时,随着深度学习在计算机视觉领域的快速发展,越来越多的深度压缩感知(DCS)方法[15]、[16]、[17]、[18]涌现用于重建。与传统的基于优化的技术相比,这些DCS框架利用端到端训练实现更高的重建质量和更快的速度,尤其在复杂场景中。
尽管这些DCS方法取得了不错的结果,但它们仍面临三个挑战:(1) 在采样过程中,它们采用简单的策略,忽略了原始图像的频域特征。(2) 在重建过程中,测量值仅驱动迭代算法,而未与演化特征深度融合。(3) 深度重建阶段仅以串联方式连接,彼此之间缺乏交互。
为应对这些挑战,我们提出了MWCFE-Net,这是一种包含两个模块的新型网络:多尺度小波卷积采样(MSWT)和跨阶段特征增强重建(CFER)。MSWT利用多层小波变换提取多尺度频域表示,结合频分动态注意力机制增强跨频带的特征判别力,从而获得包含丰富多维特征的测量值。对于深度重建,CFER首先采用级联卷积网络融合多尺度特征与测量值,生成测量引导的深层稀疏特征。考虑到此类深层特征包含大量冗余,我们专门设计了深度-浅层特征融合(DSFF)子模块进行精细优化。通过跳跃连接提取的浅层特征恢复上采样和下采样过程中丢失的细节,生成测量引导的融合特征。最后,我们引入了跨阶段交叉注意力(CSCA)子模块以建立阶段间的相关性。DSFF生成的融合特征通过交叉注意力调整动态演化信息流中全局结构和纹理的权重,从而实现跨阶段特征增强。大量实验表明,MWCFE-Net在重建精度方面优于当前最先进的方法。
本研究的主要贡献总结如下:
• 我们设计了一种MSWT网络,利用多尺度小波卷积和频分动态注意力机制获取多维测量值,为CS采样引入了新范式。• 我们提出了一种DSFF子模块,精细融合测量引导的深层稀疏特征与浅层细节特征,建立了更平衡的测量利用范式。• 我们设计了一种CSCA子模块,建立阶段间的强相关性,从而增强跨阶段特征的互补性和一致性。• 我们构建了一个端到端可训练的框架MWCFE-Net,该框架在低采样率、高噪声水平和复杂场景等困难条件下展现出优越的重建能力。
本文其余部分组织如下。第2节回顾相关工作。第3节详细阐述MWCFE-Net。第4节展示对比实验结果。最后,第5节总结本文工作。
**相关工作**
在本节中,我们简要回顾了深度压缩感知和注意力机制的相关工作。
**所提出的网络架构**
如图1所示,MWCFE-Net由三个核心组件组成:用于频率感知采样的MSWT、用于线性投影的初始重建模块,以及用于跨阶段特征增强的深度重建网络。为清晰起见,我们以采样率0.25为例描述该架构。
整体采样和重建过程公式化为{??=MSWT?(??);???=D?(I?(??),??)+I?(??),其中??∈?1×??×??,??∈?4×??4×??4,I?(?)和D?(?)分别表示初始重建和深度重建。
**实验设置**
遵循与MCFD-Net[29]相同的实验设置,我们的训练数据集包含从COCO 2014数据集中提取的40,000个子图像,每个大小为96×96。为增强细节重建能力和鲁棒性,我们执行了随机裁剪和翻转以多样化训练数据。此外,我们将图像从RGB转换为YCbCr颜色空间,仅使用Y通道进行训练和测试,以实现更高的压缩效率。实验结果在六个数据集上进行了评估。
**结论**
在本文中,我们提出了一种新型的多尺度小波卷积采样和跨阶段特征增强重建网络,称为MWCFE-Net,用于高质量图像压缩感知。MSWT网络利用多尺度小波卷积和频分动态注意力机制获取多维测量值,同时实现高质量重建。在深度重建中,DSFF子模块精细融合测量引导的深层稀疏特征与…
**CRediT作者贡献声明**
Le Qin:方法论、概念化。Zenan Xiong:撰写-初稿。Jingyao Gong:软件、调查。Zehua Zhong:监督。Yugen Yi:可视化。Heping Song:撰写-审阅与编辑、数据整理。
**利益冲突声明**
作者声明没有已知的竞争性经济利益或个人关系可能影响本文所报告的工作。
**致谢**
本工作部分由国家自然科学基金(NSFC)资助,基金编号:62261029、62172193、62472201和62562039,部分由江西省自然科学基金资助,基金编号:20262BAC210007。
Le Qin|Zenan Xiong|Jingyao Gong|Zehua Zhong|Yugen Yi|Heping Song
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号