利用受ISTA启发的Transformer模型和多尺度卷积神经网络(CNN)进行图像压缩感知

《Journal of Visual Communication and Image Representation》:Leveraging ISTA-inspired Transformer and multi-scale CNN for image compressive sensing

【字体: 大 中 小 】 时间:2026年04月18日 来源:Journal of Visual Communication and Image Representation 3.1

编辑推荐:

  压缩感知图像重建中提出一种双域网络架构,结合ISTA启发式Transformer实现全局注意力建模与跨尺度特征融合,并通过多尺度CNN模块消除块效应和伪影,显著提升图像重建质量和噪声鲁棒性。

  
谢中华|范志春|唐浩毅|刘凌军|姜慧
惠州大学计算机科学与工程学院,中国惠州,516007

摘要

压缩感知(CS)是一种高效的信号采样和重建理论。在CS中,对图像进行块处理可能会导致诸如块效应和由于零填充引起的不连续扩散等问题。为此,设计了一个结合了基于迭代收缩阈值算法(ISTA)的Transformer网络和多尺度卷积神经网络(CNN)的双域网络。通过展开ISTA的优化步骤构建的Transformer子网络用于提取特征相关性并实现全局注意力建模,而多尺度CNN子网络用于消除伪影,从而提高鲁棒性。实验结果证明了所提出方案在显著提高图像质量和抗噪能力方面的有效性,验证了该模型对各种不利干扰的鲁棒性。

引言

压缩感知(CS)作为一种新兴的信号处理范式,利用信号的稀疏性或低维特性来高效地收集和重建信号[1]。由于其低硬件要求,CS技术在提高采样率和重建精度方面显示出巨大潜力。CS技术已广泛应用于全球成像领域,成功案例涵盖了快照压缩成像[2]、高光谱成像[3]、单像素成像(SPI)[4]、磁共振成像(MRI)[5]、无线远程监控和认知无线电通信[6]等多个方面。传统的CS算法[7]、[8]、[9]、[10]在图像重建任务中通常表现不佳,因为它们无法有效整合图像的先验知识(如稀疏性和冗余性),并且计算复杂度高。基于深度学习的CS方法已成为该领域的主流研究方向。它们利用各种深度神经网络学习图像特征,提高了重建效率。这些方法大致可以分为两类:纯数据驱动方法和基于优化的方法。纯数据驱动方法依赖大量训练数据来学习信号的稀疏表示,并使用卷积神经网络(CNN)和对抗网络等架构将测量值映射到原始图像,例如ReconNet[11]、DR^2-Net[12]和DPA-Net[13]。然而,这些方法往往缺乏可解释性,因此深度学习模型常被视为“黑箱”,其决策过程缺乏透明度。另一方面,基于展开的方法在图像CS中显示出显著优势。这类方法将深度神经网络与优化算法结合,降低了计算复杂性并提高了图像重建质量,同时也提供了强大的可解释性。常见算法包括AMP-Net[14]、ISTA-Net[15]、OPINE-Net[16]等。
现有技术在处理大量数据时通常采用块压缩感知(BCS)方法,尤其是在分块处理图像时[17]。然而,这种块处理可能会引入问题,尤其是在应用零填充技术时。为了满足块大小要求,可能需要在图像边界添加零[18]。这种零填充操作往往会导致图像中的不均匀扩散,从而在重建图像中产生显著的伪影。这些现象对基于展开的方法影响更大,因为这些方法在每个阶段都涉及块采样操作。同时,在噪声环境中,测量噪声的存在会显著影响预训练模型,阻碍其准确推断图像特征和模式的能力。
鉴于在CS中对图像进行块处理可能会导致块效应和由于零填充引起的不连续扩散等问题,我们提出使用多尺度CNN模块来消除伪影和噪声,以解决由ISTA启发的Transformer网络块处理引起的图像内容不连续性问题。我们提出了一种基于Transformer和CNN的高效图像CS模型,旨在提高图像CS的质量和鲁棒性。如图1所示,该方案结合了ISTA启发的Transformer和多尺度CNN来增强图像CS性能。本文的主要贡献总结如下。
  • •
    设计了一个结合了ISTA启发的Transformer和多尺度CNN的双域网络,利用Transformer提取特征相关性,并通过多尺度CNN提取多尺度特征。因此,所提出的网络能够实现全局注意力建模和多尺度特征融合。
  • •
    设计了一个基于多尺度CNN的伪影去除模块,在无噪声环境中用于消除块效应和不连续扩散,并提高CS系统对外部噪声的抵抗能力,从而实现稳定的重建。
  • •
    通过展开ISTA算法的步骤构建了一个基于Transformer的重建模块,以提高重建网络的可解释性并实现高质量的图像CS恢复。
实验结果通过在多个标准数据集上的广泛实验验证,证明了所提算法在显著提高CS性能方面的有效性。所提算法不仅提高了图像质量,还增强了CS重建的鲁棒性,证实了其在实际应用中的潜力。

纯数据驱动方法

基于深度学习的CS算法在多个方面超越了传统CS理论。它们的主要优势在于提供了前所未有的自动化和灵活性。通过对大规模数据集进行广泛训练以学习信号的特征分布,这些算法可以自动开发出有效的重建策略。这一过程不仅减少了优化算法的手动设计和参数调整的需求,还简化了重建过程。

背景

给定输入信号x∈RN,感测矩阵H∈RM,可以通过y∈RM获得测量值y=Hx+n。这里,y受到加性高斯白噪声n∈RM的干扰。预定义的采样率为M/N。由于CS中的恢复过程是一个病态逆问题,它可以表示为以下两个部分之和的优化函数:x?=argmi< />x12Hx?y2+λ?x。Hx?y2/2Hx?y2/2Hx?y2+λ?x
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号