《IEEE Transactions on Multimedia》:LGM-Net: Feature-Domain Multi-Scale Network For Image Compressive Sensing Based on Learned Gradient Mapping
编辑推荐:
为解决压缩感知中高维特征信息利用不足与采样信息丢失导致的图像重建失真和模糊问题,研究人员提出了LGM-Net。该研究通过特征域自适应内生梯度重建(AEGR)策略、双变量迭代U-Net架构与辅助变量融合(AVF)策略,实现了对全局信息的更好捕捉。实验表明,该方法在图像重建质量上超越了当前前沿(SOTA)方法,为高保真图像重建提供了新思路。
在数字图像无处不在的今天,如何用更少的数据传输或存储更高质量的图片,一直是计算机视觉领域的热点与难点。压缩感知(Compressive Sensing, CS)理论为此提供了一种优雅的解决方案:它允许从远低于奈奎斯特采样定理要求的少量测量值中,高概率地重建出原始信号。这一技术在心电监测、医学成像(如MRI)和遥感等领域潜力巨大。然而,理想很丰满,现实却有些“模糊”。传统的迭代优化算法虽然可解释性强,但重建速度慢,质量也常不尽如人意。
近年来,深度展开网络(Deep Unfolding Networks, DUNs)异军突起,它将传统优化算法的迭代步骤“展开”成神经网络的层,巧妙地在模型可解释性与深度学习强大的表示能力之间架起了桥梁,并在图像压缩感知重建中取得了显著成功。但现有的DUNs方法仍面临两大“拦路虎”:首先,模型对从图像中提取到的高维特征域(Feature-Domain, FD)信息挖掘不够充分,犹如手持藏宝图却只挖掘了表面一层;其次,在图像采样(测量)过程中,不可避免地会丢失大量细节信息,尤其是高频信息,导致最终重建出的图片出现恼人的失真和模糊,丢失了清晰的纹理与边缘。正是为了更精准地攻克这两大难题,一项名为LGM-Net的研究应运而生,旨在让压缩感知重建的图像告别“马赛克”时代,重现高清细节。
为了达成这一目标,研究人员主要运用了三个关键技术方法:首先,提出了自适应内生梯度重建(Adaptive Endogenous Gradient Reconstruction, AEGR)方法,将来自多重先验的高维特征信息集成到半二次分裂(Half Quadratic Splitting, HQS)算法的迭代过程中,在特征域内生成“内生梯度”以替代传统梯度更新。其次,设计了一种双变量迭代U-Net架构,以增强模型对特征域中多尺度层次结构信息的捕捉能力。最后,在采样过程中引入了定制的辅助变量融合(Auxiliary Variable Fusion, AVF)策略,旨在最小化下采样导致的高频信息损失。研究使用了多个公共图像数据集进行训练与测试。
研究结果
1. 自适应内生梯度重建的有效性
通过将提出的AEGR模块集成到基础重建框架中,并与未集成的基线模型进行对比实验,研究人员发现AEGR能够显著提升重建图像的质量。定量指标(如PSNR和SSIM)和定性视觉对比均表明,AEGR模块通过有效地融合多先验高维特征,并在特征域内进行自适应的梯度重建,更好地保留了图像的全局结构和细节,减少了失真。
2. 双变量迭代U-Net架构的优势
为了验证所设计的双变量迭代U-Net架构在捕获多尺度特征方面的作用,研究者将其与标准的单变量更新结构以及其他多尺度网络进行了比较。实验结果显示,该双变量架构通过显式地建模并迭代更新两个互补的变量,更有效地提取并融合了从粗到细的不同尺度特征,使得重建图像在具有清晰大结构的同时,也包含了丰富的纹理信息。
3. 辅助变量融合策略的贡献
针对采样过程的信息丢失问题,研究者引入了AVF策略。通过对比在采样端使用与不使用AVF策略的重建效果,他们发现AVF策略如同一个信息“缓冲器”,在测量值生成阶段尽可能地保留并融合了原始信号的高频成分。这一措施直接反映在重建图像上,表现为边缘更加锐利,细节纹理(如毛发、织物纹理)的恢复质量明显提升。
4. 与先进方法的综合对比
研究人员在多个标准测试集上,将完整的LGM-Net与当前一系列先进的(SOTA)压缩感知重建方法进行了全面对比,包括传统的基于优化的方法和最新的基于深度学习的方法。在从极低采样率到适中采样率的不同设置下,LGM-Net在PSNR和SSIM等客观评价指标上均取得了领先性能。主观视觉评估也证实,LGM-Net重建出的图片在视觉保真度、清晰度和细节自然度方面普遍优于其他方法,特别是在处理复杂纹理和边缘区域时优势明显。
本研究提出并验证了LGM-Net,一个基于特征域多尺度学习与梯度映射的图像压缩感知重建网络。其核心贡献在于三点:一是通过自适应内生梯度重建(AEGR)方法,创新性地在特征域内利用多先验高维信息生成内生梯度,优化了重建模型的目标函数求解过程;二是设计了双变量迭代U-Net,增强了对图像层次化多尺度特征的表示能力;三是提出了辅助变量融合(AVF)策略,有效缓解了采样过程中的高频信息损失。
综合实验表明,这一系列设计使得LGM-Net能够更充分地挖掘和利用信号的深层特征信息,从而在压缩感知图像重建任务中实现了比现有技术更优的性能,显著提升了重建图像的保真度与清晰度,减少了失真和模糊。该工作为深度展开网络(DUNs)框架提供了增强特征域信息利用的新思路,推动了高保真图像压缩感知重建技术的发展,对于医学影像、遥感监测等对图像质量要求严苛的应用领域具有重要的理论价值与实践意义。论文已发表在《IEEE Transactions on Multimedia》上。