GDU-net：一种用于图像压缩感知的跨门控双域优化展开网络

《Neurocomputing》：GDU-net: A cross-gated dual-domain optimization unfolding network for image compressive sensing

　　摘要：深度展开网络通过将迭代优化嵌入可学习的重建模型，推动了图像压缩感知技术的发展。然而，现有的许多深度展开网络仍采用单一的主导重建表示方式，而变换域信息主要被用作辅助先验或融合特征。此外，传统的双域融合方法并未明确指定跨域信息应如何参与各个求解步骤，从而限制了图像域结构与小波域细节之间的协调性。为解决这一问题，我们提出了GDU-Net，这是一种跨门控双域展开网络，它将图像域和小波域的表示视为耦合的重建变量。基于它们在展开优化器中的依赖关系和更新顺序，三个可学习门控分别在图像域下降之前注入小波先验，在近端去噪过程中实现跨域约束，以及在图像域优化之后进行图像到小波的反馈。此外，我们还开发了一种自适应树状结构模块，用可学习的内容自适应阈值调节取代固定的小波树收缩机制。通过明确建模父子节点之间的依赖关系，该模块将具有结构感知的多尺度小波先验引入重建过程。进一步地，还引入了一种跨域不确定性感知机制，用于预测空间不确定性图，从而减少不可靠中间信息的传播。大量实验表明，GDU-Net在各种基准数据集上都能取得出色的重建性能，并且在具有挑战性的采样和噪声条件下表现出更好的鲁棒性。

引言：压缩感知技术利用信号固有的稀疏性或可压缩性，从而能够从有限的测量数据中实现精确重建。该技术包含两个基本过程：采样和重建。采样过程被建模为线性变换。而重建过程则需要解决一个病态逆问题，通常被表述为带有稀疏性约束的优化问题。其中，CS采样矩阵表示采样操作，CS采样比率则表示采样的比例。CS测量值则是实际获取的数据，而和分别表示和范数，是一个很小的正参数。压缩感知重建面临的重大挑战源于其病态性质以及庞大的可行解空间。因此，通过引入强大的先验知识来约束解空间至关重要。传统的基于模型的方法通过利用信号的内在结构来实现这一点，这些结构包括低秩结构、非局部结构，以及某些变换域中的稀疏性。其中，小波树状结构先验因其能够捕捉小波系数的层次化依赖关系而备受关注。具体而言，小波系数呈现出四叉树结构，粗尺度上的重要系数（父节点）往往会传递到更细的尺度（子节点）。小波树状结构先验不仅能够在单个系数层面促进稀疏性，还能在系数群组之间实现这种效果，从而有效捕捉图像中固有的跨尺度相关性。此外，还有一些非线性迭代方法也被广泛用于信号重建，如匹配追踪、正交匹配追踪、近似消息传递、迭代收缩阈值法、交替方向乘子法等。尽管这些方法具有较高的可解释性和收敛性保证，但它们仍然存在计算复杂度高以及参数选择困难的问题。近年来，基于深度学习的方法取得了显著成功。纯粹的深度学习方法直接通过数据驱动的学习，从少量的CS测量数据中重建信号。这类方法通常会利用一系列非线性模块来提取和优化深层特征，包括卷积神经网络、Transformer模型、生成模型等。然而，这些纯粹的深度学习方法往往被视为黑箱，其决策过程难以解释。为此，人们提出了深度展开网络，这类网络能够结合迭代算法的可解释性与深度网络的效率。通过展开诸如ISTA-Net、AMP-Net、ADMM-CSNet等成熟的迭代算法，深度展开网络能够展现出更优异的性能。许多研究致力于共同改进图像压缩感知的采样和重建过程。有些方法结合了动态多交叉采样与基于DWT的高频和低频重建技术，还有些则在展开网络中融入了表示域采样以及全局和局部注意力机制。为了更好地保留图像的锐利边缘和精细细节，许多基于展开的压缩感知方法还引入了基于边缘或梯度域的先验，这些先验通常借鉴了总变分理论。这一趋势与压缩感知技术的整体发展相一致，近期关于物理启发式深度展开以及图像/视频压缩感知方面的研究也体现了这一趋势。然而，现有的许多深度展开网络仍然在单一的主导表示框架内进行重建，这限制了它们同时保持图像域结构连续性与时频域高频细节的能力。为克服这一限制，近期的一些研究开始探索来自不同域的信息以及数据不确定性，以进一步提升性能。虽然这些方法引入了互补的表示方式，但跨域交互往往仅以特征级融合的形式实现，比如串联、相加或基于全局注意力的加权。这样的设计虽然增加了表示的多样性，但并未明确指定跨域信息应如何参与展开求解器中的不同优化步骤。因此，跨域线索往往只是通用的融合特征，无法在迭代更新过程中发挥针对特定步骤的优化作用来纠正重建误差。与此同时，大多数不确定性建模工作都专注于单一域内的置信度估计，未能明确建模并利用空间域与频率域之间在不确定性方面的差异来指导重建过程。而且，图像域和小波域表示的可靠性和互补作用可能会随着展开阶段和采样条件的变化而发生变化。固定的或通用的特征级融合机制无法充分考虑这些变化，这就需要沿着展开路径实现自适应的跨域通信。在本研究中，我们从优化一致性角度重新审视了双域压缩感知重建问题。我们将图像域和小波域的变量视为一个耦合的优化框架，并将其交互过程分解为三个带门控的通信步骤，从而实现先验注入、动态交互以及状态反馈，而非简单的特征级融合。主要贡献如下：我们提出了一种跨门控双域展开框架，以解决传统双域融合中缺乏特定步骤间交互的问题。根据交替更新顺序，三个特定于更新步骤的门控分别实现由小波先验引导的图像更新、双域近端约束以及图像到小波的反馈，从而使整个展开过程具备自适应且定向的跨域通信能力。我们还开发了一种自适应树状结构小波模块，用以解决手工设计的小波收缩机制和逐系数稀疏性先验的适应性不足问题。该模块用可学习的结构感知阈值替代了固定的群组收缩机制，同时能够建模父子节点之间的依赖关系，并自适应地调节跨尺度的小波系数。此外，我们还引入了一种跨域不确定性感知机制，用于限制不可靠信息的传播。这种基于认知风格的跨域差异图可以指导图像域的优化，而将其与随机不确定性图相结合，则可以在多个展开阶段对监督信号进行重新加权。

单域方法：在压缩感知领域，单域方法已经被广泛研究。有研究首次提出堆叠自编码器作为一种从CS测量数据中重建图像的有效技术。还有研究提出了基于经典CNN的ReconNet框架用于压缩感知重建。另有研究在其基于CNN的模型中融入了残差学习机制。还有一种方法提出了ADMM-CSNet，即ADMM算法的展开网络形式。还有研究将著名的ISTA算法转化为名为ISTA-Net的深度网络。

双域展开架构：如图1所示，我们所提出的框架利用了图像域和小波域的互补特征，从而能够更全面地表征图像的各种组成部分。该框架主要由三个部分构成：采样、初始化和重建。

实验设置：我们在COCO train2017数据集中的1000张图像上选取了若干patch作为训练数据，使用PyTorch 1.7和Adam优化器，在RTX 3090 GPU上进行了100轮训练（批量大小为32，学习率为某值）。所使用的基于块的采样矩阵是高斯初始化的且可学习，这一设计遵循了基于深度学习的压缩感知领域中的标准可学习矩阵方案。这种基于patch的采样方式符合标准的块级压缩感知设置，便于与现有的深度压缩感知方法进行公平比较。性能评估则通过峰值信噪比来进行。

结论：本文提出了GDU-Net，这是一种用于图像压缩感知重建的双域展开网络。该网络的耦合重建目标明确了图像域和小波域状态之间的双向依赖关系，而三个经过学习的门控则分别在每个展开阶段的特定位置实现由小波先验引导的图像更新、双域去噪器约束以及图像到小波的反馈。这些基本的门控操作都是常规的，我们所提出的设计重点在于如何利用它们实现更好的重建效果。

作者贡献声明：韩凯负责原文撰写、可视化、验证、方法论设计、形式分析以及概念构思；王金负责文本审阅与编辑、项目监督以及资金筹集工作；蔡汉钦负责文本审阅与编辑；史云辉同样负责文本审阅与编辑、项目监督以及资金筹集；凌楠也参与文本审阅与编辑工作；尹宝才则负责项目监督工作。

利益冲突声明：作者们声明自己没有已知的、可能影响本文研究成果的财务利益或个人关系。韩凯目前在中国北京工业大学人工智能学院攻读博士学位，他的研究兴趣包括图像压缩感知、深度展开网络以及图像恢复技术。

联系方式：韩凯|王金|蔡汉钦|史云辉|凌楠|尹宝才，地址：中国北京市100124，北京工业大学人工智能学院，北京人工智能研究院，多模态认知计算与智能软件技术北京市重点实验室。