多尺度采样与窗口化稀疏自注意力重建网络在图像压缩感知中的应用

《Image and Vision Computing》：Multi-scale sampling and windowed sparse self-attention reconstruction network for image compressive sensing

　　摘要

深度压缩感知（DCS）因其相比传统压缩感知技术能够实现更高的重建精度和更好的计算效率而受到越来越多的关注。尽管取得了这些进展，现有的DCS框架仍然存在两个突出的缺点。首先，大多数方法依赖于浅层采样方案，这往往忽略了对于可靠重建指导至关重要的分级多尺度特征表示。其次，当前的重建模型通常以不加区分的方式处理不同的空间位置和特征通道，从而限制了整体重建性能。为了克服这些限制，我们提出了一种新的多尺度采样和窗口化稀疏自注意力重建网络（MSWSNet）用于图像压缩感知。该框架由两个核心模块组成。第一个是多尺度采样模块（MSSM），它通过结合模糊池化、最大池化和多通道注意力来增强特征表示能力。第二个是窗口化稀疏自注意力模块（WSSM），它利用局部化多窗口自注意力与跨窗口交互来有效建模空间依赖性。在这个重建范式中，利用全局特征融合来加强表示能力，同时逐步学习采样和重建阶段之间的残差关系，通过协调的残差补偿来提高图像质量。MSWSNet被构建为一个完全端到端可训练的DCS系统，使得采样和深度重建组件可以共同优化。在公共基准数据集上进行的广泛实验验证了MSWSNet的性能优于现有的最先进方法，实现了更高的重建质量、较强的抗噪能力和竞争力的计算效率。实现代码可在https://github.com/songhp/MSWSNet/获取。

引言

压缩感知（CS）理论[1][2]的出现通过证明可以从远低于经典Nyquist-Shannon采样定理[3]要求的测量集合中忠实地恢复信号，深刻地改变了当代信号处理。这一基础性的转变在多个领域推动了显著进展，如磁共振成像（MRI）[4]、单像素成像[5]、快照压缩成像（SCI）[6]和图像加密[7]。在这些背景下，CS促进了更加经济的数据采集和内在压缩，大大减少了对存储容量和传输带宽的需求。CS理论指出，可以从远低于Nyquist-Shannon采样定理[3]要求的线性测量数量中准确重建稀疏或可压缩信号。在采样过程中，高维信号??∈???通过以下线性映射与其测量值相关联：??=?????, ??=?????，其中??∈???表示获取的测量值，??∈???×??是测量（或感知）矩阵。比值??/??定义了采样率。此外，??∈???×??表示一个正交基矩阵。当??∈???的非零分量数量远小于维度??时，认为该表示向量是稀疏的。

尽管从?????的测量值中恢复??的逆问题通常是病态的，但CS理论指出，在目标信号??在适当的变换域内具有稀疏表示的条件下，准确重建变得非常有可能。这种表述产生了一个由稀疏性正则化的优化问题：min???12?‖????????‖22+???‖?????‖??，其中??是一个平衡数据保真项和稀疏性促进惩罚的参数。项?????表示在预定义的稀疏性促进基或字典下??的变换域表示。范数参数??通常设置为1或0，以强制?????的稀疏性。传统的迭代优化技术[8][9][10]使用手工设计的正则化器来编码自然图像的特定领域先验。虽然这些方法受益于良好的收敛行为和强理论保证，但它们也存在一些实际限制，包括较高的计算开销、调整超参数的难度、准确建模信号先验的复杂性、有限的灵活性以及通常较差的重建性能。

最近在深度学习方面的发展催生了新的深度压缩感知（DCS）框架[11]，这些框架避免了显式先验信号建模的需求。通过采用端到端可学习的架构[12]，这些方法实现了更高的重建性能。例如，RK-CCSNet[13]通过序列卷积模块（SCMs）保留了空间信息，而NL-CSNet[14]利用非局部自相似性先验。进一步的进展包括FSOINet[15]，它在特征域中进行优化以提高结果，以及MR-CCSNet[16]，它将分层CNN特征集成到其采样设计中。基于这些进展，Yuan等人[17]引入了AM-CSNet，结合了注意力机制以适应性地捕获跨通道和空间的特征。同样，COAST框架[18]遵循编码器-解码器结构，通过潜在空间映射实现高质量重建。最近，MCFD-Net[19]通过在高频和低频图像组件上进行多尺度优化和注意力补偿，引入了对频率的感知建模，这是该领域中首次集成频率域协作。尽管这些方法有其优点，但当前的DCS方法仍面临几个关键挑战。首先，许多方法采用浅层采样策略，可能会无意中丢弃对准确重建至关重要的中高级语义特征。其次，均匀处理所有空间区域和特征通道的常见做法未能考虑它们相关性的差异，从而限制了模型的表达能力。此外，对观测测量值的过度依赖可能会放大噪声的不利影响，最终降低重建质量。

为了解决这些挑战，我们提出了MSWSNet，一种新的多尺度采样和窗口化稀疏自注意力重建网络——旨在共同增强压缩感知的采样和深度重建阶段。在采样阶段，我们引入了多尺度采样模块（MSSM），它利用多尺度卷积、双分支池化策略和自适应注意力机制来提取分层细节特征。这种架构大大丰富了特征多样性，并降低了在测量采集过程中丢弃语义关键信息的风险。对于重建阶段，我们设计了窗口化稀疏自注意力模块（WSSM），该模块受到ELAN[20]高效层聚合原则的启发。WSSM采用稀疏自注意力机制，在带有循环移位的多个尺度窗口上应用，使网络能够动态优先处理信息丰富的空间区域。这种策略有效地克服了之前方法中普遍采用的统一特征处理所带来的性能瓶颈。此外，通过将WSSM生成的精细特征与初始重建输出相结合，我们的框架促进了局部精细细节和全局上下文信息之间的协同作用。这种融合不仅提高了重建的保真度，还在涉及噪声或结构复杂性的具有挑战性的场景中提供了更大的鲁棒性。

总之，本工作做出了以下贡献：
- 我们引入了一个多尺度采样模块（MSSM），它通过结合多尺度步进卷积（MulConv，第3.2节）、集成模糊池化和最大池化的双分支池化策略（公式（6）–（7），图2），以及具有自适应标量参数??1, ??2的可学习注意力加权融合机制（公式（5）来增强感知阶段。与传统的单尺度采样操作符相比，这种设计捕获了更层次丰富的特征表示（参见图3）。
- 我们提出了一个窗口化稀疏自注意力重建模块（WSSM），在公式（10）–（17）中进行了形式化，并在图5中进行了说明。具体来说，输入特征被投影到三倍的空间中（公式（10）），分成三个特定尺度的组（公式（11）–（12）），经过滚动移位进行跨窗口交互（公式（13）），划分为大小分别为4、8、16的非重叠窗口（公式（14）），然后通过独立的自注意力处理（公式（15）–（16）再进行逆滚动和连接（公式（17））。这种表述将计算复杂性从???((?????)2)降低到???(??2??????)，同时保持了多尺度空间意识——这一属性与相关领域中最近的稀疏Transformer设计[21][22][23]共享。
- 我们将这些组件整合到一个统一的、端到端可学习的框架中（公式（3）中，并加入了一个残差补偿策略（公式（18）–（19），以确保每个重建阶段的测量一致性。联合训练目标（公式（20）–（22）同时优化了采样、初始重建和深度重建子网络。广泛的实验（表1、表2、表3、表4、图6、图7、图8、图9、图10、图11、图12）在多个基准测试中展示了最先进的性能。

本文的其余部分结构如下。第2节提供了相关工作的回顾。第3节详细介绍了所提出的MSWSNet架构。第4节提出了全面的实验评估和分析。最后，第5节总结了研究发现和潜在的未来方向。

DCS的采样网络

DCS框架的最新发展显著提高了压缩采样的效率和重建图像的准确性。这些进展主要是由端到端学习过程的实施所推动的。DCS流程的主要阶段专注于构建一个神经网络以产生压缩测量值。在具有影响力的研究ReconNet[24]中，Kulkarni及其同事使用了一个全连接的层作为方法论。

以下部分详细阐述了第3.1节中概述的MSWSNet架构。这种阐述分为三个主要组成部分：多尺度采样模块（第3.2节）、深度重建模块（第3.3节）和损失函数的公式化（第3.4节）。

实施细节

我们模型的训练数据来源于COCO 2014数据集[55]。该数据集通过随机裁剪和水平翻转处理，生成了40,000个大小为128 × 128像素的图像块。为了优化计算效率并提高模型稳定性，所有输入图像都被转换为YCbCr颜色空间。对于训练和评估阶段，后续处理仅限于亮度（Y）通道。

网络在五个阶段进行了训练。

结论与讨论

本文提出了MSWSNet，这是一个创新的图像压缩感知框架，它将多尺度采样模块与窗口化稀疏自注意力重建网络相结合。MSSM旨在稳健地获取和保持语义丰富的、高级的图像特征，从而在测量过程中最小化信息损失，以更好地指导重建阶段。互补的深度重建模块通过WSSM实现，利用局部化的稀疏特征。

CRediT作者贡献声明

Song Heping：写作——审阅与编辑，写作——原始草案，方法论，概念化。
Zhang Linlin：写作——审阅与编辑，写作——原始草案，方法论。
Gong Jingyao：写作——审阅与编辑，写作——原始草案，软件，方法论。
Jia Hongjie：写作——审阅与编辑，写作——原始草案，可视化，资源。
Shen Xiangjun：写作——审阅与编辑，写作——原始草案，可视化，监督，资源。
Gou Jianping：写作——

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系，这些关系可能会影响本文报告的工作。

致谢

本工作得到了中国国家自然科学基金（项目编号62472201、62376108和62172193）的支持。

Song Heping | Zhang Linlin | Gong Jingyao | Jia Hongjie | Shen Xiangjun | Gou Jianping | Lai Yuping | Meng Hongying
南京邮电大学计算机科学学院，江苏南京，210023