用于图像压缩感知的迭代式物理条件Transformer

《Expert Systems with Applications》：Iterative Physics-Conditioned Transformer for Image Compressive Sensing

　　

IPCT 将物理先验视为特征条件，而非固定的数学更新步骤；PLPM 将测量投影和结构先验嵌入高维物理提示中；DE-SA 和 PGFN 增强了退化感知全局建模和渐进式跨阶段特征融合；实验表明，在图像压缩感知和 MRI 重建方面均达到了最先进的精度、鲁棒性和效率。

**引言**

压缩感知（CS）（Donoho, 2006）是一种强大的范式，当底层信号在适当的变换域中是稀疏或可压缩的时，它能够从远少于奈奎斯特采样原理所需数量的测量中实现精确的信号重建。由于压缩感知能够降低采集成本、存储和传输负担，引起了广泛关注，并已在各种成像领域得到广泛应用，包括但不限于雷达成像（RI）（Potter, Ertin, Parker, & Cetin, 2010）、磁共振成像（MRI）（Yang, Sun, Li, & Xu, 2020）、快照压缩成像（SCI）（Shi & Li, 2025）和单像素成像（SPI）（Duarte et al., 2008）。

对于图像采集系统，压缩感知提供了一种在保证重建质量的同时降低数据存储和传输成本的有前途的解决方案。给定一个 N 像素的向量化图像 ??∈???，压缩感知理论指出，可以从 M???N 个线性测量 ??=?????+??∈??? 中恢复 x，其中 ??:???→??? 表示采样矩阵，n 代表附加的高斯噪声，压缩感知比定义为 ??=??/??∈(0,1)。通常，重建过程涉及通过稀疏正则化优化求解不适定反问题：

$$\min_{\mathbf{x}} \mathcal{D}(\mathbf{A}\mathbf{x}; \mathbf{y}) + \lambda \mathcal{H}(\mathbf{x})$$

这里 ???(??;??) 表示 P 和 Q 之间的 ?2 数据保真项；??(??) 是稀疏化的图像先验项，??∈?+ 是正则化参数。尽管传统 CS 方法具有理论可解释性和恢复保证，但它们面临两个限制性能的实用性挑战。第一，手工设计的稀疏化变换，如 DCT（Zhao, Ma, & Gao, 2014）、低秩模型（Chen et al., 2025c）和波let变换（Zhao, Ma, Zhang, Xiong, & Gao, 2016），可能无法最优地捕捉复杂的图像结构。第二，迭代优化算法通常需要大量计算和仔细的参数选择。

为了克服这些局限性，基于神经网络（NN）的 CS 方法应运而生，利用 NN 从数据中学习采样算子和非线性重建映射（y?→?x）（Chai, Song, Gan, Long, Tian, He, 2024, Gan, Gao, Liu, Chen, Zhang, Liu, 2023a, Gan, Shen, Hua, Ma, Zhang, 2023b, Shen, Gan, Ma, Ning, Li, Liu, 2024, Shi, Jiang, Liu, Zhao, 2020, Sun, Chen, Liu, Liu, Guo, 2020）。这些方法相比传统技术可以提高重建精度和推理速度。虽然大多数基于 NN 的 CS 方法通过高容量模型的数据驱动训练直接学习测量值与原始图像之间的端到端映射，但其固有的黑箱特性严重阻碍了模型的可解释性和可扩展性。最近，CS 研究转向将传统优化算法与 NN 框架相结合，催生了深度展开网络（DUNs）（Chen, Zhang, 2025, Chen, Zhang, Li, Zhao, Yu, Zhao, Chen, Zhang, 2025b, Gan, Wang, He, Liu, 2024b, Ji, Liao, Han, Fu, 2026, Li, Yan, Li, Yan, 2025, Li, Gao, Hu, Gui, Chen, 2023, Liao, Shen, Li, Wang, 2025, Shen, Gan, Ning, Hua, Zhang, 2022, Zhang, Ghanem, 2018）。这些展开方法通常以端到端方式训练截断的展开 NN，其中每个阶段对应经典优化算法的一次迭代。这种方法不仅继承了算法的理论保证，还受益于 NN 的表示能力。

然而，现有的 CS 方法在迭代重建中通常存在若干不可忽视的局限性。先前的工作将迭代优化步骤，如半二次分裂（HQS）（He, Zheng, Tan, & Sun, 2014）或近端梯度下降（PGD）（Parikh & Boyd, 2014）， rigidly 映射为固定的神经层。这些方法中的数据保真更新往往退化为过于简单的线性残差步骤。虽然这提供了可解释性，但这种刚性的线性瓶颈可能会严重限制 Transformer 等高级架构的非线性表示能力，导致次优重建和阻塞伪影，特别是在极端退化场景下。此外，强制物理先验仅通过加法残差更新来消耗，无法充分利用 CS 采样矩阵以及欠采样引起的退化。后续网络组件无法有效提取相关信息，导致物理特征的利用不足。

为了克服这些局限性，我们提出了一种新颖的迭代物理条件 Transformer 架构（IPCT）用于图像 CS。IPCT 有意偏离了这些不灵活的线性更新。相反，我们提出了一种迭代式、退化感知的范式，将每个阶段分解为三个协作模块，将物理先验视为特征条件而非固定的数学步骤。首先，我们的物理可学习投影模块（PLPM）不是将物理项折叠为单一的线性梯度残差更新，而是将测量投影和结构先验作为独立通道嵌入高维特征流形 Pk 中，作为后续重建的物理提示。其次，动态特征增强自注意力（DE-SA）模块处理这些物理提示。以物理导出的特征为条件，DE-SA 利用自注意力的全局感受野来捕捉长程依赖关系并传播物理感知信息以实现更忠实的重建。这种全局建模与卷积引导的动态增强相辅相成，以保留局部高频细节。最后，渐进门控前馈网络（PGFN）通过自适应调制和融合建立显式的跨阶段通路，实现渐进式精细的全局细化。我们的贡献总结如下：

- 我们提出了 IPCT，一种高效的物理条件迭代 Transformer，用于图像 CS。通过全面注入、提取和利用物理特征，IPCT 实现了有效的退化感知和重建性能。
- 我们设计了一个高兼容性的重建核心：PLPM 显式注入结构退化先验，而 DE-SA 利用动态特征增强和自注意力的全局特性来处理这种密集物理先验，实现物理信息的高效利用。
- 我们引入了 PGFN，将阶段内 GFN 与跨阶段 GFN 相结合，建立显式的门控通路以实现跨阶段的自适应特征融合和调制，有效保留和利用信息。
- 大量实验表明，与最先进（SOTA）方法相比，IPCT 达到了具有竞争力的精度-效率权衡，在结构复杂图像上表现尤为突出，同时保持了紧凑的架构。

**图像 CS 网络**

**深度展开 CS 网络：** 通过将迭代求解器展开为可训练的 NN，DUNs 在基于模型的可解释性和数据驱动的表示学习之间提供了原则性的平衡。ISTA-Net（Zhang & Ghanem, 2018）是一个开创性的例子，它将每次 ISTA 迭代映射到网络的一个阶段，为后续的 DUNs 奠定了基础，其中关键的算法组件（如步长、收缩阈值）成为可学习参数，从而在保持……的同时显著加速收敛。

**IPCT 架构**

图 2 展示了 IPCT 的整体架构。每个迭代阶段由三个协作模块组成：PLPM、DE-SA 和 PGFN（包含 GFN 和 IGFN），并对当前重建 ?????1、辅助特征 ?????1 和测量值 y 执行闭环更新。形式上，第 k 个阶段首先通过 PLPM 将 ?????1、?????1、?? 提升到物理条件的特征空间，然后应用 DE-SA 产生阶段重建图像 xk，最后利用 PGFN 进行门控和传播……

**实现细节**

模型配置：对于 IPCT，默认阶段数 n 设置为 16。Z 的扩展通道 C 设置为 32。保持相同的通道配置，IPCT+ 是更深的性能增强版本，具有更多阶段和更大的补丁。其阶段数设置为 25。

训练：我们使用来自 Waterloo 探索数据库（Ma et al., 2017）（WED）的 4,744 张图像作为训练数据集。对于 IPCT 训练，每张图像以 96×96 的大小进行随机裁剪。我们还使用了数据增强……

**结论**

在本文中，我们介绍了 IPCT，一种轻量级迭代 Transformer，用于图像 CS。通过 PLPM 将物理提示注入高维特征流形，DE-SA 执行物理引导的全局建模，有效捕捉 CS 退化的密集和全局耦合特性。PGFN 跨阶段重用高质量特征，并通过渐进式调制和融合实现更精细的特征表示。通过阶段内的物理条件特征、动态……

**CRediT 作者贡献声明**

Chengming Wang：初稿撰写、验证、软件、方法论、概念设计。
Yan Shen：审阅与编辑、监督、概念设计。
Dan Li：可视化、验证、形式化分析。
Zelong Jiao：软件、验证、数据处理。
Yanbing Li：调查研究、概念设计、方法论。

**利益冲突声明**

作者声明不存在可能影响本文工作的已知竞争性经济利益或个人关系。

Chengming Wang | Yan Shen | Dan Li | Zelong Jiao | Yanbing Li