用于加速MRI重建的具有双层局部补偿的分层残差Swin Transformer

《Magnetic Resonance Imaging》：A hierarchical residual Swin transformer with dual-level locality compensation for accelerated MRI reconstruction

　　

# 摘要

磁共振成像（MRI）具有高分辨率、优异的软组织对比度和可靠的解剖结构分辨能力，因此在临床诊断中得到广泛应用。然而，较长的采集时间仍然限制了成像效率和临床通量。尽管基于卷积神经网络（CNN）的深度学习方法在从欠采样k空间数据重建图像方面展现了相当大的前景，但现有方法在激进欠采样条件下往往无法保留精细的结构细节和纹理连续性。在本研究中，我们提出了一种基于Swin Transformer的新型重建网络，该网络集成了三个关键组件：(i) 长残差连接，以促进高频细节的恢复；(ii) 双层局部补偿机制，以恢复局部空间信息；(iii) 通道重校准模块，以显式捕获通道之间的全局依赖关系，从而增强全局特征提取。在IXI数据集和MICCAI 2013数据集上进行的大量实验表明，所提出的方法在所有欠采样掩膜类型下均 consistently 优于几种对比的基于生成对抗网络（GAN）的MRI重建方法，在各种设置下，相较于最佳竞争方法实现了约0.6–1 dB的PSNR提升。实现代码可在以下地址获取：https://github.com/cvgjhuor/HR-SwinGAN。

# 引言

磁共振成像（MRI）提供高分辨率、强软组织对比度和可靠的解剖结构分辨能力，因此对于神经、肌肉骨骼及其他软组织疾病的诊断具有重要意义。与此同时，MRI仍然受到采集速度的限制。较长的扫描时间增加了患者负担和扫描仪占用时间，并使成像更容易受到呼吸和运动的影响，从而引入额外的伪影并降低稳定性。这一问题在需要高时间效率或高结构保真度的场景中尤为关键，在这些场景中，扫描速度、图像质量和临床可用性必须同时加以平衡。在实践中，加速通常通过欠采样k空间然后重建高质量图像来实现。在这种设置下，核心挑战仍然是如何在抑制全局混叠的同时保持结构一致性和精细的解剖细节。

早期关于加速MRI重建的工作建立在经典框架之上，如并行成像[1]、[2]和压缩感知MRI[3]。这些方法通过结合线圈冗余、显式先验和数据一致性约束，从不完整的观测中恢复目标图像。并行成像强调多线圈冗余补偿，而压缩感知强调稀疏先验、非均匀采样和迭代优化。后来的变分公式进一步将重建组织为更系统化的目标驱动求解器。这些模型驱动的方法提供了清晰的物理和数学可解释性，并奠定了加速MRI的基础。然而，它们通常需要冗长的迭代过程和仔细的参数调整。在高加速因子下，先验的表达能力和优化效率都成为瓶颈。当采样率进一步降低时，过强的手工设计的正则化会平滑细节、模糊边界并去除局部纹理。

随着深度学习的发展，MRI重建逐渐从模型驱动的优化转向数据驱动的映射。与经典方法相比，深度网络可以直接从数据中学习更强的隐式先验，并通过前向推理提供更快的部署。Wang等人[4]首次提出了一种多层卷积神经网络（CNN）模型，在清晰MR图像的监督下进行MRI重建。类似地，Schlemper等人[5]利用深度级联卷积网络改进了动态MRI重建，将多阶段重建组织为可学习的级联。另一种方法称为展开式模型驱动深度学习，将用于求解正则化逆问题的迭代算法展开为深度架构，从而将MRI测量算子直接纳入网络。例如，Hammernik等人[6]将变分建模与学习重建相结合，强化了数据一致性和表示能力的联合建模。Yang等人[7]提出了ADMM-Net，将交替方向乘子法（ADMM）展开为深度网络，将迭代更新映射到卷积、收缩和乘子更新层。通过学习变换滤波器与收缩函数，ADMM-Net以更少的迭代次数实现了精确重建，并在基于优化的压缩感知与深度学习之间提供了原则性的桥梁。这些模型驱动架构强化了数据一致性并提供更参数高效的重建，但它们依赖监督学习和手工设计的网络结构，激发了对更自适应先验的进一步探索。

为追求更具表现力的生成先验，一系列基于生成对抗网络（GAN）的架构被开发出来，用于从欠采样测量中重建MR图像。DAGAN[8]采用生成器-判别器对抗训练方案，恢复在传统损失函数下通常丢失的精细解剖细节。RefineGAN[9]通过循环一致性约束进一步推动了这一方法。另一条路线更明确地关注结构感知设计。SEGAN[10]将结构恢复作为主要目标，强调局部和全局结构的协同建模。RSCA-GAN[11]利用残差自校准注意力自适应地重新校准特征响应，而MCA-GAN[12]利用多尺度通道注意力聚合跨空间尺度的上下文信息。DGEDDGAN[13]采用双生成器设计，将去混叠和结构细化分离为协同子网络。尽管这些基于GAN的方法在感知质量上较纯粹数据驱动或模型驱动的对标方法有了显著改善，但其生成器架构仍然以CNN为主。因此，它们本质上依赖局部感受野，在欠采样伪影全局分布的情况下难以捕获长程结构依赖关系。

为解决基于CNN的生成模型固有的局部性限制，Vision Transformer（ViT）[14]被引入MRI重建，以通过其自注意力机制利用全局上下文。由Zhao等人[15]开发的SwinGAN，在双域GAN架构中采用了Swin Transformer框架，该架构包含一个频域生成器和一个图像域生成器。这种双域设计表明，显式的频域处理有利于伪影抑制和结构保真度。沿这一方向，同一研究组提出了DiffGAN[16]，这是一种对抗扩散模型，将局部Transformer集成到去噪网络中。通过将扩散模型的生成多样性与对抗优化相结合，DiffGAN实现了高保真重建，并具有增强的纹理保真度和锐度，其中Transformer组件有助于在迭代细化过程中学习长程特征相关性。最近，Zhang等人[17]引入了CS-SwinGAN，这是一种基于Swin Transformer的GAN，配备压缩感知预增强模块，用于多线圈MRI重建。该方法显式地在频域中强制执行稀疏性并加强多线圈数据一致性，将物理采集先验直接嵌入生成过程，从而产生改善的重建精度和对重度欠采样的鲁棒性。递归Transformer重建也在加速MRI中进行了研究，见ReconFormer[18]。DCT-net进一步探索了双域交叉融合Transformer建模用于MRI重建[19]。总体而言，这些Transformer-GAN混合方法展示了全局上下文建模在抑制分布的欠采样伪影和保持解剖连续性方面的益处。然而，Transformer通常被插入作为更强的全局上下文编码器，而对重建特定需求的结构适配仍然发展不足。

尽管基于SwinGAN的MRI重建已取得显著进展，但现有方法仍存在至少三个相互关联的局限性。第一，大多数架构作为通用的分层提取器运作，缺乏跨阶段残差连接，这容易导致在深层中解剖细节退化。第二，窗口注意力机制虽然能捕获窗口内部和跨窗口的长程依赖关系，但对相邻像素之间局部空间相关性的显式建模不足，阻碍了精细边界和微妙纹理的精确保留。第三，解剖结构和残余混叠伪影往往跨越特征通道纠缠在一起，然而通道间的依赖关系很少被利用来抑制伪影主导的响应。

为解决这些局限性，我们提出了一种用于MRI重建的层次残差Swin Transformer，结合了双层局部补偿机制和GAN模型。主要贡献总结如下：

1. 为了维持连续的结构流动并保留高频细节，我们构建了一个层次残差重建网络，不同于通用的特征提取架构。该网络在U-Net式编码器-解码器架构中采用残差Swin Transformer单元，并在对应的编码器和解码器阶段之间建立长程跳跃连接，提供直接的特征融合，在重建过程中连贯地保留结构信息。

2. 我们设计了一个增强的Swin Transformer块（ESTB），配备双层局部补偿机制，使用两级位移卷积来加强精细局部结构的建模。

3. 为了显式捕获全局通道间依赖关系，我们纳入了一个低参数残差通道注意力块（LRCAB）。通过自适应地重新校准通道级特征响应，LRCAB抑制冗余和容易产生伪影的组件，同时增强对精确MRI重建至关重要的信息性特征。

本文其余部分组织如下：第2节讨论一些相关工作。第3节描述所提网络的整体架构及其主要组件。第4节提供实验结果，第5节进行讨论。最后，第6节总结我们的工作。

## 相关工作片段

### 基于CNN的GAN用于MRI重建

受深度学习在计算机视觉中取得的巨大成功的启发，几项研究将基于CNN的深度学习应用于从欠采样k空间数据重建MRI。Wang等人[4]首次引入了一种CNN模型，该模型在清晰MR图像的监督下离线学习这一映射。随后，Schlemper等人[5]提出了一种用于动态MRI重建的深度级联卷积网络，将多阶段重建组织为可学习的级联，进行迭代……

## 整体架构

如图1所示，所提出的网络结构包含两个主要组件：一个双域生成器模块和一个判别器模块。在准备步骤中，全采样k空间数据通过采样掩膜进行子采样以生成欠采样输入。双域生成器主要由两个级联的基于Swin Transformer的生成器组成。首先，一个在频域中运行的k空间类U-Net Swin Transformer（缩写为SwinUnet）重建完整的k空间，然后……

## 数据集

我们在两个公开的脑MRI数据集上评估所提出的方法：IXI1上的T1加权MRI和MICCAI 2013挑战数据集2间脑子集的脑MRI。IXI数据集包含581张高分辨率T1加权脑MR图像，从伦敦三家不同医院的健康受试者中采集，面内分辨率为0.93 × 0.93 mm2，层厚为1.2 mm。MICCAI……

## 讨论

我们首先讨论每个所提出的架构组件对观察到的重建质量的贡献。层次残差重建框架通过长残差连接维持编码器侧结构线索与后续解码阶段之间的连接，使网络能够在不过度依赖瓶颈表示的情况下保留解剖连续性。双层局部补偿机制在两个位置补充了窗口注意力：一个分支……

## 结论

在本工作中，我们开发了一种基于窗口的Transformer方法，集成了长残差连接、双层局部补偿机制（EX-ShiftConv和IN-ShiftConv）以及通道重校准模块（LRCAB）。在IXI和MICCAI 2013数据集上的大量实验表明，所提出的方法在20%、30%和40%的采样率下，在PSNR和SSIM指标上 consistently 优于所对比的基于GAN的MRI重建方法。消融实验证实了……

## 生成式AI在科学写作中的声明

在本工作的准备过程中，作者使用Grammarly进行语法纠正。在使用该工具/服务后，作者根据需要审阅和编辑了内容，并对出版物的内容承担全部责任。

## CRediT作者贡献声明

黄锦红：资源获取、项目管理、资金获取、数据管理、概念化。

孙广隆：撰写-审阅与编辑、撰写-原稿、验证、方法论、调查。

李心真：验证、监督、调查、形式分析。

杨子涵：验证、调查、形式分析。

周根交：监督、形式分析。

## 资助信息

本工作部分由国家自然科学基金（编号：82660420和62266002）和江西省自然科学基金（编号：20232BAB206133）资助。

## 利益冲突声明

作者声明不存在利益冲突。

## 致谢

我们衷心感谢匿名审稿人提出的宝贵意见和建议。本工作部分得到国家自然科学基金（编号：82660420和62266002）和江西省自然科学基金（编号：20232BAB206133）的支持。

**黄锦红 | 孙广隆 | 李心真 | 杨子涵 | 周根交**