DA-Mamba：一种基于双自适应Mamba的专家混合网络用于多对比度磁共振成像超分辨率

《Biomedical Signal Processing and Control》：DA-Mamba: A dual-adaptive Mamba-based mixture-of-experts network for multi-contrast MRI super-resolution

　　多对比磁共振成像超分辨率旨在利用不同对比度模态之间的互补解剖信息来提高高分辨率重建质量。然而，现有方法往往难以在计算效率与异质解剖结构和采集退化过程的适应性建模之间取得平衡，这依赖于计算成本高昂的注意力机制或空间均匀处理。为解决这些局限性，我们提出了DA-Mamba，一种双自适应Mamba框架，将高效的状态空间建模与混合专家路由相结合。具体而言，稀疏正交扫描（SOS）块通过稀疏路由自适应选择信息丰富的扫描方向，以捕获多样的空间结构和长程依赖关系。此外，语义感知软融合MoE（SSF-MoE）有条件地组合异构专家，以在变化多端的退化模式下改进跨对比度特征融合。在所有三个数据集上，DA-Mamba在所有六种×2和×4数据集规模设置中均取得了最高的PSNR和SSIM以及最低的RMSE。与最强竞争PSNR相比，在×2下增益至少为1.08 dB，在×4下至少为0.53 dB。路由分析进一步证明了稳定且可解释的专家特化。这些结果表明，自适应状态空间建模和专家路由对于多对比度MRI超分辨率是有效的。

引言

磁共振成像（MRI）是临床诊断中的关键模态。然而，获取高分辨率MRI受硬件限制，导致扫描时间延长和运动伪影[1]。MRI超分辨率通过从低分辨率扫描重建高分辨率图像，提供了一种实用的解决方案。近年来的研究越来越多地探索多对比度MRI，以利用跨模态的互补解剖信息实现更忠实、更高质量的重建[2]、[3]、[4]、[5]、[6]、[7]、[8]。

为了克服性能瓶颈，超分辨率范式已从局部建模策略演进为全局建模策略。早期的基于CNN的方法在捕捉局部模式方面很有效，但受到有限感受野的固有限制，难以建模长程依赖关系[9]、[10]。随后，基于Transformer的方法通过全局自注意力机制解决了这一限制[11]、[12]。然而，注意力相对于标记数量的二次计算复杂度，在高分辨率场景中带来了巨大的计算开销，如图1(a)所示。

状态空间模型（SSMs）为长程依赖关系建模提供了一种线性复杂度的替代方案[13]、[14]、[15]。近年来基于Mamba的重建模型已经证明了SSMs在高效高分辨率医学图像建模方面的潜力。然而，大多数现有的视觉SSMs仍然依赖于预定义或空间均匀的扫描模式，使其空间聚合对局部解剖方向和区域结构变化不敏感。这一局限性促使我们采用更具结构适应性的状态空间建模策略。

同时，参考引导的多对比度MRI超分辨率已通过隐式或可变形特征对齐[16]、[17]、高频或边缘引导交互[18]、[19]以及选择性结构转移[20]取得了进展。这些方法改善了跨对比度对应关系和细节传递，但它们主要关注对齐、上下文交互或结构先验。明确地将融合行为适应于参考可靠性随退化变化的情况仍探索较少，特别是在运动模糊、空间错位、强度不均匀性或目标域噪声改变跨对比度信息有用性的情况下[21]、[22]，如图1(b)所示。

综上所述，现有方法主要从各自独立的角度提高高效空间建模和跨对比度信息传递。尚未充分探索的是一个统一的重建框架，能够同时使状态空间扫描过程适应解剖结构，并使跨对比度融合过程适应依赖退化的参考可靠性。这一观察结果启发了本研究中开发的双自适应设计。

受这两个互补空白点的启发，我们提出了DA-Mamba，一种新颖的双自适应多对比度MRI超分辨率框架，它共同解决了状态空间建模中的结构异质性和跨对比度融合中依赖退化的变异性。DA-Mamba采用Mamba作为核心主干，取代计算成本高昂的自注意力机制，实现了可扩展的长程依赖关系建模。为解决标准SSMs的空间均匀性限制，我们引入了受混合专家（MoE）启发的稀疏正交扫描（SOS）块，该块提供了多个结构化扫描视图，并采用稀疏路由自适应地选择不同空间区域的信息丰富扫描模式。此外，为了应对多对比度MRI中多样且复杂的采集退化，我们提出了语义感知软融合MoE（SSF-MoE）。以目标（Tar）和参考（Ref）图像的联合表示为条件，SSF-MoE采用针对不同语义缺陷量身定制的异构专家，并通过软路由进行集成，从而在复合退化场景下增强细粒度解剖恢复，如图1(c)所示。

本研究的主要贡献总结如下：
• 我们提出了DA-Mamba，一个将SSMs和MoE统一用于多对比度MRI超分辨率的双自适应框架，能够在统一的重建框架内实现结构自适应状态空间建模和退化自适应跨对比度融合。
• 我们提出了SOS块，通过结构化扫描和稀疏专家选择增强医学图像中各向异性结构和长程依赖关系的建模。
• 我们提出SSF-MoE，以在异质采集退化下实现稳健的多对比度融合，提高细粒度解剖重建质量。
• 在所有六种数据集规模设置中，DA-Mamba取得了最高的PSNR和SSIM以及最低的RMSE。与最强竞争PSNR相比，在BraTs2020、IXI和fastMRI上，×2下的PSNR增益分别为1.20、1.08和1.39 dB，×4下分别为1.19、1.13和0.53 dB。路由分析进一步揭示了稳定且可解释的专家特化。

本文的其余部分组织如下。第2节回顾了关于自适应医学图像建模、多对比度MRI超分辨率、状态空间模型和混合专家架构的相关工作。第3节介绍了所提出的DA-Mamba框架，包括SOS块和SSF-MoE。第4节描述了实验设置以及与最先进方法的比较。第5节报告了消融研究，第6节分析了专家特化和路由行为。第7节讨论了所提出方法的解释、局限性、假设和适用性。最后，第8节总结全文。

章节片段

相关工作

医学图像分析和相关视觉任务中的一个反复出现的目标是，在不相应增加模型复杂度的情况下，使学习到的表示适应异质数据。基于适配器的方法在保持参数效率或局部细节的同时扩展空间上下文[23]、[24]，而混淆感知正则化和随机优化则在类不平衡或有限训练数据下提高鲁棒性[25]、[26]。这些研究与我们的适应性重点相同，但它们的...

DA-Mamba概述

如图2所示，DA-Mamba采用三分支协作架构进行多对比度MRI超分辨率，由重建流、参考流和风格先验流组成。给定低分辨率目标和高分辨率参考，重建流通过级联的风格化Mamba单元（SMCs）和分阶段上采样逐步恢复目标结构。

参考流从参考中提取多尺度解剖表示，并将其注入不同的重建阶段。

实验设置

数据集。我们在三个公开的多对比度MRI数据集上评估DA-Mamba：BraTs2020 [50]、[51]、[52]、IXI [53]和fastMRI [54]。遵循先前工作，我们使用T1/PD作为高分辨率参考，T2/PDFS作为低分辨率目标，并构建成对二维切片进行训练和评估。

实现细节。DA-Mamba使用PyTorch实现，并在两个NVIDIA RTX 3090 GPU上使用AdamW优化器训练，初始学习率为1×10??。学习率使用...

消融研究

在确定了DA-Mamba的整体重建性能后，我们接下来通过受控消融研究分离其自适应组件的贡献。

SOS块的有效性。我们比较了SOS块中的不同路由策略，包括无路由、软路由和具有不同稀疏度的稀疏Top-k路由。如表3所示，引入路由相较于无路由基线始终能提高重建质量，证明了自适应...

专家特化和路由行为分析

消融结果量化了自适应路由的贡献，但没有解释路由机制在内部如何表现。因此，我们进一步分析了专家利用率、方向特化和依赖退化的路由模式。

专家利用率的定量评估。为了评估路由稳定性并检测潜在的专家崩溃，我们分析了BraTs2020上的专家激活情况。如图6所示，SSF-MoE和SOS块都保持了平衡的专家...

讨论

消融和路由分析表明，两种适应形式以互补方式作出贡献。选择性方向路由与结构依赖的空间聚合相关，而专家利用率随退化的变化表明，跨对比度融合随输入特征的可靠性而改变。总之，这些观察结果为主要实验中报告的定量改进提供了机制层面的支持。

当前评估...

结论

我们提出了DA-Mamba，一种用于多对比度MRI超分辨率的SSM-MoE框架，通过所提出的SOS块和SSF-MoE实现了结构感知和语义自适应特征建模。通过联合集成自适应状态空间扫描和退化感知专家融合，DA-Mamba有效利用了参考模态的互补解剖信息。在所有六种数据集规模设置中，DA-Mamba取得了最高的PSNR和SSIM以及最低的RMSE，PSNR增益...

CRediT作者贡献声明

Cunang Jiang：写作——原稿，方法学，概念化。Yuchen Zhou：软件，方法学。Jiayuan Song：可视化，验证。Yu Dai：写作——审阅与编辑，资金获取。

资金

本研究得到了国家自然科学基金（资助号：62573241）的资助。

利益冲突声明

作者声明，他们不知道可能影响本文所报告工作的任何已知竞争经济利益或个人关系。

Cunang Jiang | Yuchen Zhou | Jiayuan Song | Yu Dai