用于多模态 MRI 任意尺度超分辨率的尺度感知 Transformer 与高效二维高斯泼溅

《Pattern Recognition》：Scale-aware transformer and efficient 2D Gaussian Splatting for arbitrary-scale super-resolution of multi-modal MRI

　　

•首个用于多模态 MRI 任意尺度超分辨率的 2DGS 框架。
•显式地将跨模态依赖条件于上采样尺度。
•从特征解码向轻量级强度渲染的范式转变。
•将基于高斯的连续表示推广到多模态场景。
•实现了最先进质量，且推理速度提高 3 倍。

引言

磁共振成像（MRI）凭借其卓越的软组织对比度，成为临床诊断的基石。然而，高分辨率（HR）数据的采集从根本上受到 k 空间采样物理特性的限制，较长的扫描时间不可避免地增加了运动伪影的风险并延迟了临床工作流程 [1], [2]。超分辨率（SR）提供了一种独立于硬件的计算解决方案，以减轻这些物理限制。虽然深度学习通过显式建模高频细节已超越了传统插值 [3], [4], [5]，但流行的单模态方法往往未能利用 MRI 协议中嵌入的丰富互补信息 [6]。尽管不同的脉冲序列（例如 T1 和 T2）通过不同的对比机制可视化组织，但它们捕获的是相同的潜在解剖结构 [7], [8]。多模态 SR 利用这种结构一致性，利用来自快速采集模态（例如 T1）的高分辨率参考来引导耗时目标（例如 T2）的重建，从而获得优于单模态同类方法的结构保真度 [9], [10]。

现有的多模态 MRI SR 框架通常分为固定尺度和任意尺度两类。固定尺度方法 [11], [12] 依赖于特定尺度的网络（例如 ×2, ×3, ×4），这是一种僵化的范式，增加了部署成本并限制了临床灵活性。为了解决这个问题，隐式神经表示（INR）[13], [14] 已被改编用于多模态 MRI 的任意尺度超分辨率（ASSR）[15], [16], [17], [18]，将图像建模为连续函数而不是离散网格。例如，McASSR [15] 利用跨注意力变压器来捕获长程解剖依赖，而 Dual-ArbNet [16] 引入了一种双任意框架，通过隐式融合解码器解耦目标和参考分辨率。通过在特征空间中构建连续表示并通过坐标感知 MLP 进行解码，这些方法在向临床适用性迈出重要一步方面，近期对隐式采样和生成（ISG）框架的临床评估进一步支持了这种潜力 [19]。然而，尽管有这些架构上的进展，当前的多模态 ASSR 范式仍存在两个关键局限性。

首先，跨模态交互在不同尺度上本质上是非平稳的，然而大多数现有方法将其视为尺度无关的 [20], [21]。如图 1(a) 所示，MRI 退化源于 k 空间中高频成分的截断。随着上采样尺度的增加，频谱截断变得更加严重， drastically 减少了目标模态中的可靠细节，并将重建依赖转向参考模态。现有方法利用静态跨注意力或集成策略，未能显式地将跨模态依赖条件于此动态退化过程。其次，主导的基于 INR 的范式由于基于坐标的重解码而面临计算瓶颈。如图 1(b) 所示，这些方法需要在每个空间坐标查询深度 MLP 以恢复强度，导致高推理延迟。

最近，3D 高斯泼溅（3DGS）[22] 已成为连续表示的有力替代方案。通过用显式高斯原语和高效光栅化取代隐式神经函数，3DGS 实现了高质量渲染，其速度远超基于 MLP 的 NeRF [13]。虽然最近的研究已将这一概念扩展到 2D 自然图像 [23], [24]，但这些方法局限于单模态场景，缺乏 MRI 所需的跨模态对齐和信息流机制。

为解决这些局限性，我们提出了 GSMSR，这是一种用于多模态 MRI 任意尺度 SR 的新型框架，重新思考了交互机制和表示范式。GSMSR 显著提高了重建质量，同时加速了推理。首先，为了解决尺度无关性问题，我们设计了一种尺度感知跨模态 Transformer (SCFormer)。该模块通过两个关键组件显式地将跨模态依赖条件于上采样尺度：一个根据尺度先验动态调整有效感受野和相似性度量的三注意力块 (TAB)，以及一个平衡目标一致性和参考指导之间依赖关系的尺度调制融合 (SMF) 模块。这确保了网络在任何给定退化水平下都能与信息密度对齐。其次，我们设计了一种高效的基于 2DGS 的上采样管道，将连续表示从高维特征域转移到轻量级强度域。与依赖昂贵逐点解码的 INR 方法不同，我们的管道将特征映射到连续 2D 高斯场进行直接渲染。为了补偿单通道渲染中减少的特征交互，我们纳入了一个双向配准模块。这种机制将参考特征预对齐以扭曲高斯位置，将精确的结构指导直接注入到原语的几何属性中。在 IXI、BraTS 和 FastMRI 数据集上的大量实验表明，GSMSR 实现了最先进的重建质量，且参数更少、延迟低于现有的多模态 ASSR 方法。我们的贡献总结如下：

•我们提出了 GSMSR，这是首个基于 2DGS 的多模态 MRI 任意尺度 SR 框架。它克服了静态交互和效率低下解码的局限性，为 MRI 重建提供了一种紧凑且灵活的范式。
•我们设计了一种尺度感知跨模态 Transformer，将尺度影响解耦到特征提取和集成中。通过三注意力块和尺度调制融合，它实现了显式的、尺度自适应的跨模态依赖建模。
•我们设计了一种高效的基于 2DGS 的上采样管道，实现了强度域中的连续表示和快速渲染，并辅以双向配准模块将基于高斯的表示扩展到多模态设置。
•在三个公共数据集上的实验表明，GSMSR 以减少的参数和显著降低的延迟实现了最先进的性能，突显了其在时间敏感的 MRI 重建工作流程中的潜力。

章节片段

相关工作
我们从三个方面回顾了与 GSMSR 最相关的文献：多模态 MRI SR、任意尺度 SR 和高斯泼溅。表 1 按任务类别、上采样机制、模态使用和尺度灵活性总结了代表性方法。

预备知识与动机
我们解决多模态 MRI 的任意尺度超分辨率任务。给定目标低分辨率（LR）图像 ItarLR 和参考高分辨率（HR）图像 IrefHR，我们的目标是在任意上采样尺度 s 下重建高分辨率目标 ItarHR。退化过程建模为 k 空间截断：ItarLR=F?1(Ts(F(ItarHR)))，其中 F 表示傅里叶变换，Ts 表示依赖于尺度的截断掩码。
尺度感知交互的动机。从
总体架构 GSMSR
如图 2 所示，提出的 GSMSR 旨在从目标 LR 输入 ItarLR∈RH×W 和参考 HR 图像 IrefHR∈RsH×sW 重建高分辨率目标图像 ItarSR∈RsH×sW，给定任意上采样尺度因子 s。该框架由两个核心组件组成：用于深度特征提取的尺度感知跨模态 Transformer (SCFormer)，以及用于连续重建的高效基于 2DGS 的上采样模块。
最初，简单的卷积层提取浅层

数据集与基准
数据集。为了评估我们提出方法的有效性，我们在三个广泛使用的多模态 MRI 数据集上进行了实验：IXI、BraTS [39] 和 FastMRI [40]。我们为每个数据集配置了特定的模态对以模拟临床跨模态场景：对于 IXI，质子密度加权图像作为参考，T2 加权图像作为目标；对于 BraTS，T1 作为参考，T2 作为目标；对于 FastMRI，PD 作为参考，脂肪抑制 PD (FS-PD) 作为目标。这些对

结论
在本文中，我们提出了 GSMSR，一种用于多模态 MRI 任意尺度超分辨率的基于 2DGS 的框架。GSMSR 通过 SCFormer 解决了尺度无关交互问题，SCFormer 将特征提取和融合条件于上采样尺度，并通过高效的基于 2DGS 的上采样管道缓解了基于 INR 方法的解码瓶颈。通过集成双向配准，模型进一步将对齐的参考结构注入到高斯渲染中。在

CRediT 作者贡献声明
Yushuai Cui: 写作 - 初稿，可视化，验证，方法论，调查，形式分析，概念化。Hongying Liu: 写作 - 审阅与编辑，验证，指导，资源，项目管理，方法论，形式分析。Wenbin Zuo: 写作 - 审阅与编辑，调查。Chaowei Fang: 写作 - 审阅与编辑，形式分析。Fanhua Shang: 资源，项目管理。Liang Wan: 资源，项目管理。Lin Guo: 验证，

利益冲突声明
作者声明，他们没有已知的竞争财务利益或个人关系可能会影响本文中报告的工作。

Yushuai Cui|Hongying Liu|Wenbin Zuo|Chaowei Fang|Fanhua Shang|Liang Wan|Lin Guo|Ao Wei