基于多尺度状态空间建模的结构-功能医学图像融合方法MSMFusion

《Biosensors》:Physics-Guided Neural Phase Demodulation for Non-Contact Laser-Ultrasound Sensing of Corneal Phantom Deformation

【字体: 大 中 小 】 时间:2026年10月14日 来源:Biosensors 5.6

编辑推荐:

  专业摘要翻译 多模态医学图像融合旨在整合来自不同成像技术的信息,以生成一幅信息全面且细节丰富的融合图像。结构成像和功能成像分别提供高分辨率的解剖细节与组织代谢信息。互补性融合能够提升定量融合质量,并在同一视图中同时保留结构与功能信息,有助于临床判读。当前,基于

  
专业摘要翻译 多模态医学图像融合旨在整合来自不同成像技术的信息,以生成一幅信息全面且细节丰富的融合图像。结构成像和功能成像分别提供高分辨率的解剖细节与组织代谢信息。互补性融合能够提升定量融合质量,并在同一视图中同时保留结构与功能信息,有助于临床判读。当前,基于卷积神经网络的方法难以高效捕获全局特征,而基于Transformer的模型擅长全局建模,但计算成本相对较高。为解决上述问题,研究人员提出MSMFusion,一种用于互补性结构-功能医学图像融合的多尺度状态空间建模方法。多尺度特征提取模块首先提取各模态特有的多尺度结构特征;随后,双路径MSMamba以线性复杂度建立长距离依赖:全分辨率扫描路径保留精细边界与纹理,而下采样扫描路径以更紧凑的序列建模全局上下文;最后,门控自适应融合模块基于局部内容估计空间-通道权重,选择性地整合解剖结构与功能代谢信息。在哈佛医学图像数据集上,MSMFusion在MRI-PET任务中实现了2.2181的互信息(MI)、32.9390的峰值信噪比(PSNR)和0.7616的结构相似性(SSIM),并在MRI-CT和MRI-SPECT任务上优于多种基于CNN、GAN、Transformer和Mamba的代表性方法。与Transformer主干相比,MSMamba将参数量从7.201M降至4.154M,浮点运算量(FLOPs)从476.738G降至159.239G,以更低的计算成本实现更优的融合质量,同时保留精细的解剖结构和关键功能信息。

论文解读

一、研究背景与问题

临床影像判读往往需要同时把握解剖形态与生理代谢信息。磁共振成像(Magnetic Resonance Imaging,MRI)具有高空间分辨率和清晰的软组织对比度,适合描绘解剖边界;正电子发射断层扫描(Positron Emission Tomography,PET)和单光子发射计算机断层扫描(Single-Photon Emission Computed Tomography,SPECT)则反映组织代谢活动与功能状态。两类信息在空间上互补,但源于不同的成像机制,分开查看时难以在同一视野内同时观察解剖结构与代谢活动。因此,将多模态图像压缩为单一且更易读的结果,成为医学图像分析中的重要课题。
早期方法多依赖手工设计的变换和预定义规则,如多尺度分解、稀疏编码和基于优化的求解方法。这些流程相对可解释,但对复杂病灶形态和模态差异的适应性有限。深度学习随后被引入该任务,以数据驱动方式学习特征和融合映射,提升了整体质量。然而,现有网络仍存在三个显著不足:其一,许多方法将源图像沿通道维度拼接后输入单一卷积主干,多尺度建模不足,精细解剖结构和局部病灶响应容易被平滑掉;其二,卷积的有限感受野导致跨区域长距离依赖建模不充分,融合前难以对齐全局上下文;其三,跨模态聚合仍常以特征相加或拼接实现,缺乏根据空间内容分配模态权重的机制,解剖纹理与功能伪彩色图易相互抑制。虽然Transformer可弥补长距离建模,但其自注意力具有二次复杂度,在高分辨率医学图像上开销过大。状态空间模型提供了线性复杂度的长序列建模路径,但直接应用仍缺乏针对医学融合定制的多尺度表示和显式跨模态交互。

二、研究内容与核心贡献

针对上述问题,研究人员提出MSMFusion框架,通过多尺度状态空间建模实现互补性结构-功能医学图像融合。两个源图像首先进入并行的多尺度特征提取模块(Multiscale Feature Extraction Module,MSFEM),获得模态特有、尺度对齐的局部表示;随后,双路径MSMamba通过结构化状态空间扫描建立长距离空间依赖:全分辨率路径保留边界和纹理,下采样路径以更短的序列聚合全局上下文;最后,门控自适应融合模块(Gated Adaptive Fusion Module,GAFM)根据局部内容估计空间-通道权重,选择性地结合解剖分支和功能分支,重建同时包含软组织细节与代谢信息的融合图像。该方法不仅有效捕获局部多尺度的显著特征,还充分利用全局上下文信息,良好整合跨模态互补信息,进一步提升融合性能。
主要贡献包括:提出结合卷积局部建模与状态空间长距离建模的MSMFusion框架;设计多尺度特征提取模块,通过膨胀卷积获得不同尺度的感受野,并利用通道与空间注意力引导网络关注各模态特有的结构信息;创新性地设计采用双路径扫描扩展策略的MSMamba模块,结合两条全分辨率和两条下采样扫描路径,实现全面的空间覆盖;设计自适应门控融合模块,根据空间位置自适应调整两种模态的贡献,弥补状态空间模型中缺乏显式跨模态交互的不足。

三、关键技术方法

研究人员主要采用了以下关键技术方法。多尺度特征提取模块(MSFEM):通过3×3卷积提取浅层特征,经通道注意力与空间注意力增强模态特有结构信息,随后采用五分支结构,包括1×1卷积分支、三种不同膨胀率(6、12、18)的3×3卷积分支以及全局平均池化分支,捕获多尺度上下文信息。MSMamba模块:采用双路径扫描扩展策略,包含两条全分辨率扫描路径和两条步长为2的下采样扫描路径,经S6块处理后通过双线性插值恢复尺寸,实现线性复杂度的长距离建模。门控自适应融合模块(GAFM):将两种模态特征沿通道维度拼接,经含批归一化和ReLU激活的双卷积层子网络及Sigmoid函数生成联合空间-通道门控图,通过逐元素加权求和得到融合特征。损失函数由强度损失、梯度损失、结构相似性损失和总变差正则化损失四部分构成,权重分别设为20、100、100和1。数据集方面,训练集包含184对MRI-CT图像、269对MRI-PET图像和357对MRI-SPECT图像,测试集包含21对MRI-CT、42对MRI-PET和73对MRI-SPECT图像,均来自哈佛全脑图谱;另在MSRS数据集(1083对训练、361对测试)和RoadScene数据集(177对训练、44对测试)上验证了可见光-红外融合的适用性。

四、研究结果

4.1 MRI-CT融合结果

在MRI-CT任务上,MSMFusion在七项指标中的六项上取得最高值。空间频率(SF)、互信息(MI)、峰值信噪比(PSNR)、结构相似性(SSIM)、视觉信息保真度(VIF)和边缘保持度(QAB/F)分别为32.0921、2.3306、32.3425、0.7267、0.7166和0.5876。其中MI和SF的领先幅度最为明显。信息熵(EN)为4.9133,低于MMIFINet(5.5939)、MambaDFuse、MATR、SwinFusion(4.9518)和FATFusion(4.9414),是该数据集上的劣势指标。定性结果显示,MSMFusion保留了MRI纹理和CT骨骼,边界清晰,对比度适中。

4.2 MRI-PET融合结果

在MRI-PET任务上,MSMFusion在MI、VIF、QAB/F、PSNR和SSIM五项指标上取得最高值。MI为2.2181,高于SAFusion的2.1834;VIF为0.8208,QAB/F为0.6965;PSNR和SSIM分别为32.9390和0.7616,仅略高于SwinFusion(32.9349)和U2Fusion(0.7607)。EN为4.3326,SF为25.3561,均低于多种对比方法。定性结果显示,MSMFusion保留了MRI纹理、均匀的PET颜色和一致的解剖轮廓。

4.3 MRI-SPECT融合结果

在MRI-SPECT任务上,MSMFusion在MI和PSNR上优势最为明显,分别为2.3275和34.2085。SSIM、VIF和QAB/F也均为最高,但领先幅度较小。EN为3.6137,处于中间位置;SF为20.6452,低于SwinFuse、FusionMamba和MATR。定性结果与定量指标一致,功能区域和MRI边界更清晰。

4.4 可见光-红外融合结果

在MSRS数据集上,EN、PSNR和VIF分别为6.6357、30.7152和0.9082,均为最高;SSIM为0.6766,略高于MambaDFuse(0.6764);MI低于MambaDFuse;SF低于SAFusion、FATFusion和FusionMamba。在RoadScene数据集上,MI、PSNR和VIF分别为2.4078、29.2745和0.7910,均为最高;SSIM为0.6311,略高于SwinFusion(0.6224);EN、边缘保持度和SF均低于部分对比方法。跨两个数据集,PSNR和VIF均为最高。

4.5 消融实验

消融实验验证了各核心组件的有效性。将MSFEM替换为普通卷积后,边缘相关指标下降最为显著;移除MSMamba导致更大性能退化,MRI-PET上SSIM降至0.1974、PSNR降至27.5253;将GAFM替换为逐元素相加后,MRI-PET上SSIM和QAB/F分别降至0.1059和0.1442。完整模型在MI、VIF、PSNR、SSIM和边缘保持度上均为最高。MSMamba块数量实验表明,3个块在MI、PSNR、SSIM、VIF和SF上均为最高,因此采用3个块。与Transformer和Swin Transformer替代方案相比,MSMamba在参数量(4.154M vs 7.201M vs 8.782M)、FLOPs(159.239G vs 476.738G vs 555.658G)和推理时间(58.92ms vs 94.11ms vs 106.62ms)上均显著更低。扫描路径消融实验表明,双路径策略(两条全分辨率加两条下采样)在五项质量指标上均为最高,同时扫描序列量仅为四路径全分辨率方案的1.25倍,推理时间更短。

五、参数分析与讨论

参数分析实验在MRI-PET任务上逐一调整各损失权重。将任一权重偏离选定设置(λ1=20,λ2=100,λ3=100,λ4=1)都会降低与该项相关的指标。λ1=5时VIF从0.82降至0.44、SSIM从0.76降至0.49;λ2=25时VIF降至0.42;λ3=25时SSIM降至0.33、PSNR降至29.60;移除总变差项时VIF降至0.51;λ4=10时边缘保持度降至0.43。在选定设置下,SF、MI、PSNR、SSIM、VIF和边缘保持度均为最高值。

六、研究结论

为应对多模态医学图像融合中局部细节保留不足、全局依赖建模成本高以及跨模态信息自适应整合困难的问题,研究人员提出基于多尺度Mamba的融合框架MSMFusion。该方法以CNN与状态空间模型的协作为核心:多尺度特征提取模块捕获模态特有的多尺度局部结构;多尺度Mamba模块以线性复杂度建立长距离空间依赖,并采用全分辨率与下采样路径结合的双路径扫描策略,平衡精细细节与高效全局建模;门控自适应融合模块根据空间内容选择性加权双模态特征,生成同时保留解剖结构与功能信息的高质量融合图像。
在哈佛医学影像数据集上的大量实验表明,MSMFusion在MRI-CT、MRI-PET和MRI-SPECT三项任务上均取得有竞争力的融合性能。与多种代表性方法相比,该方法在MI、VIF和QAB/F上均为最高,PSNR和SSIM同样最高。EN在三个任务上均较低,SF仅在MRI-CT上最高。保真度和信息保留是优势,熵在所有任务上是劣势,空间频率在两个功能任务上是劣势。同一模型也适用于MSRS和RoadScene上的可见光-红外融合,PSNR和VIF在两个数据集上均为最高。
这些结果仅限于二维切片。MSMFusion未建模沿Z轴的连续性,跨切片空间上下文在融合图像中缺失,这是临床图像融合的重要局限。在配准切片对上的性能不能直接推广到体量化的临床应用。指标比较描述了公开图像上的融合质量,分数越高表明结构和功能信息保留越好,这些指标结果有助于临床判读。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号