基于混洗重组梯度Mamba的多模态医学图像融合算法研究

本文推荐一种创新的混洗重组梯度Mamba框架（SRGM），通过局部全局梯度Mamba模块（LGGM）和注意力引导跨模态Mamba（AGCM），结合混洗重组扫描策略（SRC），解决了多模态医学图像融合（MMIF）中长程依赖建模与空间细节保留的难题。实验表明该方法在CT-MRI、PET-MRI等任务中超越现有技术（SOTA）。

　　

Highlight

本文提出专为多模态医学图像融合（MMIF）设计的混洗重组梯度Mamba框架（SRGM），包含三大核心组件：局部全局梯度Mamba模块（LGGM）通过梯度注意力机制，在保留丰富空间细节的同时建模长程依赖；混洗重组扫描策略（SRC）打破传统Mamba固定扫描的局限性，实现无偏的局部与全局建模；注意力引导跨模态Mamba（AGCM）则通过空间与通道注意力机制，有效整合跨模态互补特征并减少冗余。

Methods

本节首先介绍状态空间模型（State Space Models）基础理论，随后详细阐述SRGM框架的网络架构、模块设计及损失函数。LGGM模块通过水平与垂直梯度计算生成注意力图，动态强化关键区域特征；SRC策略引入随机性增强建模鲁棒性；AGCM模块聚焦病灶等兴趣区域，实现跨模态特征优化融合。

Experimental configurations

数据集： 采用哈佛²医学数据集验证SRGM在CT-MRI、PET-MRI和SPECT-MRI融合任务中的有效性。具体配置为：CT-MRI任务使用160对训练图像和24对测试图像；PET-MRI与SPECT-MRI任务分别使用245对和333对训练图像，均保留24对测试图像。

Conclusion

SRGM框架通过LGGM模块、SRC策略和AGCM模块的协同作用，显著提升MMIF性能。实验证明其在多种模态融合任务中均优于现有方法，为临床诊断提供了更可靠的影像支持。