LMACV：一种融合ACmix局部特征与VMamba全局建模的轻量化多模态医学图像融合框架

《Neurocomputing》：LMACV: A lightweight multiscale ACmix–VMamba framework for efficient multimodal medical image fusion

本研究针对多模态医学图像融合（MMIF）中CNN感受野有限与Transformer二次计算复杂度的瓶颈，提出轻量级LMACV框架。通过分组ACmix模块提取局部细节，结合基于VMamba的多阶段视觉状态空间（MVSS）模块实现线性复杂度的全局建模。实验表明该方法在SPECT/MRI、PET/MRI、CT/MRI融合任务中显著提升视觉质量与定量指标，并在下游分割检测任务中展现优异泛化能力，为临床实时诊断提供新方案。

　　

在临床诊断中，医生常常需要同时观察计算机断层扫描（CT）显示骨骼结构、磁共振成像（MRI）呈现软组织对比度，以及正电子发射断层扫描（PET）反映代谢活性等多源信息。然而现有成像设备无法一次性捕获所有这些特征，导致医生不得不反复比对不同模态的图像，既影响诊断效率又可能遗漏关键信息。多模态医学图像融合（Multimodal Medical Image Fusion, MMIF）技术正是为了解决这一痛点而生，它通过智能算法将不同成像模式的优势互补性地整合到一张图像中。

传统融合方法如多尺度变换和稀疏表示虽计算高效，但依赖人工设计特征，适应性有限。近年来卷积神经网络（CNN）和Transformer虽提升了融合性能，却各自存在明显缺陷：CNN因局部感受野难以捕捉长程依赖，而Transformer虽擅长全局建模却伴随二次计算复杂度，难以在资源有限的临床环境中部署。正是在这样的背景下，重庆医科大学团队在《Neurocomputing》上发表的研究中提出了LMACV框架，巧妙结合了局部特征提取与全局语义建模的优势。

本研究核心技术方法包括：1）构建轻量化二级多尺度金字塔结构，通过分组自注意力卷积（grouped ACmix）在多个分辨率分支上提取局部细节；2）设计基于视觉状态空间模型VMamba的多阶段视觉状态空间（MVSS）模块，利用定向扫描机制进行线性复杂度的全局依赖建模；3）采用包含梯度损失和结构相似性的复合损失函数优化融合过程。实验使用SPECT/MRI、PET/MRI、CT/MRI三组临床数据集进行验证。

方法论

LMACV框架采用双分支多尺度金字塔架构。上分支通过分组ACmix操作在多个尺度空间捕获局部纹理特征，其分组设计显著降低参数量的同时保持了感受野的扩展能力。下分支引入创新的多阶段视觉状态空间（MVSS）模块，该模块基于VMamba构建，通过水平与垂直双向扫描策略建立长程依赖关系，其状态空间模型（SSM）的数据依赖性动态记忆机制实现了输入自适应的特征传播。两个分支的特征在多尺度金字塔各层级进行加权融合，最终通过重构模块生成融合图像。

实验

在SPECT/MRI、PET/MRI、CT/MRI三个典型多模态任务上的定量评估显示，LMACV在峰值信噪比（PSNR）、结构相似性（MS-SSIM）和视觉保真度（VIF）等关键指标上超越主流方法。值得注意的是，虽然在某些像素级保真度指标（如MSE）上未达最优，但在反映临床实用性的信息熵（EN）和感知对比度指标上表现突出。消融实验证实了分组ACmix和MVSS模块的协同增效作用——移除任一组件都会导致细节保存或全局一致性下降。参数量比较表明LMACV仅需约1/3的参数量即可达到Transformer基模型的性能水平。

讨论

不同评估指标对融合质量的侧重维度存在差异：PSNR和MSE主要衡量像素级保真度，而EN和VIF更关注全局信息保存和视觉感知质量。LMACV在后者上的优势说明其更符合临床诊断对功能信息和解剖结构同步呈现的需求。分组ACmix与VMamba的协同设计有效解决了CNN的远程上下文缺失和Transformer计算瓶颈的双重挑战。特别值得关注的是，在下游任务泛化测试中，LMACV融合图像训练的病灶分割模型达到87.2%的Dice系数，较基线提升5.3%，证明其融合结果能有效支持精确诊疗。

结论

LMACV框架通过创新性地整合分组ACmix局部操作与VMamba全局建模，在保持线性计算复杂度的前提下实现了多模态医学图像的高效融合。其轻量化设计（参数量减少约67%）特别适合临床实时应用场景，在病灶分割、目标检测等下游任务中展现的强泛化能力，为跨模态辅助诊断提供了新的技术路径。未来研究可进一步探索该框架在动态医学图像序列融合和三维重建中的扩展应用。