基于长程关联引导双编码器的多模态医学图像融合网络研究

《Scientific Reports》：Long-range correlation-guided dual-encoder fusion network for medical images

本研究针对多模态医学图像融合中模态间特征依赖关系被忽视、不同粒度特征融合能力不足的问题，提出了一种长程关联引导的双编码器融合网络。该网络通过跨维度多尺度特征提取模块（CMFEM）实现细粒度特征增强，利用长程关联融合模块（LCFM）捕获模态间长程依赖关系，在肺部CT/PET和脑部MRI/PET数据集上显著提升了IE、AG、QAB/F、EI等客观评价指标，为临床诊断提供了更全面的影像学支持。

　　

在临床诊断中，医生经常需要同时参考不同模态的医学图像来做出准确判断。比如CT能清晰显示骨骼结构，PET可反映代谢活性，MRI擅长软组织成像。但单一模态图像存在信息局限：CT对软组织对比度差，PET空间分辨率低，MRI又不显示代谢信息。传统融合方法往往忽视不同模态间的特征关联，导致重要诊断信息丢失，融合图像容易出现细节模糊、对比度不足等问题。

为了解决这些难题，宁夏北方民族大学的研究团队在《Scientific Reports》发表了创新性研究。他们开发的长程关联引导双编码器融合网络，通过两个核心模块突破技术瓶颈：跨维度多尺度特征提取模块（CMFEM）能够同时捕捉高度和宽度方向的多尺度特征；长程关联融合模块（LCFM）则通过计算局部与全局特征的相关系数，有效捕获模态间的长程依赖关系。

研究采用的技术方法主要包括：1）使用临床采集的肺部CT/PET数据集（95例患者）和哈佛脑图谱的MRI/PET数据集；2）构建双分支密集连接架构实现特征复用；3）通过自适应池化降低长程关联计算复杂度；4）结合强度损失和梯度损失的混合损失函数进行无监督训练。

研究结果方面，通过系统的实验验证取得了显著成效：

CT肺窗图像与PET图像融合

视觉结果显示，该方法在保留CT图像支气管结构的同时，显著突出了PET图像的病灶信息。定量分析表明，在IE（信息熵）、AG（平均梯度）、Q^AB/F、EI（边缘强度）等指标上分别提升4.53%、4.10%、6.19%和6.62%，明显优于NSCT、LatLRR等9种对比方法。

CT纵隔窗图像与PET图像融合

融合图像在保持骨骼结构清晰度的同时，病灶区域对比度更加明显。客观评价指标在AG、VIF（视觉信息保真度）、Q^AB/F等方面分别提升4.47%、6.74%和8.74%，表明方法在纹理细节和视觉质量方面的优势。

MRI脑图像与PET图像融合

该方法在保持脑组织结构层次感的同时，有效融合了PET的功能信息。在SF（空间频率）、VIF、Q^AB/F等指标上分别提升3.88%、15.71%和7.99%，实现了结构与功能信息的最佳平衡。

消融实验验证

通过逐步添加网络模块的实验表明：完整模型在各项指标上均优于简化版本，证实了CMFEM和LCFM模块的有效性。特别是LCFM模块中 pooling size=16×16时，在计算效率和融合质量间达到最佳平衡。

Pooling尺寸对比实验

研究表明，当特征图压缩为16×16大小时，FLOPs（浮点运算次数）仅为94.75G，参数量556.8K，在保持融合质量的同时显著降低了计算复杂度。

研究结论表明，该融合网络成功解决了多模态医学图像融合中的三个关键问题：通过密集连接结构增强了特征复用能力，利用跨维度注意力机制实现了多尺度特征提取，基于长程关联计算突破了模态间特征融合的瓶颈。在肺部肿瘤和脑部疾病的诊断中，融合图像既能清晰显示解剖结构，又能突出代谢异常区域，为临床医生提供了更全面的诊断依据。

这项研究的重要意义在于：首先，提出了全新的长程关联引导融合机制，为多模态医学图像处理提供了新思路；其次，在真实临床数据集上验证了方法的有效性，具有直接的临床应用价值；最后，所采用的无监督学习方式降低了对标注数据的依赖，更适用于实际医疗场景。未来研究可进一步结合跨模态配准技术，整合多源临床数据，推动医学图像分析向更精准、更智能的方向发展。