基于结构相似性伪标签迭代的轻量化医学图像融合网络创新研究

针对多模态医学图像融合缺乏真实标签的难题，研究人员提出结构相似性伪标签迭代(SPI)机制，结合轻量化网络(LWNet)的ACA(自适应通道注意力)和MCA(多尺度交叉注意力)模块，实现了无需复杂损失函数设计的监督训练。该方法在MRI-CT/PET/SPECT数据集上达到SOTA性能，代码已开源，为临床诊断提供高效融合工具。

　　

医学影像技术正经历革命性变革，多模态图像融合成为提升诊断精度的关键。然而，这个领域长期面临"无标准答案"的困境——由于不同成像模态（如显示骨骼的CT与呈现软组织的MRI）各有所长，理想的融合图像缺乏客观评价标准。传统方法依赖人工设计融合规则，像复杂的拉普拉斯金字塔变换(Laplacian Pyramid)或非下采样剪切波变换(NSST)，不仅耗时费力，还难以泛化。深度学习虽展现出潜力，但常规无监督训练需要设计多重损失函数（如L=Φ(f,MRI)+γ·Φ(f,Oth)），这种"盲人摸象"式的优化往往事倍功半。

针对这些痛点，来自云南大学的研究团队在《Biomedical Signal Processing and Control》发表突破性成果。他们创造性地提出结构相似性伪标签迭代(SPI)机制，通过动态筛选高质量伪标签作为监督信号，配合创新的轻量化网络LWNet，实现了医学图像融合的"自我进化"。研究团队从哈佛医学院公开数据集获取320对MRI-SPECT图像，裁剪生成15,680个120×120像素块作为训练集，其中8,000块作为初始标签数据。

关键技术方法包括：1) SPI机制迭代筛选高SSIM(结构相似性指数)伪标签；2) LWNet网络集成ACA模块（通过通道权重动态调整信息流）和MCA模块（建立跨模态长程特征依赖）；3) 采用1-SSIM(Pseudolabels,Ψ(MRI,Oth))作为损失函数；4) 在MRI-CT/PET/SPECT三类数据集进行对比实验。

【结构相似性伪标签迭代机制】
SPI机制的核心在于"以优促优"——先用传统方法生成初始融合图像作为伪标签，训练初期网络；随后用网络输出与源图像的SSIM值作为质量指标，筛选高质量结果加入伪标签库。这种迭代优化使监督信号不断强化，解决了融合图像与源图像本质差异导致的约束失效问题。

【轻量化网络架构】
LWNet的创新体现在：1) ACA模块通过可学习参数自动分配通道权重，增强纹理特征同时抑制背景干扰，解决了传统方法融合结果暗淡的问题；2) MCA模块将输入图像分解为多尺度特征后，通过交叉注意力建立跨模态关联，比常规自注意力机制捕获更全面的特征依赖。实验显示，ACA使特征通道的信息熵提升23%，MCA的远程特征捕获能力比基线模型提高17%。

【多模态融合性能】
在MRI-CT融合任务中，LWNet的互信息量(MI)达到4.32，比次优方法提高12%；对于MRI-PET融合，边缘保持度(Q^AB/F)达0.81，显著优于基于生成对抗网络的方法。值得注意的是，网络参数量仅1.2M，推理速度达45fps，完全满足临床实时性需求。

这项研究开创性地将伪标签迭代引入医学图像融合领域，其SPI机制为无监督学习提供了新范式。LWNet的轻量化设计证明：通过ACA和MCA的协同作用，无需复杂网络即可实现SOTA性能。该成果不仅推动多模态影像诊断发展，其方法论对其他缺乏真实标签的视觉任务（如图像增强、跨模态翻译）也有重要启示。研究团队已开源代码，这将加速技术在远程医疗、术中导航等场景的应用落地。