编辑推荐:
多模态医学图像融合在医疗领域意义重大,但现有方法融合时难以保留和整合源图像纹理信息与特征。研究人员提出 DMF-LP 模型,实验显示其在关键指标上优于现有方法,提升了融合图像质量,为多模态医学图像融合提供新方案。
在医学领域,精准的诊断对于患者的治疗和康复至关重要,而医学图像是医生洞察人体内部状况的关键 “窗口”。然而,单一传感器获取的医学图像存在信息局限,就像用单目视角看世界,总有 “死角”。不同模态的医学图像,如磁共振成像(MRI)、计算机断层扫描(CT)、正电子发射断层扫描(PET)等,各自携带独特信息:MRI 擅长展示软组织细节,CT 能清晰呈现骨骼结构,PET 则在检测代谢异常方面表现出色。要是能把这些图像的优势融合起来,那医生诊断时就能 “看得更清、更准”。
可目前,多模态医学图像融合技术面临诸多难题。传统方法,像多尺度变换、空间域处理、稀疏表示和拉普拉斯金字塔分解等,过度依赖手工制定的融合规则,对不同模态图像的显著特征关注不足,在复杂成像场景下适应性差。基于深度学习的方法虽有进步,但也存在问题。自动编码器(AE) 基于 AE 的方法训练过程耗时耗力;卷积神经网络(CNN)的损失函数常需手动设计,缺乏鲁棒性;生成对抗网络(GAN)训练不稳定,易出现模式崩溃;基于 Transformer 的方法计算成本高,信息整合能力欠佳。扩散模型(DM)虽有强大生成能力,但现有基于 DM 的图像融合方法在处理多模态信息时也有局限。因此,开发更有效的多模态医学图像融合方法迫在眉睫。
为攻克这些难题,研究人员开展了关于多模态医学图像融合的研究,提出了一种基于扩散模型与拉普拉斯金字塔的多模态医学图像融合算法 ——DMF-LP(Diffusion Model - Laplacian Pyramid) 。该研究成果发表在《Biomedical Signal Processing and Control》上,为多模态医学图像融合领域带来新突破。
研究人员主要运用了以下关键技术方法:首先,设计了 LP - F 模块,利用拉普拉斯金字塔分解,对源图像对进行预融合,提取和保留图像的纹理信息与特征。其次,将信息熵理论融入传统损失函数,构建多目标损失函数,优化扩散模型训练过程。最后,采用 U - net 网络在逆过程中迭代去除噪声,生成最终的融合图像。
研究结果
- LP - F 模块预融合效果:通过 LP - F 模块对源医学图像对进行预融合,为后续扩散模型提供了丰富且纹理清晰的输入数据,有效捕捉和提取了图像中的详细纹理信息与特征。
- 融合图像质量评估:与多种最先进的方法在验证数据集上进行定性和定量比较,结果显示,DMF-LP 在关键指标上表现优异。结构相似性指数(SSIM)达到 0.912 ± 0.011,而 DDFM 方法为 0.897 ± 0.063;峰值信噪比(PSNR)为 34.416 ± 0.568 dB,DDFM 方法为 34.166 ± 1.093 dB;相关系数(CC)为 0.980 ± 0.001,DDFM 方法为 0.976 ± 0.006。值得注意的是,相较于传统基于 CNN 的方法,DMF - LP 的 SSIM 提升了 15.6%(0.912 vs. 0.869) 。最终融合图像保留了视觉细节,结构清晰度高。
- 消融实验结果:研究还进行了消融实验,进一步探究模型各组件的贡献,证明了 LP - F 模块和多目标损失函数等组件对提升融合效果的重要性。
研究结论与讨论
DMF-LP 模型将拉普拉斯金字塔分解与扩散模型相结合,成功解决了多模态医学图像融合中有效保留和融合纹理信息的难题。在视觉质量和定量指标上,该模型均展现出卓越性能,为多模态医学图像融合技术提供了新的基准,对医学诊断和治疗具有重要意义。例如在癌症诊断中,能帮助医生更精准地定位病变、进行定量诊断,提高诊断准确性和效率。不过,DMF-LP 模型也存在局限性,计算资源需求大、耗时较长,未来研究可致力于优化算法,提升模型效率,使其更广泛地应用于临床实践,为医疗健康事业带来更多福祉。