DiTFusion：基于可扩展扩散模型与Transformer的前列腺磁共振图像融合技术

《Engineering Applications of Artificial Intelligence》：DiTFusion: Prostate magnetic resonance image fusion based on Scalable Diffusion Models with transformers

　　

摘要

多参数磁共振成像是一种极为有效的无创临床方法，可用于检测前列腺癌。通过整合多参数数据，可为基于医学图像的诊断和治疗提供重要支持。医学图像融合技术旨在将来自不同设备或在不同参数下采集的多种图像源中的互补数据结合起来。在生成式图像融合中，由于融合任务缺乏真实标签，因此至今没有适用于扩散模型的标准框架。为解决这一难题，我们提出了一种新的医学图像融合扩散模型——DiTFusion。该模型以源图像对的组合作为真实标签的替代，从而解决了图像融合任务中缺乏真实标签的问题。在三项图像融合评估指标上，DiTFusion的表现比现有方法至少高出3%。该方法将图像融合任务分为处理轻微混叠区域和严重混叠区域两部分，同时在网络的同一反向传播阶段结合去噪和融合损失，实现了去噪与融合的统一处理。在前列腺图像数据集上的实验表明，DiTFusion生成的图像质量高，视觉保真度好，弱纹理保留良好，且具有强大的噪声抑制能力。

引言

前列腺疾病是重要的健康问题，通常通过磁共振成像进行诊断。磁共振成像涉及多种参数序列，每种序列都包含重要信息。通过运用医学图像融合技术整合这些序列中的关键特征信息，可以显著提升磁共振成像的诊断辅助作用（Hoeks等人，2011年）。

医学图像融合是医学图像处理领域的主要研究方向之一（Li等人，2018年）。其目标是将不同的成像模式（例如，在前列腺癌诊断中，常结合使用T1加权成像、T2加权成像、扩散加权成像以及表观扩散系数等）整合为单一图像，帮助医生更准确、高效地诊断疾病。在现有的基于深度学习的方法中，有许多出色的方案。尤其是基于GAN的方法（Ma等人，2019b、2020a、2020b），作为端到端的解决方案表现突出。与传统方法相比，它们无需手动设计复杂的融合方案。不过，尽管这类方法能满足某些场景的需求，但仍存在无法收敛、训练不稳定等问题，从而导致图像分布不合理、融合质量差，严重影响融合方法的稳定性。对于需要精确医学图像融合的应用而言，这是一个严重的缺陷。

去噪扩散概率模型已成为生成建模领域的重大突破，吸引了多个学科的研究兴趣。该模型具有很强的数学可解释性，且能生成高质量的结果。但由于其扩散过程需要真实标签，因此无法直接应用于仅存在输入数据而缺乏真实标签输出的图像融合领域。

目前，已有不少基于DDPM的图像融合方法，如DDFM（Zhao等人，2023b）、Dif-Fusion（Yue等人，2023）和Diff-IF（Yi等人，2024）。这些方法将融合步骤与去噪过程分开，尽量减少最终输出图像与替代真实标签之间的差异，从而使扩散模型在系统中仅起辅助作用。实际上，生成融合图像的任务则由融合网络承担，这偏离了我们期望的“去噪与融合过程合一”的理念，如图1所示。

鉴于此，我们提出了一种新的框架，即使用源图像对的简单组合作为替代真实标签，并将去噪与融合过程整合到基于扩散的图像融合模型中。与两阶段模型不同，这种方法采用单阶段网络结构，使得融合过程更加简洁，也更符合我们对生成式融合框架的预期，如图1所示。

为解决上述问题，我们提出了一种新的医学图像融合扩散模型——DiTFusion。考虑到医学图像融合中缺乏真实标签的问题，DiTFusion采用源图像对的简单组合作为“替代真实标签”，从而将去噪与融合过程结合起来，同时让最终输出结果更接近理想分布，且无需额外的计算资源。此外，鉴于在生成领域中网络复杂度与样本质量之间存在密切关联，DiTFusion采用了改进版的DiT模型（Peebles和Xie，2023）作为模型核心，而非U-Net或其变体。

整个系统的目标是解决前列腺医学图像融合中因不同成像模式下病灶表现差异而产生的混叠问题，这是其他图像融合任务，如红外与可见光图像融合中较少遇到的问题。我们可以将图像生成过程分为两个阶段：首先，由于在正向扩散过程中需要真实标签的融合图像，我们提出用源图像对的和作为扩散模型所需真实标签的替代。此时，输出图像已包含大部分用于辅助诊断的信息。随后，通过扩散模型的反向去噪过程，在源图像对的引导下恢复因混叠而丢失的信息。因此，与基于GAN的融合方法相比，DiTFusion在前列腺医学图像融合中能产生更高质量的融合结果，且收敛过程更为稳定。

尽管多参数磁共振成像已被广泛用于前列腺癌的诊断，但临床实践仍面临两大瓶颈：一是人工读取工作量大，效率低下；二是缺乏用于整合不同参数图的真实标签融合标准。这些限制严重影响了诊断结果的可靠性和重复性，因此迫切需要一种无需依赖人工标注或监督信号的融合框架。

总体而言，本文的主要贡献可总结如下：

• •
  我们提出了一种基于DDPM的医学图像融合模型，以改进版的DiT作为模型核心，而非U-Net。该模型从分布角度出发，逐步逼近理想的融合分布。与基于GAN的方法相比，它具有更易理解的生成机制，训练过程也更为稳定，能有效避免模式崩溃问题。
• •
  我们找到了一种方法，可将需要真实标签的DDPM应用到缺乏真实标签的图像融合领域。通过在不存在真实标签的情况下提供替代方案，我们的模型不仅解决了真实标签缺失的问题，还提升了图像生成质量，使其不再仅仅从高斯噪声开始生成，而是专注于恢复融合图像对中的混叠信息。
• •
  通过采用一种去噪公式，在最后去除少量噪声项，可以高效地计算融合估计值，从而实现快速且有效的训练过程。该方法允许源图像特征在扩散模块内部直接约束融合图像的生成，无需在扩散模块前后添加额外的融合网络模块。与将融合模块和扩散模块分开的方法相比，这种方式更符合图像融合任务的真实流程。

本文的结构安排如下：第2节概述了当前医学图像融合任务中常用的方法，包括传统方法和生成式方法；第3节详细介绍了DiTFusion的结构与工作流程；第4节展示了在前列腺图像数据集上进行的融合对比实验及消融研究，并基于实验结果进行了定性与定量分析；第5节为讨论部分，第6节为结论，总结了本文的核心观点，并探讨了DDPM在图像融合领域的未来应用前景。

章节节选

相关工作

本节简要介绍了医学图像融合研究中的重要且前沿的技术，涵盖了传统方法（如像素级和多尺度表示技术）、基于神经网络的技术方案，以及利用对抗网络和扩散模型的先进生成式融合框架。

方法论

在本节中，我们首先对扩散模型进行简要介绍，接着探讨了真实标签替代方案的定义，以及如何优化噪声预测器以获得最佳的融合分布。之后，我们研究了如何通过非马尔可夫过程训练扩散模型，以恢复源图像的特征。DiTFusion框架则实现了训练过程与推理过程的统一，同时还包含一个由特定条件引导的扩散模型。

实验

本节通过对前列腺成像数据展开全面评估和成分分析，结合视觉评估与基于指标的验证，证明了所提框架的优势，并体现了其独特的架构设计价值。

讨论

在采用源图像对作为真实标签替代方案时，虽然该方法能得到较为满意的结果，但并不能保证这就是最优解。我们认为，一旦出现包含更多互补细节的其他源信息组合，调整相应的源信息构成，有望显著提升所提方法的性能。同样，关于融合过程的统一问题……

结论

在本文中，我们提出了DiTFusion，这是一种专为解决前列腺医学图像融合中真实标签缺失问题而设计的新型扩散模型框架。与无条件扩散模型及以往的融合方法相比，DiTFusion结构更为简洁，无需额外的预训练参数和复杂的重新融合设计。通过将去噪与融合过程相结合，DiTFusion成功地将扩散模型应用于医学图像融合领域，取得了良好的融合效果。在……上的实验表明……

CRediT作者贡献声明

黄梦星：撰写——初稿、方法论、研究实施、形式分析、概念构思。李浩：撰写——初稿、验证、软件开发、方法论、数据整理。张宇：撰写——审阅与编辑、指导监督、资源协调、资金获取、概念构思。陈静：验证、资源协调、数据整理。王刚：验证、资源协调、数据整理。李晓翔：可视化处理、验证、软件开发。乌扎伊尔·阿斯拉姆·巴蒂：验证、软件开发、数据整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

Mengxing Huang|Hao Li|Yu Zhang|Jing Chen|Gang Wang|Xiaoxiang Li|Uzair Aslam Bhatti|Zhiming Bai

海南大学信息与通信工程学院，中国海口市570100