基于概率生成模型的脑部MR图像转换及其不确定性量化研究

《Scientific Reports》：Probabilistic brain MR image transformation using generative models

本研究针对脑部磁共振（MR）图像跨对比度转换任务中传统确定性方法无法提供不确定性度量的问题，开展了基于条件生成模型（包括cGAN、NCSN和DDPM）的概率性图像转换研究。结果表明，扩散模型（特别是DDPM）在SSIM、PSNR等指标上表现最优，且生成样本的标准差图像能有效识别分布外输入（如存在伪影或病变的图像）。该研究为医学图像生成提供了重要的不确定性量化工具，对临床质量控制具有积极意义。

　　

脑部磁共振成像（Magnetic Resonance Imaging, MRI）是神经系统疾病诊断和科研的重要工具。通过调整扫描序列参数，可以获得T1加权（T1）、T2加权（T2）、质子密度（Proton Density, PD）和液体衰减反转恢复（Fluid-Attenuated Inversion Recovery, FLAIR）等多种对比度的图像，每种图像对不同的脑组织和病理变化具有独特的显示能力。然而，在实际临床和科研工作中，由于扫描时间限制、患者身体状况或数据损坏等原因，往往难以获取某个受试者全部所需对比度的图像。这可能导致需要重新扫描，增加成本和患者负担，甚至导致部分受试者被排除在研究之外。因此，开发能够将一种MR图像类型转换为另一种的算法具有重要的应用价值。

近年来，基于深度学习（Deep Learning, DL）的方法在医学图像转换领域取得了显著成功。然而，大多数现有方法本质上是确定性的，即对于给定的输入图像，它们只产生一个确定的输出图像，而无法提供关于转换过程置信度的度量。这与MR成像的物理本质相悖，因为即使对同一受试者，使用不同设备或参数采集的同一对比度图像也会存在正常变异，因此，一个输入图像可能对应着多个合理的输出图像。概率生成模型为解决这一问题提供了新的思路，它能够学习条件分布，从而为单个输入生成多个可能的输出样本，进而可以计算像素级的均值（作为最佳预测）和标准差（作为不确定性度量）。此外，这种不确定性信息还有潜力用于检测包含伪影或病理改变的分布外（Out-Of-Distribution, OOD）输入图像，这对于临床应用的可靠性至关重要。

发表在《Scientific Reports》上的这项研究，系统性地探索了概率生成模型在脑部MR图像转换中的应用。研究人员旨在回答几个关键问题：不同类型的概率生成模型在图像转换任务中的准确性如何？它们生成的不确定性信息能否有效识别OOD输入？不同模型在生成样本的分布特性上有何差异？

为回答这些问题，研究者实现了五种模型进行对比：一个基于U-Net架构、使用均方误差损失训练的确定性模型（Direct模型）；一个作为基准的残差视觉变换器（Residual Vision Transformer, ResViT）模型；以及三种条件概率生成模型——条件Wasserstein生成对抗网络（conditional Generative Adversarial Network, cGAN）、噪声条件得分网络（Noise Conditional Score Network, NCSN）和去噪扩散概率模型（Denoising Diffusion Probabilistic Model, DDPM）。研究使用了IXI和OASIS两个公开数据集，其中包含健康受试者和阿尔茨海默病患者的T1、T2、PD和FLAIR图像。模型性能通过结构相似性指数（Structural Similarity Index Measure, SSIM）、峰值信噪比（Peak Signal-to-Noise Ratio, PSNR）、学习感知图像块相似性（Learned Perceptual Image Patch Similarity, LPIPS）和边界SSIM（Boundary SSIM, BSSIM）等指标进行评估。对于概率模型，通过生成多个样本（n=20）来计算像素级均值图像和标准差图像。

关键技术方法

研究采用IXI（575例，含T1/T2/PD）和OASIS-3（243例，含T1/T2/FLAIR）数据集，经过配准、颅骨剥离和归一化预处理。模型通过监督学习进行训练，以学习从源模态（如T1）到目标模态（如T2）的映射。概率模型（cGAN, NCSN, DDPM）的核心在于其生成机制：cGAN通过生成器与判别器的对抗训练学习数据分布；NCSN和DDPM则属于扩散模型，通过学习逆转一个逐步加噪的过程（前向过程）来从噪声中生成图像（反向过程）。DDPM使用方差为1的高斯分布，而NCSN使用大方差分布。评估时，概率模型生成多个样本，其均值用于计算相似性指标，标准差用于不确定性分析。OOD检测实验使用了包含伪影（如RF拉链伪影、运动伪影）和病理（多发性硬化病变、脑肿瘤）的公开数据集。

研究结果

生成图像质量比较

通过视觉检查和定量指标评估表明，扩散模型（NCSN和DDPM）在大多数转换任务中优于其他模型。

从图1和图2的定性结果以及图3和表1的定量结果可以看出，DDPM模型在SSIM、PSNR、LPIPS和BSSIM多项指标上综合表现最佳，尤其在IXI数据集上优势明显。NCSN模型表现次之，而cGAN模型在组织边界处容易出现畸变，ResViT模型偶尔会产生脑组织缺失（假阴性）的问题。Direct模型的结果则通常较为模糊。表4的综合指标显示，DDPM在跨数据集的平均表现中最优。

不确定性分析与OOD检测

研究的关键发现之一是概率模型生成的标准差图像可用于识别OOD输入。

如图4所示，当输入图像包含伪影（如RF拉链伪影、重建伪影、低信噪比）或病理（如脑肿瘤、多发性硬化病变）时，cGAN和NCSN模型在相应区域的标准差通常会显著升高，而DDPM模型的标准差响应则相对不敏感。研究者定义了一个标量分数σ?，即整个3D脑体积像素级标准差的平均值。如图5所示，正常图像和OOD图像（含伪影、病变或来自不同数据集）的σ?分布在cGAN和NCSN模型上有明显区别，而在DDPM模型中重叠较多。

基于σ?进行二分类（正常 vs OOD）的受试者工作特征（Receiver Operating Characteristic, ROC）曲线分析（图6左）显示，cGAN和NCSN模型的曲线下面积（Area Under the Curve, AUC）分别达到0.976和0.850，表明其不确定性度量能有效区分OOD输入。而DDPM模型的AUC仅为0.421，区分能力接近随机猜测。经过保序回归（isotonic regression）校准后，cGAN和NCSN模型的不确定性分数在预期校准误差（Expected Calibration Error, ECE）、Brier分数和负对数似然（Negative Log-Likelihood, NLL）等指标上均有显著改善（表3），使其概率解释性更强。

生成样本的分布特性

研究者进一步分析了生成样本的分布特性。回归校准图（图9）显示，NCSN模型的校准曲线最接近对角线，说明其预测的不确定性最准确（即预测的置信区间与真实值的覆盖概率匹配良好）。cGAN模型倾向于过度自信（曲线在对角线下方），而DDPM模型则倾向于信心不足（曲线在对角线上方），其生成样本的分布过宽。夏皮罗-威尔克（Shapiro-Wilk）检验表明，NCSN模型生成的像素值分布有约89%符合正态性，远高于cGAN（51%）和DDPM（41%），这表明NCSN生成的样本分布更接近高斯分布，特性更优。

病变保留与转换挑战

研究还评估了模型对病理特征的保留能力。在对包含多发性硬化（Multiple Sclerosis, MS）病变的图像进行T1到T2转换时（图11），大多数模型能在输出中一定程度上重建病变区域，病变区域内像素强度的皮尔逊相关系数在0.669（cGAN）到0.748（Direct模型）之间，表明了一定的病变保留能力。然而，当输入图像中缺失某些在目标图像中明显的特征时，模型无法凭空生成它们。例如，在T2到FLAIR的转换中（图10），FLAIR图像特有的白质病变（white matter lesions）在输入T2图像中不可见，因此所有模型都无法在输出的FLAIR图像中生成这些病变。这凸显了图像转换的局限性：其输出严重依赖于输入图像所包含的信息。

研究结论与意义

本研究系统地评估了概率生成模型在脑部MR图像转换中的性能。结果表明，扩散模型（DDPM和NCSN）在生成图像的准确性方面优于确定性模型和cGAN模型。其中，DDPM在多数相似性指标上领先，而NCSN则在计算效率、生成样本的分布特性（如更高的正态性）以及不确定性校准方面表现出优势。更重要的是，研究证实了概率模型生成的不确定性图（标准差图像）在检测OOD输入（如带有伪影或病理改变的图像）方面的实用价值，特别是cGAN和NCSN模型在此任务上表现突出。

这项工作的重要意义在于它将图像转换从单纯的确定性预测推进到了概率性生成框架，不仅提供了更准确的转换结果，还提供了至关重要的不确定性量化工具。这种能力对于医学图像分析在临床环境中的可靠应用至关重要，因为它可以自动标记出可能存在问题的转换结果，提示需要人工审核，从而作为一种自动化的质量控制机制。尽管扩散模型在准确性上领先，但其较高的计算成本是实际应用中需要考虑的因素。未来工作可以探索更高效的采样方法以及将这些技术整合到具体的临床工作流程中，如下游的形态测量分析或疾病诊断任务，进一步验证其实际价值。