3D MedDiffusion：一种用于可控且高质量医学图像生成的3D医学潜在扩散模型

《IEEE Transactions on Medical Imaging》：3D MedDiffusion: A 3D Medical Latent Diffusion Model for Controllable and High-Quality Medical Image Generation

三维医学图像生成模型3D MedDiffusion通过高效Patch-Volume自编码器和新型噪声估计器实现高分辨率三维医学图像可控生成，在覆盖CT/MRI多模态数据集和不同解剖区域的训练基础上，实验证明其生成质量优于现有方法，并有效适配稀疏CT重建、快速MRI重建等下游任务

　　

摘要：

医学图像的生成面临诸多挑战，这主要是由于它们具有高分辨率和三维特性。现有方法在生成高质量3D医学图像时往往表现不佳，目前也尚未出现一个通用的医学成像生成框架。在本文中，我们提出了一种名为3D Medical Latent Diffusion（3D MedDiffusion）的模型，用于实现可控的高质量3D医学图像生成。3D MedDiffusion采用了一种新颖且高效的Patch-Volume Autoencoder，通过块状编码将医学图像压缩到潜在空间中，并通过体积解码将其恢复回图像空间。此外，我们还设计了一种新的噪声估计器，以在扩散去噪过程中同时捕捉局部细节和全局结构信息。3D MedDiffusion能够生成细节丰富、分辨率极高的图像（最大尺寸可达512×512512），并且由于其在涵盖CT和MRI等多种模态以及从头部到腿部不同解剖区域的大规模数据集上进行训练，因此能够有效适应各种下游任务。实验结果表明，3D MedDiffusion在生成质量方面超越了现有最佳方法，并在稀疏视图CT重建、快速MRI重建以及用于分割和分类的数据增强等任务中表现出强大的泛化能力。源代码和检查点可在以下链接获取：https://github.com/ShanghaiTech-IMPACT/3D-MedDiffusion

引言

近年来，生成式人工智能（AI）取得了显著突破，推动了各个领域和应用的快速发展。特别是在医学成像和医疗保健领域，AI发挥了重要作用，并为未来的创新带来了巨大潜力。生成式AI在多种医学应用中展现了强大的能力，包括图像转换[1]、图像分割[2]以及计算机断层扫描（CT）[3]和磁共振（MR）图像的重建[4]。