无监督生成式AI增强多中心不完整真实世界数据场景下的脑肿瘤分割

《npj Precision Oncology》：Unsupervised generative AI for enhancing brain tumor segmentation in multi-center, incomplete real-world data scenarios

本研究针对临床实践中MRI序列缺失和多中心数据不一致两大难题，开发了基于无监督学习的多中心多序列生成对抗变换器（UMMGAT），能够利用不完整数据集生成缺失序列并消除跨中心差异。验证结果表明，生成的MRI序列显著提升了胶质母细胞瘤和脑膜瘤在不同缺失场景下的分割性能，特别是首次实现了缺失T1ce序列时的分割效果提升。该研究为临床异构数据提供了实用解决方案，推动了AI模型在真实医疗场景中的落地应用。

　　

脑肿瘤严重威胁人类健康，全球每年报告病例超过25万例。其中胶质母细胞瘤（GBM）作为成人恶性脑肿瘤的主要致死原因，五年生存率仅为6.9%，每年在美国导致约1万人死亡。脑膜瘤则是最常见的原发性脑肿瘤，约占所有病例的30-38%。尽管大多数脑膜瘤预后良好，但高级别组织学或复杂解剖结构受累的病例仍面临持续挑战。

在脑肿瘤诊疗过程中，从多序列MRI图像中准确分割肿瘤区域对于诊断、治疗规划、疗效监测和临床试验至关重要。基于深度学习（DL）的模型能够自动分割多序列MRI上的脑肿瘤，既节省了繁琐的手工劳动，又避免了人为主观性。然而，多序列脑肿瘤分割模型在临床实践中的广泛应用面临两大障碍：首先是序列缺失问题，由于扫描时间有限、图像伪影、扫描损坏、机器设置错误或对比剂过敏等原因，部分MRI序列常常不可用；其次是跨中心数据不一致问题，不同中心采集的MR图像因制造商、采集参数、站点流程和扫描仪配置的差异而呈现不同特征，在某个中心训练良好的模型可能在新中心的图像上失效。

针对序列缺失问题，常见方法是使用最相关的可用序列替换缺失序列；针对跨中心不一致问题，典型方法是将所有大脑配准到公共模板，但这种方法计算密集且耗时，还存在引入偏差的风险。图像生成技术可以统一解决上述问题，通过AI生成图像替代缺失序列或模拟测试图像，使其与训练图像具有一致的形状和分布，从而在不改变模型结构或重新训练参数的情况下增强模型的泛化能力。

然而，现有的生成方法通常需要对齐的配对数据进行训练，且只能合成特定类型的序列，这限制了它们在真实临床场景中的应用。更矛盾的是，图像生成模型本身需要完整数据进行训练，这与实际应用场景相悖。此外，临床实践中往往不确定哪些序列缺失或可用，导致涉及各种缺失序列的复杂数据缺口。

为此，研究人员开展了一项创新性研究，开发了无监督多中心多序列生成对抗变换器（UMMGAT），该模型能够在不完整数据上进行训练，并通过多任务学习实现任意序列间的灵活转换。特别引入的病变感知模块（LAM）增强了肿瘤区域的生成效果，这些区域通常表现出与图像其余部分不同的特征。

研究团队回顾性评估了来自BraTS、UCSF-PDGM和机构数据集的921例胶质母细胞瘤患者，以及BraTS-MEN队列中的1000例脑膜瘤病例。通过模拟临床实践中复杂的多中心不一致和序列缺失场景，验证了UMMGAT在增强脑肿瘤分割性能方面的有效性。

关键技术方法包括：使用BraTS2019（335例）、UCSF-PDGM（494例）、BraTS-MEN（1000例）等多中心公共数据集和本地机构数据集（91例），涵盖T1、T1ce、T2、FLAIR等基础序列以及SWI、DWI、ASL、HARDI等高级序列；开发基于Swin-Unet架构的生成器，结合AdaIN模块实现序列代码融合；采用多任务学习策略和病变感知模块提升生成质量；通过FID（Fréchet Inception Distance）和DSC（Dice相似系数）定量评估生成图像质量和分割效果。

UMMGAT从非配对数据集中编码序列特征的能力

UMMGAT能够使用非配对数据集进行训练的关键在于其使用序列编码器提取序列代码，确保在无监督情况下对模态特定特征进行解耦和显著编码。UMAP可视化显示，提取的序列代码能够很好地区分不同序列，而生成图像与原始图像之间没有明显差异。此外，生成图像的风格代码不会按源序列聚类，表明序列编码器有效执行了跨模态风格转换。

多序列多中心图像生成结果

UMMGAT能够通过输入原始图像和目标序列编号，生成指定目标序列的合成MR图像。生成的MR图像表现出较高的整体质量，忠实地保留了肿瘤相关特征，病变边界、增强模式和瘤周水肿与真实扫描高度匹配。LAM的加入进一步改善了病变合成效果，特别是增强了瘤周水肿的描绘并捕捉了肿瘤异质性。

各种序列缺失和跨中心场景下分割的定量评估

研究验证了使用生成图像和复制图像替换缺失序列对脑肿瘤分割的影响。可视化分割掩模表明，使用生成图像替换缺失序列可获得更准确的肿瘤分割。特别是在缺失两个或多个序列时，复制策略无法恢复下降的分割性能，而使用生成图像在全肿瘤分割方面取得了与完整数据相当的结果。

在胶质母细胞瘤分割任务中，当T1或T2单独缺失时，相互生成可获得与完整序列相当的分割结果。从T2生成Flair可将TC和ET的分割恢复至0.683和0.775，从T1生成T1ce可实现0.894的WT分割性能，几乎与完整数据相同。在脑膜瘤分割任务中同样观察到类似的改进，证实了生成图像对不同肿瘤实体的有效支持。

FID定量评估进一步证实了UMMGAT的有效性。原始模态间的基线FID值反映了固有的序列间变异（均值=542.21±310.09）。加入LAM后（均值=258.21±129.04） across modalities compared with the without-LAM setting（均值=310.96±166.15）。Friedman检验显示三者间存在显著差异（p<0.001），事后检验表明所有两两比较均存在显著差异。

研究还扩展了框架以生成高级功能性和结构性MRI序列，包括动脉自旋标记（ASL）、扩散加权成像（DWI）、高角分辨率扩散成像（HARDI）和磁敏感加权成像（SWI），均取得了令人鼓舞的结果。值得注意的是，HARDI的缺失对胶质母细胞瘤分割产生了显著的负面影响，表明其在传递肿瘤相关信息方面具有不可或缺的作用，而UMMGAT能够部分缓解这种缺陷。

研究结论与意义

本研究验证了使用生成图像能够在序列缺失和跨中心场景下增强脑肿瘤分割模型。提出的无监督图像生成模型UMMGAT能够使用非配对、不完整数据进行训练，使其在真实临床环境中具有高度适用性。

与先前工作相比，本研究显著扩展了应用场景和技术方法。在应用场景设置方面，主要贡献在于使用统一的图像生成解决方案同时解决序列缺失和跨中心数据不一致问题。技术方面，采用多任务学习策略，使统一模型能够实现任意数量序列间的相互生成，避免了传统一对一合成方法的模型复杂性。

研究结果表明，在AI辅助的临床环境中，减少脑肿瘤诊断所需的多个序列扫描可以显著节省时间和成本，而不影响诊断准确性。特别发现T2序列可能作为Flair的替代品，在时间、资源或设备有限的情况下帮助减轻因Flair缺失导致的诊断信息损失。此外，首次实现了缺失T1ce序列时的分割效果提升，这是先前方法未能实现的突破。

该研究为处理不完整和异构MRI数据提供了实用解决方案，促进了在不同临床环境中更一致和准确的脑肿瘤分割。未来研究可探索将UMMGAT与其他DL模型集成，以进一步提高其鲁棒性和准确性，同时扩展图像生成到更多序列类型，如DTI、DSA和CTA等。