《Cancers》:Multimodal Deep Learning for Prediction of Progression-Free Survival in Patients with Neuroendocrine Tumors Undergoing 177Lu-Based Peptide Receptor Radionuclide Therapy
Simon Baur,
Tristan Ruhwedel,
Ekin B?ke,
Zuzanna Kobus,
Gergana Lishkova,
Christoph Wetz,
Holger Amthauer,
Christoph Roderburg,
Frank Tacke and
Johannes Eschrich
+ 4 authors
编辑推荐:
本研究针对转移性神经内分泌肿瘤患者在接受177Lu-DOTATOC肽受体放射性核素治疗时疗效个体差异大、缺乏可靠预测工具的问题,通过构建多模态深度学习模型,整合基线68Ga-DOTATOC PET/CT影像与实验室标志物,成功实现了对患者无进展生存期的高精度预测。结果显示,融合PET、CT及实验室数据的模型(AUROC 0.72)显著优于单模态模型,为个体化治疗决策与风险分层随访提供了有力支持。
神经内分泌肿瘤(Neuroendocrine Tumors, NETs)虽然被归为罕见肿瘤,但其发病率在过去几十年中持续攀升,已成为肿瘤领域一个不容忽视的挑战。对于晚期患者,肽受体放射性核素治疗(Peptide Receptor Radionuclide Therapy, PRRT)是一项重要的治疗选择,尤其对于那些生长抑素受体高表达的病例。然而,现实很骨感:只有一部分患者能从中获得长期疾病控制,大多数患者的反应不尽相同。医生们面临一个共同的困境:在治疗开始前,我们能否像天气预报一样,较为准确地“预报”哪位患者有望获得长期缓解,哪位患者可能很快出现疾病进展?这不仅是临床决策的痛点,也直接关系到治疗资源的合理分配与患者生活质量的提升。现有的预测工具,如Ki-67指数、嗜铬粒蛋白A(Chromogranin A, CgA)等,虽有一定价值,但其预测能力有限,远未达到临床精准决策的需求。影像学参数和新兴的基因组学检测(如NETest)也各有局限。在此背景下,融合多源信息的人工智能(AI)技术,特别是多模态深度学习,展现出了巨大潜力。它能否从海量的临床、影像和实验室数据中,挖掘出人眼难以识别的模式,从而更精准地“预见”PRRT的疗效?这正是本研究试图回答的核心问题。
为了探索这一难题,来自德国柏林夏里特医学院等机构的研究团队开展了一项回顾性单中心研究。他们共纳入了116名接受[177Lu]Lu-DOTATOC PRRT治疗的转移性NETs患者,所有患者均具备治疗前实验室数据(包括CgA、AST、ALT、GGT)、生长抑素受体PET(SR-PET)和CT影像以及完整的临床随访资料。研究的首要任务是预测无进展生存期(Progression-Free Survival, PFS),并将其二分为短PFS(≤1年)和长PFS(>1年)两组,以此作为模型训练和评估的“金标准”。
在技术方法上,研究人员构建并比较了七种不同的预测模型,以评估多模态融合的价值。模型包括仅使用实验室标志物的随机森林(Random Forest)基线模型、分别使用SR-PET或CT影像的单一模态三维卷积神经网络(3D-CNN),以及多种融合模型。融合策略包括将PET或CT影像分别与实验室数据融合,以及将PET、CT和实验室数据三者同时融合。其中,一个进阶模型在融合时,其CT分支采用了在MONAI 3D CT分割网络上预训练的权重进行初始化,以期利用迁移学习提升性能。实验室特征与从影像中提取的嵌入向量在融合层进行拼接,再经由全连接层输出预测结果。所有模型的性能通过重复的3折交叉验证进行评估,主要指标为受试者工作特征曲线下面积(AUROC)和精确率-召回率曲线下面积(AUPRC)。此外,研究还通过特征重要性分析和基于梯度的显著性图等方法对模型的可解释性进行了深入探讨。
3.1 临床特征
研究共纳入116名患者,中位年龄66岁。原发部位以小肠(42%)和胰腺(29%)最常见。73%的患者存在肝转移。根据1年PFS阈值,患者被分为短PFS组(42人,36%)和长PFS组(74人,64%)。组间比较发现,短PFS组患者的基线CgA水平和γ-谷氨酰转移酶(Gamma-Glutamyl Transferase, GGT)水平显著更高,且接受的PRRT周期数更少,这与疾病进展后提前终止治疗的临床实践一致。
3.3 用于预测无进展生存期的深度学习模型
模型性能比较显示,单一模态模型预测能力有限。仅使用实验室数据的随机森林模型AUROC为0.59 ± 0.02。仅使用PET或CT影像的3D-CNN模型表现更差,AUROC分别为0.42 ± 0.03和0.54 ± 0.01。然而,当开始融合多模态数据时,性能得到显著提升。PET与实验室数据融合模型AUROC达到0.68 ± 0.01。CT与实验室数据融合模型AUROC为0.62 ± 0.03。性能最佳的是将PET、CT和实验室数据三者融合的模型,其AUROC达到0.69 ± 0.01。而当该模型的CT分支采用预训练权重初始化后,性能进一步提升至AUROC 0.72 ± 0.01,AUPRC 0.80 ± 0.01。统计检验证实,逐步增加数据模态能带来显著的性能提升。
为了验证模型的临床实用性,研究根据PET融合模型预测的概率将患者分为高应答组和低应答组,并进行Kaplan-Meier分析。结果显示,高应答组的中位PFS(17.25个月)显著长于低应答组(12.43个月),对数秩检验p = 0.0001。这表明该模型仅凭治疗前数据就能实现有临床意义的风险分层。
3.4 模型分析与可解释性
3.4.1 UMAP分析
通过均匀流形逼近与投影(UMAP)对模型学习到的特征嵌入进行可视化。结果显示,单一影像模态(PET Only或CT Only)的特征在二维空间中混杂,类间分离差。而融合了PET、CT和实验室数据的多模态模型,其特征呈现出清晰的类内聚集和类间分离,特别是使用了预训练CT权重的模型,分离效果更佳。这证明多模态融合能帮助模型捕获与治疗反应相关的、更丰富的疾病表征。
3.4.2 特征重要性
对实验室标志物的特征重要性分析显示,无论哪种模型配置,丙氨酸氨基转移酶(ALT)、天冬氨酸氨基转移酶(AST)、CgA和GGT始终是排名靠前的关键预测变量。在PET-CT融合模型中,CgA的重要性最高,凸显了当生化标志物与影像特征结合时,其预测价值被进一步放大。
3.4.3 定性可解释性
通过计算梯度显著性图,可以直观看到模型在做决策时关注了图像的哪些区域。分析发现,仅使用PET的模型其梯度分布不规则且分散,注意力常集中在非特异区域(如膀胱)。而PET融合模型的梯度分布更平滑、集中,其注意力显著聚焦于肿瘤病灶区域,显示出更符合生理学逻辑的决策模式。
本研究得出结论,整合了治疗前SR-PET、CT影像和常规实验室标志物的多模态深度学习模型,能够显著提高对NETs患者PRRT治疗后PFS的预测准确性,其性能明显优于任何单一模态模型。该模型成功实现了基于基线数据的患者风险分层,将患者区分为具有显著不同PFS预后的两组。可解释性分析表明,性能更优的融合模型其决策依据在生理学上更具合理性,主要关注肿瘤相关区域。
这项研究的核心意义在于,它首次系统性地证明,利用临床实践中常规采集的多源数据(影像+生化),通过先进的多模态深度学习框架进行整合分析,可以构建出高效、可靠的PRRT疗效预测工具。这为NETs的个体化精准治疗迈出了关键一步。未来,如果能在更大规模、多中心的前瞻性队列中得到验证,此类模型有望辅助临床医生在治疗前识别出可能获益有限的患者,从而优化治疗策略(如考虑联合治疗或替代方案),并为不同风险患者制定个体化的随访监测计划,最终改善患者预后并提升医疗资源利用效率。该研究为人工智能在肿瘤精准医学,特别是神经内分泌肿瘤领域的应用,提供了一个颇具前景的范例。