《npj Digital Medicine》：Prior knowledge-guided multimodal deep learning system for biomarker exploration and prognosis prediction of urothelial carcinoma
编辑推荐：
本研究针对尿路上皮癌(UC)预后预测缺乏整合多模态数据与先验知识的AI系统这一临床难题，开发了融合组织病理学、影像学和结构化病理文本的多模态深度学习系统。该系统通过知识引导的肿瘤分割和切片表征构建，结合CTContextNet、MacroContextNet和IM-NCTNet等多模块协同，在多个中心的大规模验证中展现出卓越的预后预测性能(C-index: 0.809-0.867)，并成功发现与肌肉和肾实质浸润模式相关的新型生物标志物(Coloc_M/Coloc_R/IMTS)。该研究为UC的精准预后评估提供了创新性AI解决方案。
尿路上皮癌(UC)作为泌尿系统最常见的恶性肿瘤之一，其预后评估一直面临重大挑战。尽管近年来治疗手段不断进步，但患者五年生存率仍不理想，且个体间存在显著的预后异质性。当前临床实践主要依赖病理分级和TNM分期等传统指标进行风险分层，但这些方法往往难以全面捕捉肿瘤的复杂生物学特性。更关键的是，现有研究多集中于膀胱尿路上皮癌(BUC)，而对上尿路尿路上皮癌(UTUC)的关注相对不足，这与UTUC更具侵袭性的临床特点形成鲜明对比。
传统预后评估方法的局限性日益凸显：CT影像解读存在观察者间变异，病理切片的形态学评估主观性强，且宏观组织分布信息（如肿瘤浸润深度、免疫细胞空间分布）难以通过人工方式准确量化。虽然深度学习技术在医学影像分析中展现出巨大潜力，但现有模型往往局限于单一数据模态，缺乏整合多源信息的能力，且通常未能有效融入临床专家的先验知识，导致可解释性差和临床转化困难。
为解决这些瓶颈问题，重庆医科大学附属第一医院何全浩、谭浩等研究人员在《npj Digital Medicine》上发表了题为"Prior knowledge-guided multimodal deep learning system for biomarker exploration and prognosis prediction of urothelial carcinoma"的创新性研究。该研究成功开发了一个先验知识引导的多模态深度学习系统，首次实现了组织病理学、放射影像学和结构化病理文本的深度融合，为UC的精准预后预测提供了全新范式。
研究团队构建了来自四个医疗中心的1718例UC患者的多模态数据集，包含术前CT影像、术后全切片图像(WSI)和临床病理数据。技术方法上，他们创新性地采用基于测地距离变换的交互式Swin-UNETR进行肿瘤分割，开发UCSparseNet进行组织分类并生成局部知识引导的切片表征，利用CONCH视觉语言模型构建全局知识概率热图，通过MacroContextNet提取宏观预后特征，并设计多头部上下文门控注意力(MHCA)机制的IM-NCTNet框架实现多模态特征融合。所有模型训练均使用负对数似然损失函数，性能评估采用C-index、时间依赖性AUC等指标。
交互式CT图像分割和CTContextNet构建
研究团队首先开发了基于Swin-UNETR的交互式分割框架，通过用户点击（先验知识）生成初始3D分割掩模。该框架在初始分割中达到81.10-83.55的Dice相似系数，并通过迭代细化程序确保分割精度。随后定义的3D裁剪框用于封装整个肿瘤区域，基于此构建的CTContextNet预后模型在各队列中取得0.740-0.764的C-index值，证明其能够有效提取影像学预后特征。
WSI解耦、知识引导的切片表征和结构化病理报告生成
通过UCSparseNet patch分类网络，WSI被解耦为八类组织的稀疏分布信息，生成局部知识概率热图和分割热图。同时，利用CONCH视觉语言模型生成全局知识概率热图，捕捉与关键预后信息文本提示的对齐情况。结构化病理报告通过规则化方法生成，并经ClinicalBERT编码为文本特征向量KTextContext，为后续多模态整合提供标准化诊断信息。
MacroContextNet和IM-NCTNet构建
通过拼接知识引导的切片表征，MacroContextNet成功捕获宏观预后信息，C-index值达0.713-0.791。IM-NCTNet作为核心多模态整合框架，采用MHCA机制动态加权不同模态的贡献，最终在全部队列中实现0.809-0.867的卓越预测性能。消融实验证实多模态整合策略的优越性，相比单模态模型和现有先进方法(TransMIL、AttMIL、Patch-GCN)均有显著提升。
模型风险分层、预后预测和临床效用验证
使用训练队列确定的风险阈值，所有模型均展现出强大的风险分层能力。高风险组死亡风险显著升高(HR: 3.20-13.91)，多变量Cox回归分析证实模型风险评分是独立预后因素。值得注意的是，在IM-NCTNet判定的高风险患者中，接受辅助化疗者显示显著生存获益(HR: 0.25-0.41)，而低风险组无此获益，表明模型能够识别真正需要强化治疗的人群。
AI启发的UC预后生物标志物探索和临床效用验证
通过综合梯度(IG)归因方法，研究发现高风险患者中模型主要关注肿瘤-肌肉界面和肾实质浸润区域，而低风险组则重点关注淋巴细胞富集区域。基于这些发现，团队量化了三种新型生物标志物：综合肌肉肿瘤评分(IMTS)、肿瘤肌肉共定位评分(Coloc_M)和肿瘤肾实质共定位评分(Coloc_R)。生存分析证实这些标志物具有显著预后价值，Coloc_M高风险组HR值达2.47-16.38。当这些标志物与临床模型(TNM分期+分级)结合时，显著提升了C-index和NRI值，证明其提供增量预后信息的能力。
注意力可视化和多模态可解释性
通过Grad-CAM热图、显著性归因热图和注意力分数可视化，研究展示了多模态间的交互机制。宏观、影像和文本特征共同引导模型关注特定区域，特别是肿瘤-肌肉界面等关键部位，增强了模型决策的透明度和临床可信度。
研究结论强调，该知识引导的多模态系统不仅实现了卓越的预后预测性能，还通过可解释性分析发现了具有临床意义的定量生物标志物。讨论部分指出，交互式Swin-UNETR显著提升了分割效率，而多模态融合策略克服了单模态模型的局限性。新型生物标志物(IMTS、Coloc_M、Coloc_R)的发现为理解UC生物学行为提供了新视角，特别是肌肉和肾实质浸润模式与预后的关联为临床评估提供了量化指标。
该研究的创新性体现在多个方面：大规模多中心队列确保了模型的泛化能力；先验知识引导的策略增强了模型临床相关性；多模态深度融合突破了传统单模态分析局限；新型生物标志物的发现为预后评估提供了新工具。尽管存在回顾性研究的固有局限，但该框架为UC精准医疗奠定了重要基础，未来整合基因组和空间转录组数据有望进一步提升预测精度和生物学可解释性。
这项研究标志着人工智能在泌尿肿瘤领域应用的重要进展，为实现个体化预后评估和治疗决策提供了切实可行的技术路径，对推动UC临床管理的精准化、智能化发展具有深远意义。
