一种以疾病为中心的视觉-语言基础模型，用于肾癌精准肿瘤学

《Nature Communications》：A disease-centric vision-language foundation model for precision oncology in kidney cancer

　　

摘要

对肾肿瘤进行无创评估仍是泌尿系统肿瘤学中的一个关键挑战，因为诊断的不确定性常常导致过度治疗。在这里，我们开发了RenalCLIP，这是一个用于肾癌精准治疗的视觉-语言基础模型。利用来自8809名患者的27,866张计算机断层扫描图像（这些患者来自不同的多中心队列），我们采用了两阶段预训练策略来对特定领域的视觉和文本表示进行对齐。RenalCLIP在十个核心临床任务中表现出更高的性能和泛化能力，这些任务涵盖了解剖结构评估、诊断分类和生存预测等方面，其表现显著优于现有的通用基础模型。此外，RenalCLIP在诊断分类方面具有很高的数据效率，仅使用20%的训练数据就达到了最佳基线性能。该模型还具备强大的零样本诊断能力、有效的图像文本检索功能以及高质量的医疗报告生成能力。我们的研究结果表明，RenalCLIP是一个强大的、可泛化的工具，能够提高诊断精度、优化预后分层，并实现肾肿瘤管理的个性化。