临床分期提示下的多模态预后预测

《IEEE Transactions on Medical Imaging》：Clinical Stage Prompt Induced Multi-Modal Prognosis

多模态预后分析框架CiMP融合基因组数据和全切片图像，利用LLM生成临床分期提示并构建组自注意力模块，有效解决数据维度不匹配和临床知识整合难题，在五个TCGA数据集上实现最佳性能。

　　

摘要：

将肿瘤微环境的组织学分析与基因组检测相结合，被广泛认为是癌症分析和生存预测的基石。本文结合了基因组学和全切片图像（Whole Slide Images, WSI），重点解决了多模态预后分析中面临的主要挑战：1) 高阶相关性难以从维度不平衡的千兆像素级WSI和数以万计的基因序列中建模；2) 缺乏医学专业知识和临床经验会阻碍以预后为导向的多模态融合的效果。由于预后任务的特殊性，统计先验和临床知识对于预测随时间变化的生存概率至关重要，但这些方面目前研究不足。为此，我们提出了一种以预后为导向的影像组学融合框架，称为“临床阶段提示驱动的多模态预后”（Clinical Stage Prompt induced Multimodal Prognosis, CiMP）。具体而言，我们利用先进的大型语言模型（LLM）从结构化的临床记录中生成描述，并利用这些生成的临床分期提示来有目的地从每种模态中提取关键的预后相关信息。此外，我们还提出了一个组多头自注意力（Group Multi-Head Self-Attention）模块，以捕获基因组数据队列中的结构化群体特征。在五个TCGA数据集上的实验结果表明，我们提出的方法表现出色，其性能达到了现有多模态预后模型的最佳水平。此外，该方法的临床可解释性和应用潜力也得到了进一步验证。我们的代码将发布在：https://github.com/DeepMed-Lab-ECNU/CiMP/

引言

随着基因组医学的发展，病理学家现在有机会更深入地了解大多数疾病的分子机制。这使得能够识别治疗反应[1]、[2]、对肿瘤亚型进行分类[3]，尤其是评估预后[4]、[5]、[6]。近几十年来，生存结果预测一直被视为一项多模态分析任务，而主流方法仍然依赖于临床常规中对组织学和基因组数据的手动评估[7]。将计算机辅助诊断技术引入患者预后评估的最大挑战在于三个方面：1) 不同模态之间的数据维度严重不匹配，即全切片图像（WSI）包含数以万计的图像区域[8]，而基因模态则以结构化的长表格序列形式呈现[9]；2) 当前的深度学习驱动的预后技术往往无法建模特定任务的高阶相关性和每种模态的固有结构特征；3) 预后分析是一项独特而复杂的任务，需要统计先验来确定随时间变化的生存概率，并且严重依赖于医学专业知识和临床经验。