基于深度学习的多组学与病理图像决策级融合框架提升肿瘤预后预测

本研究针对肿瘤预后预测中多模态数据融合不足的问题，提出了一种基于图卷积网络（GCN）和全局平均池化的决策级融合框架，整合了全切片病理图像（WSI）与转录组、甲基化、突变等多组学数据。通过TCGA乳腺癌（BRCA）和非小细胞肺癌（NSCLC）队列验证，模型C-index提升至0.75（BRCA）和0.67（NSCLC），显著优于单模态模型（p<0.05），为表型-基因型关联研究提供了新方法学支持。

　　

癌症的异质性和治疗反应差异一直是精准医学的难题。传统研究多依赖单一模态数据，而病理图像与基因组数据的割裂限制了预后预测的准确性。随着TCGA等数据库积累的海量多组学数据和数字病理技术的进步，如何整合这些异构数据成为关键挑战。上海交通大学医学院附属上海儿童医学中心生物医学信息中心的研究团队在《Scientific Reports》发表的研究，通过创新性的深度学习框架，首次实现了全切片图像与多组学数据的决策级融合，为破解这一难题提供了新思路。

研究采用三项核心技术：1）基于TSN-Unet的核实例分割与空间图构建（K=5邻域连接）；2）多组学特征张量整合（RNA-Seq筛选1,340基因，甲基化分析9,305位点，突变检测4,518高频位点）；3）基于GraphSAGE架构的三层GCN与张量融合模块（维度128×32）。所有实验均在TCGA的679例BRCA和802例NSCLC（含LUAD/LUSC亚型）队列中完成。

网络实现细节

模型采用PyTorch框架，使用双Tesla V100 GPU训练50个epoch，学习率初始0.01（每10epoch衰减10倍）。单模态模型作为基准，融合模型通过预训练权重初始化，训练耗时10-16小时。

典型特征提取

病理图像方面，从每例50个1,000×1,000像素切片中提取17维形态特征（如长短轴比、RGB通道均值）和1,024维对比预测编码特征。多组学数据通过edgeR筛选差异基因（|log₂FC|>1，FDR<0.05），甲基化位点（|log₂(M值)|>2）和高频突变位点（出现率>80%）。

模型性能比较

在10折交叉验证中，融合模型的C-index显著超越单模态模型：BRCA队列从0.61（仅图像）和0.69（仅组学）提升至0.75（p<0.001）；NSCLC队列从0.51和0.64提升至0.67。多变量Cox分析显示融合评分独立预测价值（BRCA: HR=4.24, 95%CI 3.04-5.91；NSCLC: HR=1.75, 95%CI 1.57-1.95）。

讨论与意义

该研究突破性地将细胞空间图（通过SAGPooling分层聚合）与分子特征张量交叉融合，首次证明多模态互补可提升预后判别力。技术层面，提出的GCN架构能捕获核形态拓扑关系，而全局平均池化解决了特征尺度对齐难题。临床层面，模型对IV期乳腺癌（HR=6.27）等高危群体的鉴别力尤为突出，为个性化治疗决策提供了新工具。研究还指出，当某模态数据缺失时，预训练特征张量可作为替代方案，这对临床实际应用具有重要价值。

未来工作可结合医疗记录文本数据，利用时间点过程（TPP）建模诊疗事件序列。该框架的通用性也为探索其他癌种的表型-基因型关联奠定了基础，推动病理学进入多模态智能诊断新时代。