《Advanced Science》：An Explainable Multimodal Deep-Learning Model Using Histopathological Image and Clinical Information for Prognosis Prediction in Colorectal Cancer: A Multi-Center Cohort Study
编辑推荐：
准确的预后评估对结直肠癌（CRC）个体化患者的个体化诊疗至关重要，而现有模型在准确性与可解释性方面仍有待提升。研究人员开展了一项多中心队列研究，纳入三家医疗中心共3381例接受根治性切除的CRC患者，构建并验证一种融合临床变量与苏木精-伊红（H&E）染
准确的预后评估对结直肠癌（CRC）个体化患者的个体化诊疗至关重要，而现有模型在准确性与可解释性方面仍有待提升。研究人员开展了一项多中心队列研究，纳入三家医疗中心共3381例接受根治性切除的CRC患者，构建并验证一种融合临床变量与苏木精-伊红（H&E）染色组织病理图像的可解释多模态深度学习框架。该多模态模型在全部队列中的预后预测性能均显著优于单模态模型；依据模型推导的风险评分将患者划分为低危组与高危组后，高危组结局更差，且在多变量Cox回归中该分层仍是独立预后因素。模型还可于Ⅱ/Ⅲ期亚组中识别出生存差异显著的患者：Ⅲ期高危患者可从辅助化疗（ACT）中获益，而低危组未见明显获益。多组学分析显示，低危肿瘤以适应性免疫应答增强为特征，高危肿瘤则表现为血管生成活跃、T细胞耗竭评分升高，呈现缺氧与免疫抑制微环境。上述结果支持该多模态模型在CRC术后生存预测中具有较高准确性与良好可解释性。
研究背景与总体设计
结直肠癌（CRC）是全球高发且致死率居前的恶性肿瘤，术后复发是临床核心难题。现行治疗决策主要依赖TNM分期，但传统分期难以充分刻画肿瘤异质性与微环境特征，对个体层面预后判断存在局限。虽然基于全切片图像（WSI）的计算病理学进展迅速，但多数模型仅利用单模态图像，且存在外部验证不足、治疗获益分析不完整、可解释性薄弱等问题。为此，研究人员开展一项多中心回顾性队列研究，纳入北京大学第三医院（PUTH）、MCO与TCGA三组队列共3381例接受根治性切除、无新辅助放化疗的结直肠腺癌患者，构建并验证一种融合H&E病理图像与核心临床变量（年龄、性别、AJCC分期）的可解释多模态深度学习框架，旨在提升生存预测精度、实现精细风险分层，并借助多组学手段解释模型生物学依据。论文发表于《Advanced Science》。
主要关键技术方法
研究人员采用Trident工具进行切片组织分割与染色归一化，以UNI2病理基础模型提取图像块特征，经基于注意力机制的多实例学习（ABMIL）聚合为切片级表征，再通过跨注意力（cross-attention）模块与临床嵌入融合；生存预测以负对数似然（NLL）损失将疾病特异性生存（DSS）时间离散化建模。训练基于PUTH队列五折蒙特卡洛交叉验证，MCO与TCGA作外部验证。可解释性方面，借助注意力热图与HoverNet细胞分型，并整合PUTH队列批量RNA、单细胞RNA（scRNA）及10×Genomics Visium HD与Xenium空间转录组进行机制印证。
研究结果
3.1 研究设计与患者队列特征
通过多中心发现与验证队列构建，完成人群基线梳理与随访
