《Advanced Science》:DeepLNM: A Multimodal Model for Predicting Lymph Node Metastasis in Colorectal Cancer
编辑推荐:
准确评估淋巴结转移(LNM)对结直肠癌(CRC)的预后分层和治疗选择至关重要,但影像学和常规病理学可产生假阴性/假阳性结果。研究人员提出DeepLNM,一种用于CRC中LNM预测的多中心基础模型,其评估基于回顾性、外部、前瞻性和用户研究证据。研究构建了来自三家
准确评估淋巴结转移(LNM)对结直肠癌(CRC)的预后分层和治疗选择至关重要,但影像学和常规病理学可产生假阴性/假阳性结果。研究人员提出DeepLNM,一种用于CRC中LNM预测的多中心基础模型,其评估基于回顾性、外部、前瞻性和用户研究证据。研究构建了来自三家医院的多模态数据集,包含配对的苏木精-伊红(H&E)染色全切片图像(WSI)、CT扫描和文本。DeepLNM在内部队列中达到平均AUC为0.922,在两个外部队列中AUC分别为0.872和0.848。在来自注册临床试验(NCT07239063)的前瞻性队列中,DeepLNM保持稳健(AUC = 0.845)。在用户研究中,DeepLNM提高了诊断准确性,尤其是对初级病理学家(95.0%–97.3%),同时缩短诊断时间并提高信心。为探索模型泛化性,研究人员进一步在胃癌队列中验证,达到AUC为0.793。最后,DeepLNM识别了与LNM相关的组织病理学特征,回应了深度学习的“黑箱”问题。总之,这些结果使DeepLNM成为预测CRC中LNM状态并经临床初步验证的多模态模型,可能促进人工智能病理学的临床转化。
该研究聚焦结直肠癌(colorectal cancer, CRC)淋巴结转移(lymph node metastasis, LNM)的精准预测。CRC是消化系统常见恶性肿瘤,LNM状态决定临床分期、手术规划和个体化精准治疗,并与复发和癌症相关死亡风险升高密切相关。影像学如计算机断层扫描(computed tomography, CT)和磁共振成像(magnetic resonance imaging, MRI)常用于术前评估,但LNM最终确定依赖术后病理,即“金标准”。然而,术中获取淋巴结数目可能低于指南推荐的12枚;病理标本量增加与经验丰富病理学家短缺导致工作负荷和疲劳,可能影响诊断并漏诊微转移;初级病理学家难以区分淋巴结内肿瘤细胞和组织细胞,造成假阳性。不准确的病理诊断,无论过激或过保守,均可能使患者失去合适治疗并降低术后5年生存。因此,研究人员开发并验证DeepLNM,一种整合H&E染色全切片图像(whole-slide image, WSI)、CT和文本的多模态模型,用于CRC LNM预测。研究在内部、外部、前瞻和用户研究中评估,并在胃癌队列探索泛化性。该论文发表于《Advanced Science》。总体结论是DeepLNM在内部队列平均AUC为0.922,外部队列AUC为0.872和0.848,前瞻队列AUC为0.845,用户研究提高诊断准确率、缩短时间并提高信心,胃癌队列AUC为0.793,并能识别与LNM相关的组织病理特征,提示其作为临床初步验证的多模态模型可促进人工智能病理学临床转化。
主要关键技术与方法(≤250字):研究人员采用多中心回顾性、外部、前瞻性和用户研究设计。样本队列来源包括南方医科大学南方医院(NFH)内部队列、The Cancer Genome Atlas(TCGA)公共队列、南方医科大学珠江医院(ZJH)队列、河北医科大学第四医院(FHHMU)队列、NFH胃癌队列及NFH前瞻性CRC队列(注册临床试验NCT07239063)。模型输入为H&E染色WSI、CT和文本;WSI经Otsu分割、Vahadane染色归一化、UNI2编码,CT经Vista3d编码,文本经CLIP编码;采用缺失模态聚合器(Missing Modality Aggregator, MMA)、两阶段跨模态融合和随机实例掩膜多实例学习(Stochastic Instance Masking Multiple Instance Learning, SIM-MIL)进行预测聚合;外部验证不调参;评价与解释使用五折交叉验证、决策曲线分析(decision curve analysis, DCA)、Integrated Gradients(IG)和UMAP聚类。
研究结果:
2.1 研究设计与患者特征:研究人员纳入6个队列共1501例患者,其中640例LNM阳性(42.6%),861例LNM阴性(57.4%)。除TCGA仅含WSI和文本外,其他队列均提供配对WSI、CT和文本。内部数据集NFH与TCGA共989例;外部回顾队列ZJH 123例、FHHMU 113例;泛化评估包括NFH胃癌110例和NFH前瞻CRC 166例,前瞻队列来自注册临床试验NCT07239063。所有切片数字化,CT包括增强和非增强并以DICOM(DCM)格式获取,文本来自临床病历。结论:多来源、多模态队列支持模型训练与验证。
2.2 一种用于LNM预测的新框架:DeepLNM分三阶段,即特征提取、跨模态融合和预测聚合。预训练编码器从WSI、3D CT和临床记录提取高维嵌入;缺失模态聚合器增强稳健性;SIM-MIL在基于注意力的多实例学习(multiple instance learning, MIL)框架上聚合特征并输出患者级概率。结论:该框架实现病理、影像和文本信息整合。
2.3 DeepLNM的性能:内部五折交叉验证中,DeepLNM平均AUC为0.922,准确率为0.871,优于五种常用病理基础模型,略高于Prov-Gigapath(AUC:0.915)。外部ZJH和FHHMU队列AUC分别为0.872和0.848。与七种主流注意力MIL模型比较,DeepLNM在ZJH队列AUC最高,超过TransMIL(AUC:0.786),其他六种AUC为0.667–0.698,差异有统计学意义;FHHMU结果类似。多模态模型AUC为0.928、敏感性为0.892、特异性为0.918,优于纯文本(AUC:0.691)、纯WSI(AUC:0.895)和纯CT(AUC:0.835)。DCA在外部队列所有概率阈值显示正净获益。结论:多模态融合提高LNM预测性能并具临床净获益。
2.4 模型的泛化性能:前瞻队列中DeepLNM AUC为0.845;DCA在12%–98%阈值高于treat-all和treat-none策略。对初始淋巴结检出不足患者进行事后探索分析。与七种MIL模型基准比较,DeepLNM仍第一。53例前瞻患者中,30例LNM阴性共123张WSI、23例阳性共96张WSI,单WSI与多WSI在敏感性、特异性、准确性或AUC上经Bootstrap重采样无统计学差异(p>0.05)。在NFH胃癌多模态队列,DeepLNM AUC为0.793,DCA在22%–86%阈值高于策略,并仍优于其他七种模型。结论:模型在前瞻和跨癌种数据中保持良好泛化性,但胃癌性能略降。
2.5 用户研究:DeepLNM提高诊断信心、准确性和效率:从NFH-PRO队列随机选取136例,收集全部淋巴结WSI,由七名病理学家参与,其中两名高级、五名初级。模型辅助后六名病理学家诊断准确性提高,一名高级病理学家两轮均达100%;初级病理学家准确性从95.0%提高到97.3%。所有病理学家诊断效率提高,初级平均阅读时间从152.2 s降至120.3 s;初级诊断信心平均从8.5升至9.2。分析显示,初级常忽略类似生发中心的肿瘤灶致假阴性,或将纤维结缔组织及扭曲组织细胞误判为肿瘤细胞致假阳性。结论:DeepLNM可多维辅助病理学家,尤其初级,减少繁琐复杂LNM评估负担,支持临床部署。
2.6 可视化基于深度学习的预测:在内部验证集,研究人员用Integrated Gradients评估所有病理patch对DeepLNM预测的贡献并转热图。预测LNM阴性组前50个最高IG评分patch多为淋巴细胞浸润、高分化腺体结构和脂肪细胞浸润;预测阳性组多为低分化肿瘤细胞、促纤维增生反应和坏死。随机选60例正确预测者(30阳性、30阴性),每例取前10个最高IG评分patch,共600个patch由两名高级病理学家复核,组织学特征分布在阳性和阴性组差异显著;低分化腺体结构在阳性高IG patch中最常见(43.3%),淋巴细胞浸润在阴性中最常见(26.3%)。无监督聚类显示,Cluster 1和5高度特异于LNM阳性组,Cluster 1全为阳性patch(100%),Cluster 5达99.5%阳性;Cluster 0和4主要富集于阴性组;UMAP投影显示分离。组织形态上,阴性相关Cluster 0和4多呈非肿瘤性、低侵袭特征,如间质结缔组织或无非典型良性细胞;阳性相关Cluster 5常见肿瘤巢,Cluster 1为低分化肿瘤细胞和结构紊乱。结论:模型可区分良性间质/非肿瘤特征与高风险转移形态,缓解黑箱问题。
讨论总结:讨论指出,CRC LNM阳性患者预后较差,5年总生存显著低于阴性,因此准确诊断对个体化治疗关键。CT术前评估可依据淋巴结位置、大小、形态规则和强化特征推断转移,但小转移灶易漏诊。常规LNM评估依赖病理学家显微镜下人工复核,经验差异尤其初级医生导致准确性可靠性不足,高级医生过载和视觉疲劳也可漏诊微转移,淋巴结取材不足12枚增加N分期不准风险。DeepLNM在内部、外部和前瞻队列表现良好,数据覆盖中国南北多中心、公共数据库、胃癌和前瞻性注册研究,是首个纳入前瞻队列并在真实工作流评估的多模态多中心CRC LNM预测AI模型。方法上,两阶段融合、缺失CT掩膜预测和SIM-MIL带来性能;DCA显示正净获益。与病理基础模型和MIL模型比较,DeepLNM排名靠前。胃癌队列AUC为0.793,仍第一,但低于CRC,可能与组织形态、结构、发生发展和分子机制差异有关,未来需多癌种数据、微调和迭代优化。用户研究显示其可帮助资源有限医院和高容量医院,但定位为决策支持而非替代病理学家。事后探索提示在初始淋巴结检出不足时DeepLNM可提供补充风险信息。可视化分析表明阳性WSI关注坏死、促纤维增生反应和低分化腺体,阴性关注高分化腺体和浸润淋巴细胞。局限包括前瞻队列数量有限、私有队列均来自中国、跨人群泛化性待建立,未来需更多真实世界数据、随机对照试验如随机交叉试验,并优化模型架构如轻量骨干。研究结论翻译:总之,这些结果使DeepLNM成为预测CRC中LNM状态并经临床初步验证的多模态模型,可能促进人工智能病理学的临床转化。