《TRENDS IN FOOD SCIENCE & TECHNOLOGY》:Unified Multimodal Computational Pathology with Missing-Modality Robustness via Riemannian Learning
编辑推荐:
一种用于分子、病理和临床建模的统一双曲框架(Hyperbolic Framework)。一种在黎曼空间(Riemannian Spaces)中对齐多组学层次结构的双曲蕴含损失(Hyperbolic Entailment Loss)。一种用于鲁棒缺失模态插补的层
一种用于分子、病理和临床建模的统一双曲框架(Hyperbolic Framework)。一种在黎曼空间(Riemannian Spaces)中对齐多组学层次结构的双曲蕴含损失(Hyperbolic Entailment Loss)。一种用于鲁棒缺失模态插补的层次引导采样策略(Hierarchy-Guided Sampling Strategy)。在生存预测和分类任务上表现出卓越性能。
**论文解读:统一多模态计算病理学中的黎曼学习缺失模态鲁棒性**
**研究背景与问题**
多模态计算病理学(Computational Pathology,CPath)旨在通过整合分子数据(如基因组、转录组、蛋白质组)与全切片图像(Whole Slide Images,WSIs)来解码肿瘤生物学。WSIs捕获恶性与基质 compartments 的空间形态,与癌症预后高度相关,而分子特征提供点突变、拷贝数变异等正交信息。然而,现有方法主要整合单一组学(基因组或转录组)与组织病理数据,忽略了蛋白质驱动的组织形态效应,并且未纳入患者层面的临床因素(如年龄、性别、合并症等),这些因素通过影响免疫应答和代谢状态调节组织形态。此外,临床实践中经常出现模态缺失(如分子检测不可用、病理图像质量不合格、临床记录不完整),但现有框架(如基于条件变分自编码器的cVAE)对缺失数据脆弱,且未利用分子信号与组织形态之间的层次依赖关系。因此,研究人员开展此项研究,旨在构建一个能够捕捉分子、病理、临床三者之间跨尺度层次依赖关系,并具备缺失模态鲁棒性的统一框架。论文发表在《TRENDS IN FOOD SCIENCE》。
**主要技术方法概述**
研究人员提出HuMP(Hyperbolic unified Multimodal Pathology)框架,其关键技术包括:(1)分子特征聚合:整合基因组(分为6个功能组)、转录组(331个组)和蛋白质组(通过UniProt序列和ESM嵌入,按Reactome通路聚合)为d维嵌入;(2)双曲空间建模:采用Lorentz模型(L
κn),通过指数映射和对数映射在恒定负曲率流形上操作,以自然嵌入树状层次结构;(3)分子层内蕴含损失(Entailment Loss,E(·→·))和跨模态蕴含损失(L
T),强制基因→转录→蛋白质以及分子→病理→临床的方向性信息流,在双曲空间中以角度锥约束实现;(4)双曲自注意力机制(Lorentzian Attention),在保持曲率感知的前提下融合三模态表示;(5)层次引导采样(Hierarchy-Guided Sampling,HGS)策略,在缺失模态时,利用训练中学到的蕴含锚点(观察到的父模态和子模态)进行基于测地距离的拒绝采样,并由训练原型(prototype)通过测地平均进行细化。样本队列来源:TCGA数据库(5个生存预测数据集:BLCA、BRCA、CRAD、HNSC、STAD;2个分类数据集:CCRCC、NSCLC)以及内部多中心AMH队列(850例肝细胞癌患者,来自3个中心)。
**研究结果**
**4.3.1 基线比较**
通过对比单模态(病理、分子、临床)、双模态(病理-基因)和三模态方法,在统一ResNet50骨干下,HuMP在5个生存队列上取得平均C-Index 71.2%和t-AUC 52.8%,超越所有基线。与最强三模态基线CenSurv相比,C-Index提升1.0%,但Nemenyi检验未达显著;在Conch骨干下,HuMP的C-Index达72.3%,优于CenSurv-Conch的71.0%。
**4.3.2 生存预测结果**
HuMP在5个数据集上均表现最佳,证实分子、病理、临床三模态互补性。分子单独使用C-Index 61.1%,而三模态提升至71.2%,表明分子信号需与组织形态和临床背景整合才能发挥最大效用。在Conch骨干下,HuMP的C-Index在BRCA、CRAD、HNSC、STAD上均有提升,但BLCA略降,提示病理基础模型带来队列依赖的收益。
**4.3.3 统计显著性分析**
Friedman检验显示方法间排名差异显著(χ2=23.63,p=0.0003)。Nemenyi事后检验表明,HuMP显著优于所有单模态基线(Cohen's d≥1.40),但相对于CenSurv的1.0%提升未达Nemenyi水平(需约57个独立队列)。Conch骨干下HuMP相对CenSurv的增益增强至1.3%,提示趋势一致。
**4.3.4 分期与分型**
在CCRCC和NSCLC分类任务中,HuMP在ResNet18和Conch骨干下均取得最高准确率(ACC)和AUC(例如Conch下NSCLC AUC 99.29%)。相较于三模态简单拼接(Concat),HuMP表现更优,表明层次感知建模带来了增益。在缺失基因或临床特征时,HuMP仍保持竞争力,验证了鲁棒性。
**4.3.5 外部验证**
在AMH队列上,从零开始训练的HuMP达到C-Index 67.0-67.2,与TCGA-LIHC内部表现相当;微调后提升至68.1-69.9。零样本迁移获得C-Index 51.3-56.7,使用10%训练数据即接近满微调上限,表明有限目标域校准即可适应跨中心分布偏移。
**4.4 缺失模态插补**
在三种单模态缺失场景(病理缺失、分子缺失、临床缺失)中,HuMP的HGS策略在所有指标上均优于生成式(LDCVAE)、检索式(M2/M3Surv)和蒸馏式(DisPro)基线。例如分子缺失时C-Index 70.1%,比最佳基线M3Surv(67.5%)高2.6%。平均模态恢复率达96.6%。双模态缺失时仍保持非平凡性能(C-Index 61.2-63.9%),证明层次结构可提供有效的单模态补全信号。
**4.5 消融实验**
分子通路消融:在双曲空间中整合多组学优于单组学,且双曲嵌入优于欧氏嵌入。多模态整合消融:移除层次损失(λ=0)时C-Index 68.8%,λ=1.0时提升至71.2%,验证了方向蕴含约束的重要性。嵌入空间与层次对齐:欧氏空间加层次损失导致性能下降(C-Index 68.5%→66.3%),而双曲空间无层次损失时C-Index微升但t-AUC下降,仅当两者耦合时全面改善,表明双曲几何提供径向-角度结构,层次损失提供生物学组织。模态编码器消融:使用领域感知文本编码器(PLIP)优于CLIP和独热编码,强图像骨干(Conch)进一步改善。部分模态训练:随机遮蔽50%训练样本中某一模态,C-Index下降但t-AUC稳定,表明模型能从不完全数据中学习。
**4.6 定性分析**
热图可视化显示,HuMP的注意力集中于病理学家标注的肿瘤区域,分子注意力聚焦细胞密集肿瘤巢,临床注意力分布更广。梯度分析显示临床变量中“原发疾病”、“切除部位”等贡献最大,分子标记中TET1、ERCC5等肿瘤抑制基因和增殖相关基因具有高影响。Kaplan-Meier分析在所有数据集上成功分离高风险与低风险组(p<0.05)。时间消耗方面,双曲空间引入9.8%额外开销,HGS增加13.7-14.7%,可接受。
**讨论与结论**
讨论部分指出,HuMP的优势源于双曲几何与方向蕴含监督的耦合,而非单独使用负曲率。分子-病理-临床层次是生物学驱动的建模先验,并非完整因果图,未来可探索患者自适应或双向结构。HGS依赖于训练分布中学到的层次,在严重域偏移下可能需要重新校准。此外,训练需要可靠收集的WSI、临床变量和组学图谱;在临床工作中,缺失模态的鲁棒性取决于缺失模式与训练分布的一致性。
研究结论翻译如下:
研究人员提出HuMP,一种多模态CPath框架,在双曲空间中对分子、病理和临床数据之间的层次关系进行建模。研究结果表明,并非将改进归因于几何本身,而是双曲表示与方向蕴含监督的耦合为组织跨尺度多模态证据提供了有效先验。此外,研究人员开发了HGS,一种缺失模态补全策略,在蕴含成形的双曲几何上进行基于距离的采样,重复使用由方向层次监督组织的模态锚点,无需引入额外可训练补全模块。在两项下游任务的七个数据集上的实验展示了整体卓越性能,而缺失模态实验为所提出的层次引导补全策略提供了实际证据。