OMD:基于最优运输理论的多模态解耦学习方法在脑膜转移诊断中的应用

《Information Fusion》:OMD: Optimal Transport-guided Multimodal Disentangled Learning for Leptomeningeal Metastasis Diagnosis

【字体: 大 中 小 】 时间:2026年01月14日 来源:Information Fusion 15.5

编辑推荐:

  提出基于最优传输的多模态解耦学习框架OMD,整合MRI与基因组数据,通过最优传输建立全局对应,信息瓶颈压缩噪声,特征解耦分离共享与专用表征,结合图神经网络推理,显著提升脑膜转移瘤诊断的准确性和特异性,为个性化治疗提供可解释依据。

  
陈胜家|胡慧华|曾洪福|李晨鑫|徐青|张龙峰|徐海鹏
福建医科大学临床肿瘤学院胸外科肿瘤学系,福建癌症医院

摘要

软脑膜转移(LM)的诊断是一个重大的临床挑战。现有的诊断方法往往受到单一模态数据的限制,以及有效整合影像学和基因组学异构信息的固有困难。为了解决这些挑战,我们提出了OMD(Optimal Transport-guided Multimodal Disentangled Learning)框架,该框架结合了MRI数据和基因组信息以提高诊断准确性。我们的方法结合了基于最优传输的跨模态注意力机制来稳健地对齐异构特征,信息瓶颈压缩来减少噪声和冗余,以及特征解耦来明确建模共享特征和模态特定特征,并结合了分层注意力机制进行MRI处理和基于图的跨模态推理。实验结果表明,OMD在我们的临床数据集上实现了更高的诊断准确性、灵敏度和特异性,显著优于当前的最先进方法。该模型还提供了关于与LM相关的跨模态生物标志物的可解释性见解。所提出的OMD框架为多模态医学诊断建立了一个新范式,有效利用了影像学和基因组数据的互补优势。除了其在LM诊断中的直接应用外,我们的方法还为整合异构医学数据源提供了一种通用方法,同时提供了临床相关的可解释性。这项工作代表了朝着结合多种数据模态以提高诊断准确性和治疗规划的方向迈出的重要一步。

引言

软脑膜转移(LM)是晚期癌症(尤其是肺癌)的一种严重且常常致命的并发症,其特征是恶性细胞扩散到脑脊液(CSF)和软脑膜中,导致严重的神经后果。虽然靶向疗法如EGFR-TKIs延长了患者的生存期,但这反而增加了LM的发病率[1],[2]。未经治疗的LM患者的中位总体生存期仅为4至6周[3],[4],因此早期和准确的诊断至关重要但具有挑战性。当前的诊断方法,包括临床评估、MRI和CSF分析,都存在局限性:临床症状往往是非特异性的,MRI的灵敏度因转移模式而异(大约70-80%)[5],而CSF细胞学检查(金标准)具有侵入性且假阴性率较高。
单一模态方法本质上限制了诊断性能;MRI虽然提供了解剖细节,但可能遗漏分子驱动因素,而富含分子信息的基因组数据缺乏空间背景。这突显了整合诊断策略的必要性。最近的人工智能进展,包括CNN和注意力机制,在医学图像分析中显示出前景[6],[7]。尽管我们之前的工作已经建立了仅基于MRI的LM检测的分层注意力网络[8],但此类单一模态方法无法捕捉LM的全部生物学复杂性。将基因组数据与影像学数据相结合,通过提供关于LM潜在生物学的互补信息来提高准确性是很有吸引力的,因为细胞粘附、迁移和血脑屏障(BBB)破坏的基因改变与LM的发展有关[9],并且肿瘤基因谱型可以影响转移倾向和治疗反应。
然而,有效地融合影像学和基因组数据面临重大的技术挑战。传统方法如简单特征连接或后期集成通常会因为这些数据类型的高维性和异质性而失败,无法充分建模它们复杂的相互依赖性。尽管注意力机制很有前景,但基本形式可能无法最佳地对齐不同模态的特征或处理固有的噪声和冗余。医学中多模态数据整合的更广泛挑战是实质性的,这源于空间结构化影像数据和稀疏、可变基因组数据在维度、规模、分辨率和语义意义上的差异,需要专门的解释。为了解决这些根本差异,同时减少噪声和冗余并确保模型的临床适用性,需要更复杂的整合策略,以便能够洞察其预测的生物学基础。
尽管多模态学习取得了进展,但开发用于自动诊断软脑膜转移(LM)的模型仍然面临重大挑战。首先,主要困难在于捕获和整合整个大脑MR体积中的全局信息。LM诊断需要一个高维的判别任务,传统分析方法难以完全完成[10],[11]。MR体积的不同区域和切片包含不同的关键信息,需要一个能够全面整合这些全局数据的模型结构。此外,LM预测需要分析大脑各部分之间的关系,捕捉不同位置的转移的复杂特征。这要求模型能够有效学习和表示整个MR体积中的长距离空间依赖性。
其次,提取和表示MR切片内和切片间的复杂特征。大脑MR图像包含丰富的切片内和切片间信息,但也存在大量冗余数据,需要有效的特征提取方法来降低计算成本同时保留关键信息。MR图像质量可能受到各种因素的影响,如采集参数和患者状况,增加了特征提取的难度[11],[12]。此外,LM诊断需要整合MR体积中多个区域和切片的信息以捕捉转移的复杂特征。这需要具有强大特征学习能力的模型,能够从复杂的大脑MR体积中提取关键的LM相关特征,同时保持高维的判别能力。
为了解决上述挑战,我们引入了OMD(Optimal Transport-guided Multimodal Disentangled Learning for Diagnosis),这是一个新颖的分层多模态框架,通过最先进的技术整合了MRI和基因组数据。我们的方法利用最优传输理论建立影像学和基因组特征之间的全局对应关系,采用信息瓶颈原理减少噪声和冗余,并利用特征解耦提取共享特征和模态特定特征。如图2所示,该框架包括模态特定的特征提取模块、基于最优传输的跨模态注意力、信息瓶颈和特征解耦以及基于图的跨模态推理,从而实现从MR体积和基因组数据的端到端预测。这个集成系统不仅提高了诊断准确性,还提供了关于关键LM相关生物标志物的可解释性见解,并且在LM预测准确性方面优于当前的最先进模型,因此在指导个性化治疗策略方面具有重大潜力。总之,本文的主要贡献如下:
  • •
    我们引入了最优传输理论的新应用,以建立MRI特征和基因组标记之间的全局对应关系,从而更准确地识别与LM相关的跨模态生物标志物,并克服了标准注意力在对齐异构分布方面的局限性。
  • •
    我们开发了一种基于信息瓶颈的压缩机制,减少了多模态表示中的噪声和冗余,并结合了特征解耦方法,将模态共享信息与模态特定特征分开,从而提高了模型的鲁棒性并提供了临床可解释的潜在表示。
  • •
    我们提出了一个异构图神经网络,用于建模影像表型和基因组改变之间的复杂关系,从而能够对其对LM发展的共同贡献进行高级推理。
  • •
    我们在LM患者的临床数据集上进行了广泛的实验,与单一模态方法和现有的多模态方法相比,证明了在诊断准确性、灵敏度和特异性方面的显著改进,同时提供了具有临床实用性的可解释性见解。
本文的其余部分组织如下:第2节回顾了LM诊断、多模态学习、最优传输和信息瓶颈理论的相关工作。第3节详细介绍了我们提出的OMD框架。第4节描述了实验设置,包括数据集和实现细节。第5节展示了结果和分析。第6节讨论了影响、局限性和未来方向。最后,第7节总结了本文。

章节片段

LM医学影像诊断

通过医学影像(尤其是MRI)诊断LM已经得到了广泛的研究。传统方法依赖于放射科医生识别与LM相关的影像特征,如软脑膜增强、结节性沉积和颅神经受累[2],[5]。然而,这些特征可能很微妙且多变,导致诊断的一致性存在挑战。基于影像的诊断的主要瓶颈在于它无法捕捉到

方法

在本节中,我们介绍了我们提出的用于软脑膜转移诊断的OMD框架的详细信息。我们首先正式定义了问题,并概述了框架架构。然后,我们详细描述了框架的每个组成部分,包括模态特定的特征提取模块、基于最优传输的跨模态注意力机制、信息瓶颈压缩和特征解耦方法以及基于图的跨模态推理

数据集和预处理

我们的数据集包括500名疑似LM的患者,其中250例确诊为LM,250例为对照组。对于每位患者,我们收集了MRI数据(T1加权、T2加权和FLAIR序列,分辨率为1×1×1毫米)以及从肿瘤组织DNA(福尔马林固定石蜡包埋,FFPE)获得的基因组数据,使用靶向下一代测序(NGS)面板覆盖了大约200个与癌症相关的基因。我们使用了临床指示的活检或手术标本中的组织DNA

结论

我们提出了OMD,这是一个用于软脑膜转移诊断的多模态框架,通过最优传输、信息瓶颈、特征解耦和基于图的推理整合了MRI和基因组数据。我们的方法取得了最先进的性能,并为临床决策提供了可解释的见解。尽管该框架展示了强大的结果,但其局限性包括数据集相对较小、专注于二元分类以及计算复杂性

未引用的参考文献

图1、图3、图8、表6、表9、表10、表11、表12。

CRediT作者贡献声明

陈胜家:资金获取、正式分析。胡慧华:方法论、调查。曾洪福:软件、资源。李晨鑫:验证、监督、概念化。徐青:撰写——原始草稿、可视化。张龙峰:正式分析、概念化。徐海鹏:数据管理、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号