MIRROR：通过模态对齐和保留实现的多模态病理自我监督表示学习

《IEEE Transactions on Medical Imaging》：MIRROR: Multi-Modal Pathological Self-Supervised Representation Learning via Modality Alignment and Retention

针对传统多模态学习在癌症诊断中模态对齐与保留不足的问题，MIRROR框架通过专用编码器提取各模态特征，结合对齐模块与保留模块实现模态融合与结构保护，在TCGA数据集上验证了其在癌症亚型分类和生存分析中的有效性。

　　

摘要：

组织病理学和转录组学是癌症诊断中的基础方法，它们分别反映了疾病的形态学和分子特征。多模态自监督学习在整合多种数据源以学习病理表征方面展现了显著的潜力。传统的多模态整合方法主要侧重于模态对齐，但未能充分保留各模态特有的内在结构。然而，与传统情况下多模态输入具有高度重叠的特征不同，组织病理学和转录组学数据表现出明显的异质性，提供了相互补充的视角：组织病理学数据提供了形态学和空间背景，有助于理解组织结构和细胞拓扑；而转录组学数据通过量化基因表达模式来揭示分子特征。这种固有的差异性给同时保持模态特异性和数据对齐带来了挑战。为了解决这些问题，我们提出了MIRROR这一新型多模态表征学习框架，旨在实现模态对齐和特征保留。MIRROR使用专门的编码器为每种模态提取全面的特征表示，并通过模态对齐模块实现表型模式与分子特征之间的无缝整合。此外，模态保留模块能够保护每种模态的独特属性；风格聚类模块则通过建模和聚类相关病理特征来减少冗余并增强疾病相关信息。在癌症基因组图谱（TCGA）数据集上进行的广泛评估表明，MIRROR在癌症亚型分类和生存分析方面表现优异，证明了其在构建全面肿瘤特征表示方面的有效性...

显示更多