用于亚细胞空间转录组学的图像增强多模态对比变换器

《IEEE Journal of Biomedical and Health Informatics》：Image-enhanced Multi-Modal Contrastive Transformer for subcellular spatial transcriptomics

空间分子成像技术结合多模态对比学习框架SIMMT实现亚细胞分辨率下的基因表达与形态学特征融合分析，有效提升肿瘤异质性识别和潜在基因标志物发现能力，在多个癌症组织数据集上验证优于现有方法。

　　

摘要：

空间分子成像技术的最新进展使得基因表达分析与高分辨率成像相结合，为在亚细胞水平上解析分子异质性提供了前所未有的机会。然而，由于这些技术能够检测到的基因数量有限，因此无法全面捕捉细胞的特征，这限制了后续分析的深度。空间成像数据提供了高分辨率和细粒度的形态学信息，因此开发能够有效整合图像特征与转录组数据的计算方法对于实现全面的亚细胞数据分析至关重要。在本研究中，我们提出了SIMMT（一种基于图像增强的多模态对比转换器框架），用于识别空间域并提升亚细胞数据的分析能力。在该框架中，我们设计了双Transformer架构，分别对转录组数据和形态学图像进行建模，以学习细胞的多模态表示。为了全面捕捉不同模态在空间环境中的相互作用，我们引入了一个对比学习模块，通过在细胞层面对组织形态和基因表达进行对齐来增强细胞的表征。我们在来自人类肺癌组织、小鼠脑组织、人类结直肠癌组织和人类卵巢癌组织的亚细胞空间转录组数据集上测试了SIMMT。结果表明，SIMMT在空间聚类和基因表达模式分析方面始终优于现有的最先进方法。此外，该方法还有效展示了其在识别肿瘤空间异质性以及发现人类细支气管腺瘤（BA）数据集中的潜在基因生物标志物方面的能力。SIMMT的代码和数据集可从以下链接下载：https://github.com/LWanzi/SIMMT