《Computational Biology and Chemistry》:SCTGE infers transformer-based graph embeddings to improve cell-cell interaction identification and cell identity annotations
编辑推荐:
单细胞转录组分析中,SCTGE模型通过融合Transformer自注意机制与图神经网络,创新性地引入自适应多尺度注意力、APPNP增强特征传播及残差连接,有效解决高维数据和平面关系建模难题,显著提升细胞互作预测和身份注释精度。
作者:易冲思(Yichong Si)、陈曦(Chenxi Li)、史明光(Mingguang Shi)
安徽合肥工业大学电气工程与自动化学院,中国合肥230009
摘要
单细胞转录组数据分析在解码空间嵌入方面面临挑战,这些挑战源于数据的高维度、噪声以及现有计算框架的局限性。现有研究强调了基于图的模型在整合多种单细胞数据以揭示隐藏的生物学见解方面的潜在变革性,同时也指出了可扩展性和计算效率方面的持续挑战,这些挑战促使研究人员不断优化这些架构并改进其针对图的特定操作。在这里,我们介绍了SCTGE(基于单细胞Transformer的图嵌入,Single-Cell Transformer-based Graph Embeddings),这是一种将基于Transformer的自注意力机制与图神经网络相结合的新架构,用于生成具有空间感知能力的单细胞嵌入。SCTGE在图Transformer的基础上,整合了自适应的多尺度注意力机制来平衡全局与局部依赖关系,并采用了特定于图的编码方式来保持空间关系。此外,它还引入了诸如上下文感知的自适应多头注意力(context-aware adaptive multi-head attention)和APPNP(近似个性化神经预测传播,Approximate Personalized Propagation of Neural Predictions)增强型特征传播等创新技术,从而共同解决了空间转录组学中的可扩展性和噪声问题。与最先进的模型相比,SCTGE在细胞间相互作用预测方面表现出更优越的性能。在细胞身份注释方面,SCTGE在六个数据集中普遍优于或略微优于七种scRNA-seq工具,尽管在某些特定情况下存在例外。SCTGE通过提供一种可扩展且可解释的解决方案,为空间嵌入提取、细胞间通信分析和细胞身份注释提供了支持,推动了计算生物学的发展。
引言
在单细胞转录组数据中识别单细胞嵌入是一项复杂的任务,这主要是由于数据的高维度以及组织样本中固有的噪声(Xu等人,2024年;Xu等人,2022年;Long等人,2023年;Ma和Zhou,2022年;Chen等人,2024年)。用于此任务的Transformer模型可以根据其输入嵌入策略进行分类,从基因特异性嵌入到细胞特异性嵌入不等,涵盖了scRNA-seq、空间转录组学和多模态数据等多种形式。基因特异性模型(如Geneformer(Theodoris等人,2023年)和GeneCompass(Yang等人,2024年)根据表达水平或染色体位置对基因进行排序,并利用Transformer架构来预测基因功能、细胞类型和遗传扰动效应。相比之下,细胞特异性模型(如scGPT(Cui等人,2024年)、scBERT(Yang等人,2022年)和CellLM(Zhao等人,2023年)则编码整个细胞的信息,并使用值分类或对比学习等技术来执行细胞注释和癌症预测等任务。多模态模型(如scMoFormer(Tang等人)和scCLIP(Xiong等人)整合了各种数据类型,利用基于图或注意力的机制来处理基因表达推断等任务。这些嵌入策略展示了Transformer模型在处理复杂高维单细胞数据方面的灵活性。
图Transformer通过结合图神经网络(GNNs)和基于Transformer的自注意力机制的优势,为处理图结构化数据提供了一种有前景的方法(Yun等人,2019年;Ying等人,2021年;Kreuzer等人,2021a)。传统的GNNs在捕获局部依赖关系方面表现出色,但由于固定邻域的限制,在处理长距离关系时存在困难。图Transformer通过利用Transformer的自注意力来模拟全局依赖关系,从而能够捕捉局部和全局的相互作用(Kreuzer等人,2021b)。关键的发展包括引入位置编码以保留空间结构,并调整注意力机制以处理图特有的特征(如不规则连接性)。单细胞图Transformer通过有效整合多种数据类型(包括一体化异构图Transformer(Ma等人,2023年)、基于概率的单细胞图Transformer(Wang等人,2024年)和图像增强图Transformer(Tang等人,2023年))正在彻底改变生物学数据分析。这些研究共同强调了基于图的模型在整合各种类型的单细胞数据以揭示隐藏的生物学见解方面的变革潜力,证明了它们在推进复杂生物网络分析方面的有效性。然而,可扩展性和计算效率方面的挑战依然存在,这促使研究人员不断优化这些架构并改进其针对图的特定操作。
我们使用基于Transformer的图模型SCTGE来分析单细胞转录组数据,以提取有助于下游分析的信息丰富的单细胞嵌入。该模型采用近似个性化神经预测传播(APPNP)技术,在k跳子图中传播特征,从而实现高效的信息扩散同时保留局部相互作用。多头注意力层通过查询-键-值转换处理传播的特征,并通过边缘特征整合和残差连接来减轻过拟合。残差连接防止过拟合,保留了早期层的重要信息,更新的节点特征结合残差信息、层归一化和ReLU激活函数进行计算,以实现稳健的学习。基于单细胞Transformer的图嵌入引入了一种创新架构,将Transformer驱动的自注意力机制与图神经网络相结合,生成具有空间感知能力的单细胞嵌入。
SCTGE在细胞间相互作用预测方面表现出色,优于GCN、GAT、CLARIFY和DeepLinc等多种方法。其卓越的性能证明了其在不同数据条件下的泛化能力。预测的相互作用、细胞嵌入和基因特征相关性的可视化结果突显了其在揭示细胞间复杂空间和功能关系方面的能力。SCTGE在scRNA-seq数据集的细胞身份注释方面也表现出色,在六个数据集中优于七种广泛使用的方法,尽管在某些特定情况下存在例外。通过将单细胞嵌入与基因表达数据相结合,SCTGE为准确的细胞相互作用预测和细胞身份注释提供了一个强大的框架,为理解细胞网络及其在生物过程中的作用提供了见解。
数据集
我们在多个真实世界的空间转录组数据集以及一个模拟数据集(表1)中评估了我们提出的方法。Visium-control_P8数据集来自正常人心脏组织,提供了细胞的基因表达谱。相比之下,Visium-FZ_GT_P19数据集来自心肌梗死组织,提供了疾病状态下基因表达和细胞相互作用的见解。所有数据集均可在CellxGene平台上获取。
SCTGE框架
在研究细胞间相互作用时,采用了基于图的模型,其中单个细胞作为节点,它们之间的相互作用表示为边(图1)。K最近邻算法用于识别空间相邻的细胞,而相互作用则通过CCIDB和CITEdb等精选数据库进行过滤。k跳子图方法用于捕获局部相互作用。随后引入近似个性化神经预测传播(APPNP)模型,在图中传播节点特征。
讨论
我们介绍了SCTGE,这是一种基于Transformer的图模型,旨在通过整合神经网络、个性化PageRank、多头注意力和残差连接来改进空间转录组学中的预测。该模型能够实现准确的细胞间相互作用预测和细胞身份注释,同时揭示生物系统中的局部和空间相互作用模式。该模型结合了图的空间上下文和Transformer的全局推理能力。我们假设……
作者贡献
实验构思与设计:MS。实验执行:MS YS。数据分析:MS YS和CL。试剂/材料/分析工具的提供:MS。论文撰写:MS YS。
CRediT作者贡献声明
易冲思(Yichong Si):验证、软件、方法论、形式分析、概念化。史明光(Shi Mingguang):监督、项目管理、方法论、数据整理。陈曦(Chenxi Li):形式分析。
资助
C.L.获得了国家级本科生创新培训计划的资助。
利益冲突声明
我们声明与可能不当影响我们工作的其他人或组织没有财务和个人关系,对于任何产品、服务及/或公司,我们没有任何形式的职业或其他个人利益,这些利益可能会影响本文的观点或手稿的审稿过程。