利用可解释的双流基础模型从单细胞数据中揭示生物学奥秘

《Genome Biology》：Unlocking biological insight from single-cell data with an interpretable dual-stream foundation model

　　

摘要

背景

深度学习基础模型正在彻底改变单细胞生物学领域，但从复杂的高维数据中学习出全面且具有区分度的表示形式依然是一个核心挑战。尽管基于Transformer的单细胞语言模型已取得显著进展，但它们通常依赖单一的输入编码方案，这种做法会导致重要的基因表达信息丢失，进而阻碍对整体细胞特征的准确学习。为解决这些难题，我们提出了scDMC这一创新的单细胞预训练框架。

结果

< />

结论

scDMC为单细胞生物学提供了一个强大且可扩展的基础模型框架。通过兼顾基因的相对重要性与绝对表达强度，它提升了表示的准确性。其出色的性能以及具有生物学意义的解析结果为数据驱动的研究带来了新思路，有助于更深入地了解不同生物环境中的细胞异质性及基因调控机制。

背景

深度学习基础模型正在彻底改变单细胞生物学领域，但从复杂的高维数据中学习出全面且具有区分度的表示形式依然是一个核心挑战。尽管基于Transformer的单细胞语言模型已取得显著进展，但它们通常依赖单一的输入编码方案，这种做法会导致重要的基因表达信息丢失，进而阻碍对整体细胞特征的准确学习。为解决这些难题，我们提出了scDMC这一创新的单细胞预训练框架。

结果

在输入编码层面，scDMC采用“双流”架构，同时处理基于排序的序列和考虑绝对表达量的序列，以此克服单一编码方案带来的信息损失问题。在此基础上，该框架通过结合基因层面的掩码语言建模与细胞层面的动量对比学习，协同优化局部基因上下文与整体细胞特征。尽管仅使用200万个细胞进行预训练，远少于主流模型所使用的数据量，scDMC仍在包括细胞注释、聚类和数据整合在内的多项基准任务中达到了新的最佳水平。更重要的是，我们证明了scDMC能够识别功能基因模块，以数据驱动的方式推断特定细胞类型的调控网络，并提供基于注意力机制的生物学洞察。

结论

scDMC为单细胞生物学提供了一个强大且可扩展的基础模型框架。通过兼顾基因的相对重要性与绝对表达强度，它提升了表示的准确性。其出色的性能以及具有生物学意义的解析结果为数据驱动的研究带来了新思路，有助于更深入地了解不同生物环境中的细胞异质性及基因调控机制。