单细胞基础模型在扰动预测中的应用:进展、陷阱与未来方向

《Digital Discovery》:Single-cell foundation models in perturbation prediction: progress, pitfalls and moving forwardOpen Access

【字体: 大 中 小 】 时间:2026年11月19日 来源:Digital Discovery 7.1

编辑推荐:

  大规模转录组数据集推动了通用型细胞基础模型(foundation model)的发展,这些模型可被适配到多种单细胞RNA测序(single-cell RNA-seq)任务中,包括预测遗传扰动和化学扰动的响应。然而,对于当前模型是否适用于该问题,学界尚未达成共识

大规模转录组数据集推动了通用型细胞基础模型(foundation model)的发展,这些模型可被适配到多种单细胞RNA测序(single-cell RNA-seq)任务中,包括预测遗传扰动和化学扰动的响应。然而,对于当前模型是否适用于该问题,学界尚未达成共识。在原始研究论文中,结果通常表明这些模型取得了最先进的性能,且有多项研究额外提供了模型预测的实验验证。然而,在后续的系统性基准评估中,当测试纳入更广泛的基线模型、数据集和评估指标时,关于其预测能力的上述评价往往被推翻。由于不同研究在将模型整合到扰动预测流程时所采用的策略存在不一致性,对这些结果的解读进一步复杂化。在此,研究人员通过批判性审视应用于扰动建模的单细胞基础模型来探究这些分歧。首先,研究人员对当前方法进行了详细综述,并讨论了预训练数据集、词元化(tokenization)策略、架构及自监督训练目标等方法学选择和设计要素的关键影响。其次,研究人员讨论了当前评估格局下的各项结果,并重点阐述了模型在计算与实验两类场景中的性能关键发现及局限性。最后,研究人员提出了切实可行的建议,以引导扰动建模领域的基础模型研究朝着创建虚拟细胞模型(virtual cell model)的目标迈进——该模型能够准确而稳健地将预测转化为药物发现中可操作的研究假说。
**1. 引言**

单细胞RNA测序(scRNA-seq)数据的积累为研究多种组织、物种和病理状态下的生物系统提供了基础,但实验性筛选全部细胞状态空间在成本上不可行。细胞基础模型(foundation model)通过在数百万转录组上训练的深度学习架构学习细胞状态表示,用于计算扰动建模。然而,已有综述未深入讨论扰动预测细节,且不同基准研究结论相互矛盾,亟需系统性分析。

**2. 当前用于扰动建模的单细胞基础模型格局**

**2.1 预训练数据集**

单细胞基础模型(scFM)依赖覆盖数百万细胞的大规模训练语料。不同模型预训练规模差异巨大,从scBERT的100万细胞到Tahoe-X1的2.66亿细胞不等,数据来源包括PanglaoDB、CELLxGENE门户及人工整合的多源数据库。在筛选标准上,Geneformer、SCimilarity等排除细胞系和疾病样本,而scFoundation、GeneCompass等明确纳入以提升多样性。State-Embedding、Tahoe-X1和GeneJepa专门在Tahoe-100M扰动图谱上训练以增强对扰动响应的敏感性。研究表明,纳入领域相关样本是决定扰动预测性能的关键因素,单纯扩大预训练规模并非充分条件。

**2.2 输入分词**

分词是将原始转录组转换为模型可处理表示的过程。多数scFM分别编码基因身份(随机初始化嵌入、ESM2嵌入或gene2vec嵌入)与表达水平(值投影、分级排名、分箱等)。表达离散化方法(分箱、分级)对技术伪影更稳健,但难以编码药物和CRISPR敲低中常见的低幅度表达变化;连续值投影保留更多信号但增加模型复杂度。部分模型仅覆盖蛋白质编码基因或限制输入规模,导致lncRNA和miRNA等非编码基因的调控信息无法被建模,可能引入有偏的扰动效应估计。

**2.3 预训练目标的选择**

多数scFM采用掩码语言建模(MLM)范式,但目标函数各异:Geneformer预测掩码基因标识符(交叉熵损失),scGPT和scFoundation预测连续表达值(MSE损失),UCE执行表达/非表达基因二分类。部分模型采用因果语言建模(CLM),如tGPT和TranscriptFormer;另一些采用自编码器、扩散模型或联合嵌入预测架构(JEPA)。目前无证据表明某种学习范式具有决定性优势,系统基准中未发现任何模型类别或损失函数显著胜出。基于连续或原始表达的损失函数优于交叉熵公式,将差异表达基因加权或分子结构编码纳入预训练目标是潜在改进方向。

**2.4 模型架构的选择**

scFM架构差异显著,从1000万参数的Geneformer到超过30亿参数的Tahoe-X1(TX1-3B)变体。多数采用堆叠Transformer骨干,亦有Performer、Mamba、表格架构(tabular)等变体。关于扩展律,更大模型在基因功能预测、批次整合等任务上有所改进,但扰动预测中增益有限且不稳定。例如,Tahoe-X1的30亿参数变体相比7000万参数模型的皮尔逊相关系数(PCC)提升不足1%。单纯扩大规模不足以解决扰动预测泛化问题,需与其他设计要素联合优化。

**3. 适配scFM用于扰动预测任务的策略**

**3.1 原位扰动**

原位扰动(in silico perturbation,ISP)通过人工修改对照细胞的分词表示(如表达置零或改变基因排名)模拟基因敲低/过表达,无需成对对照-扰动样本。Geneformer、GeneCompass、MaxToki等研究采用此策略并报告了成功预测和部分实验验证。然而,后续基准测试在考虑非特异性随机偏移、对照-目标可分离性和基因词汇限制后,发现正确预测率仅为15%–25%。尽管存在局限,ISP仍是目前唯一具有实验验证结果的建模框架。

**3.2 特征提取**

特征提取策略是在scFM上下文嵌入之上训练独立下游扰动模型。GEARS是遗传扰动预测中最常用的骨干,多个scFM用其上下文嵌入替换默认的GO特征后,性能相比原生GEARS配置有所提升。化学扰动中,CPA和State-Transition模型在scGPT、State-Embedding等的潜在表示上训练。然而,下游模型的选择本身会显著影响性能(差异可达30%),使scFM表示质量与下游回归器的贡献难以分离。

**3.3 端到端训练**

端到端训练通过附加专门模块将scFM骨干适配到有监督的对照-扰动对比学习。例如,scGPT通过二元掩码微调,PertAdapt引入基因条件适配器和图神经网络(GNN)编码器,scDCA注入基于化学结构的偏置项。此类方法在部分评估中表现优异,但性能增益并不一致,目前采用该策略的研究数量有限,需要更多基准测试验证。

**4. 评估scFM用于扰动预测:数据集、指标、性能与实验验证**

**4.1 用于基准测试的单细胞数据集概述**

评估所用数据集涵盖CRISPR-Cas9/CRISPRi敲低、CRISPRa过表达、小分子处理和细胞因子刺激等类型,规模从数万到数千万细胞不等。各数据集使用极不均衡,Norman、Replogle和Adamson数据集分别出现在30、25和19项评估中,而这些数据集的扰动效应幅度显著高于其他数据集,暗示当前评估可能偏向具有较大转录组效应的扰动类型。此外,大多数筛选在永生化癌细胞系中进行,与患者来源样本转录程序差异较大,限制了模型的临床适用性。

**4.2 用于量化性能的指标**

性能指标可分为五类:误差指标(MSE、MAE、L2范数)、拟合优度指标(PCC、Spearman's Rho、R2)、分布相似性指标(Wasserstein距离、KLD、MMD等)、扰动判别指标和专门指标。原始scFM研究通常仅在前20个差异表达基因上计算PCC和MSE,而基准测试采用更全面的评估套件。每类指标均有各自偏差,单一指标无法提供无偏的预测能力估计,需多层次综合评估。

**4.3 理解scFM在系统性评估中的性能差异**

在原始研究中,11/16个scFM报告优于GEARS。但在独立基准测试中,scBERT、scGPT、scFoundation、Geneformer和UCE等模型均未能显著超越简单的线性或均值基线。部分研究发现,扰动效应幅度、建模方法和任务定义均会影响模型表现,scFM是否胜出取决于模型之外的因素。当前评估框架中的每个设计要素都包含复合偏差,阻碍了对scFM性能的整体解读。

**4.4 scFM预测的实验验证**

实验验证目前仍相对稀少。Geneformer预测的GSN和PLN基因被CRISPR筛选验证为扩张型心肌病的候选治疗靶点;GeneCompass预测的NR5A1和GATA4被验证可诱导胚胎干细胞向性腺谱系分化;MaxToki预测的衰老相关基因在iPSC衍生心肌细胞中得到验证。独立研究还将Geneformer微调后用于克隆性造血、SARS-CoV-2感染和RUNX1相关血小板疾病,候选靶点在体外实验中得到部分验证。然而,这些验证案例可能仅代表偏倚样本,且预测通常需额外后过滤才能进入实验流程。

**5. 迈向AI虚拟细胞:实用建议**

本综述提出以下建议:精心筛选预训练和评估数据集,最大化细胞和干预层面的多样性;建立集中式扰动数据资源库以支持可复现的社区级评估;将模型设计更紧密地对齐扰动建模的生物学背景,包括改进分词以保留精细表达信号、在预训练目标中引入生物学先验;建立面向实际应用场景的任务导向基准测试,以弥合计算性能与下游可转化性之间的鸿沟。

**6. 结论**

本综述系统审视了单细胞基础模型在扰动预测中的应用,揭示了当前研究结果矛盾的根本原因在于评估设置的碎片化、指标和数据集的偏差以及扰动推断策略的差异。通用型基础模型在部分上下文中可用于扰动预测,但需针对任务进行适当校准。弥合计算基准评估与前瞻性实验研究之间的鸿沟,是推动AI虚拟细胞愿景实现的关键步骤。

订阅生物通快讯

订阅快讯:

最新文章

限时促销

会展信息

关注订阅号/掌握最新资讯

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号