RNA速率（RNA velocity）方法在单细胞数据集上的综合基准测试

《Genome Biology》：Comprehensive benchmarking of RNA velocity methods across single-cell datasets

　　

RNA速率（RNA velocity）为从单细胞RNA测序（single-cell RNA sequencing, scRNA-seq）数据推断细胞动态提供了强有力的框架。该领域内计算方法的迅速激增促使了系统性评估的需求。然而，现有的比较往往受限于范围狭窄或任务设计不完整，导致用户缺乏明确指导。因此，缺乏一个全面且标准化的基准，能够在多样化生物学与技术场景下使用适当的、情境特定的指标来评估方法。在这项研究中，研究人员提出了一个涵盖19个计算RNA速率（RNA velocity）工具（覆盖30种不同方法）的综合基准。研究人员系统地评估了8项评估任务中的25种仅RNA（RNA-only）方法，指定方向一致性（directional consistency）、时序精度（temporal precision）、阴性对照稳健性（negative control robustness）和测序深度稳定性（sequencing depth stability）为核心任务，同时在多模态整合任务中专门评估了五种多模态增强方法。这些评估利用了跨越26个真实场景和八个模拟场景的34个数据集。结果表明，方向一致性与阴性对照稳健性之间存在明显的权衡，不同时间建模策略间存在显著的群体行为，以及由测序深度和定量选择驱动的变异性。本研究还确定了若干方法学空白，包括需要改进基因依赖性（gene dependence）建模、更准确的时序推断策略和更优设计的多模态架构。该基准建立了一个统一的RNA速率（RNA velocity）方法评估框架。关键的是，研究人员提供了任务感知（task-aware）指导，以便根据特定生物学背景和技术约束而非依赖单一总体排名来促进方法选择。

研究背景方面，单细胞RNA测序（single-cell RNA sequencing, scRNA-seq）虽能解析细胞分化与发育，但仅提供静态快照，轨迹推断（Trajectory Inference, TI）方法依赖密集采样与先验知识存在局限。RNA速率（RNA velocity）通过建模未剪接（unspliced）与剪ed（spliced）mRNA动力学预测细胞未来状态，近年工具激增但缺乏系统评估。现有比较范围有限、任务设计不全，忽视阴性对照稳健性及测序深度等技术因素，且未区分方法变体差异，导致用户无明确选型指导。为此，研究人员开展涵盖30种方法、34个数据集、8项任务的综合基准测试，发表于《Genome Biology》，旨在建立统一评估框架并提供任务感知选型指导，揭示方法权衡与空白。

关键技术方法上，研究人员收集26个真实与8个模拟数据集涵盖多物种组织与技术场景；评估19个工具共30个方法变体，含25个仅RNA（RNA-only）与5个多模态增强方法；设计8项任务含4项核心（方向一致性、时序精度、阴性对照稳健性、测序深度稳定性）与4项附加（定量稳定性、模拟实验、多模态整合、计算可扩展性）；采用跨边界方向正确性（Cross-boundary directional correctness, CBDir）、簇内连贯性（In-cluster coherence, ICVCoh）、簇时序排序准确度（Cluster temporal ordering accuracy, CTO）、时序Spearman相关性（Temporal Spearman correlation, TSC）、自转移得分（Self-transition score, STS）、有效熵得分（Effective entropy score, EES）及稳定性得分（SCBDir、STSC）等指标；通过二项亚抽样模拟测序深度变化，对比alevin、dropEst、kallisto|bustools、STARsolo、velocyto五款定量工具；监测运行时间与峰值内存评估可扩展性；所有方法用默认参数保证公平。

研究结果部分，首先为25种仅RNA（RNA-only）方法的整体基准测试。研究人员将方法按模型架构分为11种深度学习（Deep Learning, DL）与14种非DL，按输出分16种推断速率与细胞特异性潜时间（cell-specific latent time, CLT）及9种仅速率向量，按实现多基于PyTorch。整体排名显示UniTVelo（uni）居首，SDEvelo第二，Velocyto第三，但无方法全优，发现方向一致性（任务I）与阴性对照稳健性（任务III）呈显著负相关（Spearman’s ρ=?0.572，P=0.003），表明强化方向信号可能牺牲稳态抑制能力，如LatentVelo（std）任务I第一但任务III第23。

方向一致性性能比较（Directional consistency performance comparison）方面，用CBDir与ICVCoh评估10个数据集。基因依赖性（Gene dependence）建模虽未全面提升方向准确性，但显著提升簇内连贯性（ICVCoh），如UniTVelo（uni）优于（ind），veloVI优于scVelo（dyn）。方法在批次效应（如Data 5、6）与单细胞核RNA测序（single-nucleus RNA-seq, snRNA-seq）技术挑战（如Data 8未剪接计数超剪接）下表现波动，Velocyto与scVelo（stc）在snRNA-seq方向一致性骤降且流线反转，显示技术因素强烈影响该指标。

时序精度评估（Evaluation for temporal precision）方面，用CTO与TSC评估8个含真实时间的数据集，将25法分四组：同时推断速率与统一CLT（组1）、同时推断速率与基因特异潜时间（组2）、速率图后验重建（组3）、动态模型后验重建（组4）。UniTVelo（uni）平均最优，UniTVelo（uni）与DeepVelo、SDEvelo、Velocyto、Dynamo（m1）、SvelvetVAE在CTO与TSC均强。方向一致性与时序精度无显著相关，组3后验法时序排名（2至25）远优于方向排名（10至15），组1联合推断法呈负向排名差，表明相对排名中后验法时序精度优于方向一致性。

阴性对照稳健性评估（Assessment of negative control robustness）方面，用5个外周血单核细胞（Peripheral Blood Mononuclear Cells, PBMCs）数据集与STS及EES。SDEvelo、cell2fate、κ-velo、DeepVelo双指标前十，LatentVelo（std）、SvelvetVAE、GraphVelo（std）及scTour变体靠后。神经常微分方程（Neural Ordinary Differential Equations, neural ODEs）强制时间排序可能在稳态下产伪动态，如Pyro-Velocity（m1）EES低（9.51）显伪方向，cell2fate EES高（334.54）近随机转移。贝叶斯法不确定性得分在静态组织可靠性有限，如VeloVAE（std）在Data 18失效，cell2fate在Data 21失效。

测序深度稳定性（Sequencing depth stability）方面，二项亚抽样（率1.0至0.2）模拟深度，用SCBDir与STSC。Pyro-Velocity（m2）、scVelo（stc）、SDEvelo、cellDancer双稳强，scTour（MSE）与GraphVelo（std）不稳。性能未随深度递减单调下降，表明测序深度影响非线性。

定量稳定性（Quantification stability）用Data 4与五款定量工具，UniTVelo（ind）、veloVI、Pyro-Velocity（m2）的SICVCoh与SCBDir双高稳，cell2fate与cellDancer双不稳，显示定量噪声鲁棒性仍是挑战。

模拟实验基准分析（Benchmarking analysis on simulation experiments）显示非DL（scVelo dyn/stc、Velocyto、κ-velo、SDEvelo）因假设契合模拟生成过程而优于DL底部（cellDancer、scTour MSE、VeloVAE std/Full VB），真实数据无此差异。剔除四离群后模拟与真实排名强正相关（Spearman’s ρ=0.888，P=7.910×10?8）。

多模态增强RNA速率方法（Multimodal-enhanced RNA velocity methods）评估染色质可及性（GraphVelo ATAC、LatentVelo ATAC、MultiVelo）与代谢标记（Dynamo m2、VelvetVAE）。GraphVelo（ATAC）CBDir优于基线但无总榜首，MultiVelo与LatentVelo（ATAC）ICVCoh相对好；Dynamo（m2）优于VelvetVAE但未超RNA-only基线Dynamo（m1）与SvelvetVAE，多模态整合未显一致增益且增模型复杂度。

计算可扩展性分析（Computational scalability analysis）显示基因维度17法处理2万基因，scTour变体前三；细胞维度仅scTour变体处理1百万细胞，Velocyto与scVelo（stc）至50万。scTour（MSE）因内置子采样具优扩展性但核心任务垫底。真实数据下采样显示多数法（scTour NB、veloVI、SDEvelo）性能近稳，下采样可省资源且需法具鲁棒性。

方法选择指南（Guideline for method selection）指出探索命运转优先考虑方向一致性但防假阳，LatentVelo（std）任务I第一但任务III差适探索需验证，平衡选UniTVelo（uni）、Pyro-Velocity（m2）、veloVI；时序分析推UniTVelo（uni）与SDEvelo，辅DeepVelo、Velocyto、Dynamo（m1）、SvelvetVAE需后验，无剪接矩阵用scTour（ZINB）；多模态推GraphVelo（ATAC）与Dynamo（m2）但仍优先RNA-only；大尺度选SDEvelo、Velocyto、scVelo（stc）、DeepVelo、veloVI或下采样，默认参非最优需调优。

讨论部分总结，本研究建34数据集框架评25仅RNA法八任务与5多模态法，较既往更全面链生物技术问题（方向、时间、阴性、定量、模拟、多模态、扩展）。无单法全优，方向一致性与阴性稳健性权衡源于强制时间约束难表稳态，需先进建模或先验抑伪信号；联合推断速与CLT架构需减伪信号或优后验CLT。定量仅三法（UniTVelo ind、veloVI、Pyro-Velocity m2）稳，或归因剪接RNA导向设计与低维嵌入抗噪；模拟中非DL优显仿真偏倚；多模态未居首需优整合与架构；核心优法细胞扩展限可用下采样。局限含用2000高变基因（Highly Variable Genes, HVGs）非最优、默认参非最优、短读长限制，长读长（long-read sequencing）或有潜力。

结论部分翻译，综上，研究人员建立了RNA速率（RNA velocity）综合基准框架，系统评估25种仅RNA（RNA-only）方法八项任务及靶向评估五种多模态增强方法。结果显示无单法一贯全优。据此提供实用指南助用户依特定生物学问题与技术约束择具。本研究亦确定若干方法空白，含需改进基因依赖性（gene dependence）建模、更准确时序推断策略与更优设计多模态架构。预期此框架连同策展数据集与评估指标，既为用户实用指南亦为方法开发者参照标准。终期资源旨在促转录动态稳健建模并提升单细胞研究中RNA速率（RNA velocity）分析可靠性。