基因组语言模型在RNA序列预测任务中的基准评测：数据算法与生物语境协同驱动性能突破

《Nature Communications》：Benchmarking pre-trained genomic language models for RNA sequence-related predictive applications

本研究针对预训练基因组语言模型(gLM)在RNA生物学任务中缺乏系统评估的问题，研究人员对11种gLM在非编码RNA分类、m6A修饰预测、可变剪接位点预测和翻译效率预测四个关键任务上进行了全面基准测试。结果表明，优秀性能源于数据算法与生物语境的协同作用，而非单纯模型规模扩大；gLM在数据有限或不平衡时优势明显，而任务特定方法在数据充足时效率更高。该研究为模型选择提供了实用指导，推动了生物信息学工具的发展。

　　

在当今生物医学研究领域，RNA（核糖核酸）作为生命活动的关键执行者，其复杂的生物学功能与调控机制一直是科学家们关注的焦点。从基因表达调控到蛋白质合成，RNA参与了许多核心的生物学过程。然而，随着高通量测序技术的飞速发展，研究人员面临着海量RNA序列数据的分析挑战。传统计算方法在处理这些复杂数据时往往力不从心，迫切需要更智能、更高效的分析工具。

近年来，人工智能技术的突破为RNA研究带来了新的希望。特别是受到自然语言处理（NLP）领域成功的启发，研究人员开始将类似的技术应用于生物序列分析，开发出了一系列预训练的基因组语言模型（genomic Language Models，gLM）。这些模型通过自监督学习从大规模未标注的基因组数据中学习序列特征，然后可以针对特定的下游任务进行微调，展现出极大的应用潜力。

然而，随着各种gLM的不断涌现，一个重要问题摆在了研究界面前：这些模型在实际应用中到底表现如何？它们是否真的能够超越为特定任务专门设计的算法？是否存在某个"全能"模型在所有RNA相关任务中都表现出色？为了回答这些问题，由浙江大学医学院附属邵逸夫医院妇产科&良渚实验室的游宁远、刘畅等研究人员组成的团队在《Nature Communications》上发表了他们的最新研究成果。

研究人员设计了一个全面而灵活的基准测试框架，对11种主流的预训练gLM进行了系统评估。这些模型涵盖了不同的设计理念和训练策略，包括RNA-FM、RNABERT、SpliceBERT、RNAErnie、DNABERT系列、Nucleotide Transformer等。同时，研究还纳入了多个任务特异性方法作为对比，确保评估的全面性和公正性。

研究团队选择了四个具有代表性的RNA生物学任务作为测试平台：非编码RNA（ncRNA）分类、N6-甲基腺苷（m⁶A）修饰预测、可变剪接位点预测和翻译效率预测。这些任务不仅涵盖了RNA生物学的重要方面，也代表了不同类型的计算问题，从序列级分类到核苷酸级预测，从分类任务到回归任务。

在技术方法上，研究团队建立了标准化的训练和评估流程，确保所有模型在相同条件下进行比较。他们使用了来自多个权威数据库的数据集，包括Rfam、circBank、piRBase、GTEx（Genotype-Tissue Expression）等，构建了高质量的训练和测试集。评估指标根据任务特点精心选择，包括准确率、PR-AUC（精确率-召回率曲线下面积）、ROC-AUC（受试者工作特征曲线下面积）、MSE（均方误差）等。

非编码RNA分类任务：模型专业化胜过单纯规模扩大

在非编码RNA分类任务中，研究人员构建了一个包含16个类别、超过10万条序列的数据集。结果显示，RNA-FM在这一任务中表现最佳，而专门为剪接任务设计的SpliceBERT也表现出色，且计算成本显著更低。有趣的是，五个基于DNA数据集预训练的模型也达到了中等性能，表明这些模型在预训练过程中获得了提取RNA相关特征的能力。

特别值得注意的是，在样本量较少或序列多样性较高的类别（如lncRNA、scaRNA和IRES）中，模型性能差异最为明显。研究人员发现，这不仅是由于样本量不平衡，还与序列本身的保守性有关。高度保守的RNA类别（如5.8S rRNA）即使训练数据有限也能被很好分类，而序列多样性高的类别则挑战更大。

任务特异性方法ncRDense在数据充足的类别中表现接近最佳gLM，但在数据稀缺类别中性能显著下降，揭示了其在处理不平衡数据集时的局限性。这一发现强调了复杂深度学习架构在预测ncRNA类别中的价值。

m⁶A修饰预测：上下文长度与进化保守性的价值

在m⁶A修饰预测任务中，SpliceBERT出人意料地取得了最佳性能。研究人员认为这可能得益于其预训练策略——使用来自72种脊椎动物的初级RNA序列进行训练，使模型能够捕捉m⁶A修饰的进化保守性特征。

当训练数据充足时，gLM与任务特异性方法的性能差异很小，但后者在计算效率上具有明显优势，训练和应用速度可快达50倍。然而，当训练数据有限时，gLM的优势变得明显：仅使用1%训练数据时，最佳gLM比任务特异性方法性能高出约10%。

研究人员还发现，增加输入序列长度（从101个核苷酸到509个核苷酸）能显著提升所有gLM的性能，特别是对于Nucleotide Transformer等大规模模型。这表明更长的序列上下文有助于模型捕捉远端调控元件，但同时也增加了计算成本。

可变剪接预测：长序列上下文与模型规模的博弈

可变剪接预测任务被设计为三个不同难度的挑战：识别剪接位点类型（供体、受体、非位点）、预测15种人体组织中的剪接位点使用情况，以及最复杂的53种组织亚型预测。

在这一任务中，能够处理长序列上下文的模型表现出明显优势。Nucleotide Transformer和专门设计的SpTransformer在剪接位点预测中表现最佳，而CNN（卷积神经网络）基础的SpliceAI虽然速度更快，但性能稍逊。当任务复杂度增加至53种组织亚型预测时，模型规模成为更关键的因素，Nucleotide Transformer凭借其巨大参数量保持了稳定性能。

研究人员通过消融实验证实，限制输入序列长度会显著降低模型性能，这与生物学事实一致——剪接调控元件可能位于经典剪接位点远端，长序列上下文有助于捕捉这些远端调控信号。

翻译效率预测：微调策略与分词方案的影响

在翻译效率预测任务中，研究人员评估了两种微调策略：仅训练预测头（保持主干网络固定）和全模型微调。结果显示，轻量级模型UTR-LM在全模型微调下表现最佳，而大型模型如RNA-FM和RNAErnie则没有类似提升。

分词（tokenization）方案也被证明对性能有重要影响。采用固定k-mer策略的DNABERT表现竞争性，而BPE（字节对编码）基础的模型（DNABERT2、GENA-LM）表现相对较差。值得注意的是，采用模体感知预训练策略的RNAErnie在这一任务中表现优异，支持了捕捉模体级别信息对准确建模UTR功能的重要性。

研究结论与意义：迈向更智能的RNA研究工具

这项研究通过对11种预训练基因组语言模型的全面基准测试，揭示了在RNA生物学任务中，优秀性能的关键不在于模型规模的简单扩大，而在于数据、算法与生物语境的巧妙协同。研究人员发现，没有单一模型在所有任务中都占据绝对优势，而是各有所长：RNA-FM在ncRNA分类中表现突出，SpliceBERT在m⁶A预测中领先，Nucleotide Transformer在复杂剪接预测中胜出。

这一发现对未来RNA研究工具的开发具有重要指导意义。研究表明，与其盲目追求模型参数的扩大，不如更加注重预训练数据与下游任务的生物语境匹配，以及算法策略的针对性优化。例如，整合多物种进化保守性信息（如SpliceBERT）、强调功能模体学习（如RNAErnie）、支持长序列上下文处理（如Nucleotide Transformer）等策略都被证明能显著提升模型在相关任务中的表现。

研究还明确了gLM与任务特异性方法的适用场景：在训练数据有限或高度不平衡时，gLM表现出明显优势；而当数据充足时，轻量级的任务特异性方法能提供更高效的解决方案。这一发现为研究人员根据实际资源条件选择合适工具提供了实用指导。

尽管当前gLM在RNA研究中展现出巨大潜力，研究也指出了若干挑战和未来方向。例如，处理超长序列的能力仍有局限，计算资源需求较高，以及如何更好地平衡已知模体学习与新模体发现等。随着人工智能技术的不断进步，预计下一代模型将提供更强大、更 versatile 的工具，加速生物信息学、医疗健康和生物技术领域的突破。

这项研究不仅为RNA研究者提供了模型选择的实用指南，也为计算生物学领域的发展指明了方向——未来的生物语言模型需要更加注重生物特异性、算法创新与计算效率的平衡，从而真正推动我们对生命复杂性的理解。