LUNA-FM:面向长链非编码RNA功能推断的子词基础模型

《RNA Biology》:LUNA-FM: a subword foundation model for long non-coding RNAs for functional inference

【字体: 大 中 小 】 时间:2026年11月15日 来源:RNA Biology 4.1

编辑推荐:

  RNA基础模型在RNA识别与功能注释方面展现出潜力。然而,许多模型采用单核苷酸分词方式,在处理包括长链非编码RNA在内的长RNA分子时会产生较长的输入序列,从而增加计算成本。为解决这些限制,研究人员引入了LUNA-FM,这是一个在大约2800万条经冗余过滤的非

RNA基础模型在RNA识别与功能注释方面展现出潜力。然而,许多模型采用单核苷酸分词方式,在处理包括长链非编码RNA在内的长RNA分子时会产生较长的输入序列,从而增加计算成本。为解决这些限制,研究人员引入了LUNA-FM,这是一个在大约2800万条经冗余过滤的非编码RNA序列上预训练的RNA语言模型。LUNA-FM将子词分词与长上下文Transformer相结合,能够高效地对长RNA转录本进行建模。研究人员系统地评估了分词策略和词汇量大小,以探究序列压缩、表征粒度、计算效率与下游性能之间的权衡。在多项RNA预测任务中,包括转录本分类、亚细胞定位和RNA-蛋白质相互作用预测,LUNA-FM在降低有效输入长度和微调成本的同时,取得了与现有RNA基础模型相竞争的性能。研究人员还发现,基于频率的子词分词通常比基于似然的方法产生更稳定有效的表征,尽管最优词汇量大小仍依赖于具体任务。训练集基序发现识别出在先兆子痫相关lncRNA的高归因区域相对于匹配的低归因区域和二核苷酸打乱对照中富集的候选基序。总体而言,这些发现揭示了子词分词和词汇量大小对任务的依赖性影响,将RNA基础模型的评估扩展到更长的转录本输入,并将LUNA-FM确立为一个具有良好记录微调时间的竞争性模型。

LUNA-FM:面向长非编码RNA功能推断的子词基础模型——论文解读

研究背景与问题

近年来,大规模语言模型在生物序列建模领域取得了显著成功,推动了DNA、RNA和蛋白质基础模型的快速发展。RNA基础模型在RNA二级结构预测、相互作用建模、分类和功能注释等任务中展现出巨大潜力。然而,现有RNA基础模型大多采用单核苷酸分词方式,这种表征虽然保留了碱基级别的分辨率,但在处理长达数千碱基的长链非编码RNA转录本时会产生极长的token序列,导致计算成本急剧上升。此外,现有模型主要在短序列或局部结构预测任务上进行评估,对于长转录本和功能多样的lncRNA预测问题的有效性尚不明确。

研究内容与结论

为解决上述挑战,研究人员引入了LUNA-FM,这是一个结合子词分词与长上下文Transformer架构的RNA基础模型。研究人员在来自RNAcentral数据库的约3300万条非编码RNA序列上,经CD-HIT-EST以80%序列一致性阈值去冗余后得到约2837万条序列进行预训练。通过系统比较BPE和Unigram两种分词策略以及2k、4k、15k三种词汇量大小,研究人员发现基于频率的BPE分词总体上优于基于似然的Unigram分词,而最优词汇量大小则取决于具体任务。在多个下游任务评估中,LUNA-FM在保持竞争性性能的同时,展现出更高的计算效率,特别是在长转录本和低资源lncRNA场景下。该研究表明子词分词能够有效减少表示RNA序列所需的token数量,并在较长输入长度下维持甚至提升预测性能。

关键技术方法

研究人员采用的主要技术方法包括:子词分词策略,分别训练了基于频率的BPE分词器和基于概率的Unigram分词器,构建了2k、4k和15k三种词汇量的子词词汇表;编码器架构,采用22层、隐藏维度768的ModernBERT架构,包含交替的全局注意力与局部滑动窗口注意力机制、旋转位置嵌入和填充感知计算,并使用Flash Attention加速;掩码语言建模预训练目标,在RNAcentral来源的约2837万条非编码RNA序列上进行预训练。

研究结果

预训练模型

研究人员在RNAcentral的约2837万条RNA序列上预训练了LUNA-FM。t-SNE可视化显示,LUNA-FM产生的嵌入能够将Archive II数据库中九个RNA类别清晰分离,表明模型捕获了家族特异的结构和功能特征。更大的词汇量带来更高的压缩率和更长的平均token长度,但这并未转化为统一更好的下游性能。

微调结果:mRNA与lncRNA分类

在区分mRNA与lncRNA的二分类任务中,输入长度为1024 nt时,LUNA-FM BPE-15k取得最高平均宏F1分数0.9367±0.0070,较RNA-FM和RiNALMo分别提高5.25和5.59个百分点。将输入长度增至2000 nt后,LUNA-FM BPE-4k的宏F1从0.9328提升至0.9793,增幅达4.65个百分点。

亚细胞定位

在单标签亚细胞定位任务中,输入长度1024 nt时,LUNA-FM BPE-4k在所有评估模型中取得最高平均宏F1(0.3140)、加权F1(0.4664)和马修斯相关系数(0.2354)。在多标签定位任务中,BPE-4k在两个输入长度下均取得最高平均宏F1和加权F1,其中在2000 nt时宏F1维持在0.4921。

ncRNA家族分类

在四类核糖体RNA分类任务中,LUNA-FM BPE-15k取得最强整体性能,宏F1为0.9794±0.0051,马修斯相关系数为0.9726±0.0069,超越所有核苷酸级别基线模型及其他LUNA-FM配置。

RNA-蛋白质相互作用分类

在五个RNA-蛋白质相互作用数据集上,LUNA-FM BPE变体在性能和效率间取得有利平衡。BPE-15k在取得最高平均F1分数的同时,所需平均微调时间最短,例如在AARS数据集上仅需0.60分钟,而RiNALMo需242.53分钟。

剪接位点预测

在跨物种剪接位点预测任务中,RiNALMo取得最高平均F1分数,RNA-FM次之,LUNA-FM BPE-4k排名第三。BPE-4k在所有物种和两类剪接位点预测中均优于Unigram-4k,尤其在供体位点预测中领先约23.3-26.3个百分点。

可解释性分析

在先兆子痫相关lncRNA数据集中,研究人员使用积分梯度方法识别高归因区域,并通过XSTREME进行训练集基序发现。在与匹配低归因区域的对比中鉴定出5个候选基序,E值范围为6.36×10-6至1.28×10-2;在与二核苷酸打乱对照的对比中鉴定出5个候选基序,E值范围为6.44×10-9至9.12×10-6。扰动实验证实,遮蔽高归因区域导致模型预测边际下降7.37,而随机对照区域仅下降0.61。

讨论与结论

讨论部分指出,LUNA-FM通过交替全局/局部注意力、旋转位置嵌入和填充感知计算等架构优化,结合子词分词,为长转录本建模提供了实用基础。转录分类结果显示,LUNA-FM在1024 nt输入长度下即具竞争力,且在扩展至2000 nt时能有效利用额外序列信息。定位实验进一步展示了LUNA-FM在有限训练数据和类别不平衡条件下的优势。BPE与Unigram的对比支持词汇设计的价值,而剪接位点实验则表明核苷酸级别模型在需要精确位置信息的任务中仍有优势。研究也承认存在若干局限性,包括未显式整合结构信息、未进行组件级消融实验、可解释性分析局限于正确分类的正例序列等。
研究结论:研究人员引入了LUNA-FM,这是一个结合子词分词与专为高效处理更长RNA输入而设计的Transformer架构的RNA基础模型。对BPE和Unigram变体在不同词汇量下的系统评估表明,分词策略和词汇量大小影响下游性能,BPE总体上优于匹配的Unigram配置,且最优词汇量因任务而异。研究人员还将RNA基础模型比较扩展到1024和2000核苷酸输入长度的转录本级别任务,填补了一个此前探索不足的评估场景。运行时间比较进一步显示,在所选的配置下LUNA-FM通常具有更短的记录微调时间。综合来看,这些发现将LUNA-FM确立为一个具有竞争力的RNA基础模型,并强调分词、词汇量、输入长度和计算成本是模型选择与评估中的互补考量因素。

订阅生物通快讯

订阅快讯:

最新文章

限时促销

会展信息

关注订阅号/掌握最新资讯

今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

版权所有 生物通

Copyright© eBiotrade.com, All Rights Reserved

联系信箱:

粤ICP备09063491号