用于HPV整合位点预测的基因组多级专家混合系统

《Neurocomputing》：Genomic multi-level mixture of experts for HPV integration site prediction

　　摘要：人乳头瘤病毒（HPV）整合到宿主基因组中是致癌过程中的关键因素，但仅凭DNA序列准确预测整合位点仍是一项重大挑战。与传统使用小型卷积网络的传统预测方法相比，基于变换器的大型模型能够捕捉长距离依赖关系，并且可通过在大量基因组数据集上的预训练来提升性能。然而，这类模型通常依赖单一的最终层输出，导致层级的生物信号和位置异质性丢失，从而限制了其在HPV相关场景中的应用效果。本文我们提出了一种新的基因组多级MoE（GenoMoE）框架，这是一种基于变换器且采用专家混合架构的模型，能够保留并利用多层级生物信息。该框架以DNABERT-2为基础，引入了（i）局部生物标志物增强模块，通过稀疏门控机制优化各层的整合表示；以及（ii）分层生物标志物整合模块，通过数据驱动的方式为不同层级生成权重，从而实现信息的自适应聚合。我们在两个具有代表性的HPV整合位点数据集dsVIS和VISDB上对GenoMoE进行了测试，结果表明，即使使用不到传统方法一半的训练数据（19,449条对比53,613条），该方法的性能仍优于传统方法，同时也在两个测试数据集中超越了经过直接微调的基于变换器的模型，充分展现了GenoMoE的有效性与高效性。

引言：人乳头瘤病毒（HPV）是人类健康的重要威胁，是全球约4.5%癌症的主要致病因子，其中包括绝大多数宫颈癌，以及相当比例的肛门癌、阴道癌、阴茎癌和头颈癌[1]。其致癌机制主要源于病毒蛋白E6和E7，这两种蛋白分别靶向并抑制肿瘤抑制基因p53和pRb，进而导致细胞永生化[2]。此外，HPV基因组整合到宿主染色体中也是推动癌症进展的关键事件，这种整合会引发基因组不稳定性、致癌基因的插入突变，还可能作为顺式激活因子影响邻近的癌症相关基因的表达[3]。不过，关于HPV对人类基因组的全面影响仍有许多未知之处，而且要实现完全的恶性转化，显然还需要其他遗传事件的共同作用[4]。几十年来，人们一直在争论HPV的整合是随机发生的，还是会有特定目标。越来越多的证据表明，HPV倾向于整合到宿主基因组的特定区域，且其整合模式受局部基因组环境的影响较大[5]。了解这些整合模式对于揭示HPV相关致癌作用的分子机制至关重要。然而，通过传统实验手段对整个基因组进行此类研究往往成本极高。生物信息学和计算机模拟分析的发展则为这类研究提供了低成本的新途径[6]。尽管如此，利用计算方法预测HPV整合位点这一领域仍处于起步阶段，仍需进一步研究以提高预测模型的性能[7]。人工智能，尤其是深度学习技术[8]、[9]，为从序列数据中自动识别复杂的生物模式提供了强大的工具。此前的方法，如DeepHINT[10]和DeepHPV[7]，率先将深度学习应用于这一任务，但大多基于简单的卷积神经网络架构。虽然这些传统方法有一定价值，但也存在若干根本性缺陷，如图1(a)所示。首先，它们处理长序列及其依赖关系的能力有限，卷积神经网络的局部感受野使得难以建模远距离基因元件之间的相互作用，而这种相互作用在基因调控中十分常见。其次，它们严重依赖针对特定任务的大量标注数据，而在基因组学研究中，获取这类数据往往既昂贵又耗时。近年来，基于变换器的大型DNA序列分析模型逐渐成为研究热点[11]、[12]。与卷积神经网络架构相比，这类大型模型不仅能有效捕捉长距离依赖关系[13]，还能通过在大规模未标注基因组数据集上预训练，减少对昂贵任务专用标注数据的依赖，因此为推进计算基因组学发展奠定了良好基础[14]。然而，当将这些大型模型应用于HPV相关的序列分类任务时，仍存在诸多限制，导致其在HPV分类任务中的表现不尽如人意，如图1(b)所示。首先，它们的输出并非专为HPV分类而优化。其次，现有模型仅依赖最终层的输出[15]，忽略了其他层中蕴含的中间生物信号，因而可能失去有价值的调控线索[16]、[17]。由于HPV整合位点具有稀疏、定位明确且分布不均的特点，依赖单一的标记表示方式显然无法满足任务需求。图2(a)展示了第4层、第8层和第12层的平均位置注意力分数，分别对应浅层、中层和深层结构。图2(b)则显示了某个代表性样本在不同层次上的注意力热图。可以明显看到，不同层次的注意力分布差异很大，注意力峰值出现的位置也各不相同。鉴于HPV整合位点通常出现在特定的基因组位置，这些高注意力区域很可能对准确预测HPV至关重要，忽视这些区域会导致预测精度下降。为解决上述问题，我们提出了GenoMoE（基因组多级MoE）这一新框架，它基于基于变换器的大型模型，通过专家混合架构突破了单一整体处理的局限。具体而言，我们首先引入局部生物标志物增强模块，用于强化每层的输出，突出具有生物学意义的基因位点，从而使模型更适用于HPV预测任务。为保留不同层次所捕获的独特信息，该模块采用包含路由策略的专家混合网络实现，让每层的输出能被最合适的“专家”进行处理。随后，我们运用分层生物标志物整合模块来动态聚合多层级特征。该模块同样基于多个专家混合网络构建，通过门控网络为每个专家计算与上下文相关的权重。对于每层的输出，门控网络会选出最合适的专家，再将这些专家处理后的输出通过加权求和的方式整合起来。这种机制能够自适应地突出最具信息量的层级信号，帮助模型更好地捕捉对HPV预测至关重要的多样化生物线索[18]、[19]。我们的模型设计具有多项优势。首先，其基于变换器的核心结构具备强大的长距离建模能力，能够把握DNA序列的整体上下文。其次，智能的专家混合架构能够动态地将每层的输出路由到最合适的专家手中，确保不同层次所编码的独特信息得到有效保留。最后，整合型的专家混合框架实现了多视角信息感知，不同的“专家”子网络分别专注于不同的序列模式，从而带来更为稳健和精细的分析结果。这体现了人工智能领域在处理复杂领域特定问题时越来越倾向于采用“分而治之”的系统设计思路：而非依赖单一的整体处理路径，而是通过路由器或规划器将不同的输入或子问题分配给专门的处理组件。例如，近期在医疗咨询领域的研究中，就采用了配备规划器模块的智能代理，将患者咨询请求分配给相应组件，以妥善处理医患对话中的各种复杂情况[20]。借助这一创新设计，GenoMoE可轻松扩展到其他生物医学序列预测场景，因为在这些场景中，相关证据往往较为稀疏、多样且分布在不同的表示层次上。我们的方法在训练数据量远少于DeepHPV的情况下仍能取得更优异的性能，同时显著优于经过直接微调的基于变换器的模型，充分证明了该框架的有效性。本文的贡献可总结如下：•我们指出了HPV分类任务与常规基于变换器的方法之间的核心矛盾——后者依赖单一最终层的输出，而忽视了层级的生物异质性，也无法匹配HPV整合位点稀疏的特性，从而导致预测性能受限。•我们提出了GenoMoE这一基于专家混合架构的框架，该框架首先通过局部生物标志物增强模块，让每层的生物标志物特征由最合适的专家进行处理，然后再通过分层生物标志物整合模块自适应地聚合这些经过强化的信号，从而提升预测的准确性和泛化能力。•在我们的两项测试数据集中，GenoMoE在训练数据量仅为DeepHPV一半（19,449条对比53,613条）的情况下，性能就已超越后者，同时也优于经过直接微调的大型模型，充分展现了其高效性与有效性。

章节节选：HPV整合位点预测：人乳头瘤病毒基因组整合到宿主染色体中，是包括宫颈癌、肛门癌和头颈癌在内的多种癌症发展的关键步骤[21]。越来越多的证据表明，这一整合过程并非随机发生，而是倾向于整合到特定的基因组区域，且这一倾向受到局部基因组环境的强烈影响。正是由于这种非随机性，从理论上讲，我们有可能通过特定方法预测HPV的整合位点。

方法部分：在本节中，我们如图3所示介绍了GenoMoE模型。我们以预训练过的基于变换器的DNA序列模型DNABERT-2作为核心框架，进一步优化其内部层级及层级间的表示能力，以便更好地捕捉关键信息并提高预测精度。

数据集部分：继之前的研究[7]之后，我们选择了两个典型的数据集：（1）dsVIS：该数据集来自基于下一代测序技术的dsVIS数据库。其中断点是从两种类型的下一代测序数据中筛选出来的：（i）全基因组测序数据；（ii）通过捕获测序技术获得的病毒全基因组测序数据，这样做是为了避免全外显子测序或扩增子富集测序可能带来的偏差。为确保数据质量，我们对这些中断点采用了严格的筛选标准。

结论部分：在本研究中，我们探讨了预测HPV整合位点这一难题，发现稀疏且定位明确的基因组信号与传统的变换器处理范式之间存在根本性矛盾——传统范式会将序列压缩为单一的最终层表示。为解决这一问题，我们提出了GenoMoE这一基于专家混合架构的创新框架，该框架通过局部生物标志物增强功能优化各层的生物信号，再通过分层生物标志物整合功能聚合多层级信息。

CRediT作者贡献说明：王云峰：负责原始稿撰写、方法设计、研究实施、正式分析、数据整理以及概念构思工作。毛振东：负责审稿与编辑、方法设计、正式分析工作。陈卫东：负责审稿与编辑、结果可视化、验证工作以及方法设计和正式分析工作。王谦宇：负责原始稿撰写、正式分析以及数据整理工作。吕楠楠：负责审稿与编辑、方法设计以及资金筹集工作。赵丹：负责项目监督以及资金筹集工作。

利益冲突声明：作者声明不存在任何可能影响本研究结果的已知财务利益或个人关系。

致谢：本研究得到了中国国家自然科学基金（项目编号62176267和82141123）、首都健康促进与研究基金（项目编号2022-2-4026）、中国医学科学院医学科学创新基金（项目编号2024-I2M-C&T-A-003）以及青海省科技计划“青海智造”专项援助项目（项目编号2025-QY-220）的支持。王云峰于2024年获得杭州电子科技大学通信工程学院硕士学位，目前在中国科学技术大学网络空间科学与技术学院攻读博士学位，他的研究兴趣包括生物信息学分析、计算机视觉以及多模态理解技术。

王云峰|毛振东|陈卫东|王谦宇|吕楠楠|赵丹
中国科学技术大学，安徽合肥，230022