AdaptIPs：一种双通道深度学习框架，结合蛋白质语言模型表示与迁移学习技术，用于磷酸化位点预测

《Engineering Applications of Artificial Intelligence》：AdaptIPs: A dual-channel deep learning framework integrating protein language model representations and transfer learning for phosphorylation-site prediction

　　摘要：蛋白质磷酸化是一种重要的翻译后修饰，参与信号转导、疾病进展以及治疗调控。目前，可靠的磷酸化位点预测仍面临挑战，因为现有方法往往存在特征整合能力有限、泛化性较差以及在低样本量残基类型上的性能不足等问题。在此，我们提出了AdaptIPs，这是一种用于磷酸化位点预测的双通道深度学习框架。AdaptIPs通过元素级乘法融合将残基级别的序列表示与预训练的ESMC嵌入向量相结合，并运用Bahdanau注意力机制、镜像损失函数以及自适应早停策略来提升特征学习效果和训练稳定性。为解决酪氨酸磷酸化位点数量较少的问题，我们还采用了从丝氨酸/苏氨酸位点预测到酪氨酸位点预测的迁移学习方法。在独立的测试集上，AdaptIPs在丝氨酸/苏氨酸位点预测中的准确率为84.48%，AUC值为91.83%；而在酪氨酸位点预测中的准确率为92.86%，AUC值为94.33%。对比实验、消融分析以及融合策略评估均证明了双通道架构和乘法融合的有效性。AdaptIPs为磷酸化位点预测提供了一个可复现的框架，有望应用于更广泛的少样本生物序列预测任务。其源代码可在https://github.com/scarlet211/AdaptIPs获取。

引言：翻译后修饰通过在蛋白质翻译后添加或去除化学基团，显著增强了蛋白质的功能多样性，是调控生物体生长、发育以及多种生物活动的常见机制。磷酸化通过将磷酸基团连接到特定残基上，从而改变蛋白质的构象和功能（Trewavas, 1976），这类反应主要发生在丝氨酸（S）、苏氨酸（T）和酪氨酸（Y）残基上，且在细胞信号转导、细胞周期调控、基因表达控制以及肿瘤发生与发展过程中起着核心作用（Klann et al., 2020; Graves and Krebs, 1999; Lew and Kornbluth, 1996; Ao et al., 2021）。SARS-CoV-2疫情进一步凸显了深入分析病毒与宿主蛋白质修饰状态的重要性（Wolf et al., 2023; Barnes et al., 2020）；研究表明，磷酸化水平会影响病毒活性，因此磷酸酶可能成为潜在的药物靶点（Eisenreichova and Boura, 2022）。因此，深入理解磷酸化机制对于阐明蛋白质生物系统以及全面解析各种生理过程具有至关重要的意义。

尽管高通量实验和测序技术能够生成大量准确的磷酸化位点数据（Huang et al., 2019），但这些方法成本高昂且耗时较长，不适用于大规模蛋白质筛选。因此，迫切需要基于计算的高通量预测方法来补充实验工作，节省资源并加速实验设计进程（Soylu and Sefer, 2024）。虽然目前已有许多用于磷酸化位点识别的方法，但仍存在诸多困难和挑战。传统机器学习在磷酸化位点预测方面取得了一定进展，但通常依赖于手工设计的特征，这可能导致过拟合或欠拟合，且难以有效表示复杂的序列模式。典型的方法包括PhosphoSVM（Dou et al., 2014），该方法结合多种手工特征并通过支持向量机进行分类；PhosPred RF（Wei et al., 2017），该算法将多源特征输入随机森林中进行处理；以及Quokka（Li et al., 2018），该方法将序列评分函数与逻辑回归相结合。随着深度学习的不断发展，磷酸化位点预测取得了显著进步，基于神经网络的方法表现出了更为出色的性能。例如DeepIPs（Lv et al., 2021）结合了卷积神经网络和长短期记忆网络的优点，构建了混合CNN-LSTM架构，开创了深度学习在该领域的应用先河；Res-GCN（Wang et al., 2024a）则将图卷积网络与残差网络相融合；DeepPSP（Guo et al., 2020）实现了局部信息与全局信息的融合；MusiteDeep（Wang et al., 2020）采用了二维注意力机制；DE-MHAIPs（Wang et al., 2023）则利用差分进化算法结合多头注意力机制来学习特征权重。近期还有更多研究进一步拓展了这一领域。GPS 6.0（Chen et al., 2023）通过引入大规模磷酸化注释、迁移学习以及多种机器学习模型，提升了激酶特异性磷酸化位点的预测精度；PSPred-ALE（Jiao et al., 2023）则利用自适应学习嵌入向量来改进SARS-CoV-2的磷酸化位点预测性能；MeL-STPhos（Pham et al., 2024）则提出了一种用于检测丝氨酸/苏氨酸磷酸化位点的元学习框架。然而，这些模型往往受到训练数据稀缺和质量问题的限制，难以捕捉更具普遍适用性的蛋白质特征，因此其泛化能力仍然有限。受预训练语言模型的启发，蛋白质预训练模型也在蛋白质预测任务中取得了显著进展（Devlin et al.; Hayes et al., 2025; Jegan et al., 2025; Wang et al., 2026a; Luo et al., 2025）；这些模型从序列中生成的嵌入向量往往包含丰富的信息（Jumper et al., 2021; Ahmed et al., 2020; Lin et al., 2022; Weissenow et al., 2022; Lv et al., 2026）。此外，LMPhosSite（Pakhrin et al., 2023）还将局部窗口序列嵌入向量与预训练的蛋白质语言模型表示相结合，用于通用磷酸化位点预测。更广泛地说，PTMGPT2（Shrestha et al., 2024）表明，通过对蛋白质语言模型进行基于提示的微调，可以助力翻译后修饰的预测。例如LM-TLIPs（Zuo et al., 2025）是基于Evolutionary Scale Modeling-2（ESM2）微调得到的模型，而PhosBERT（Li et al., 2024）则是基于ProtBert开发的模型——这两种方法都通过优化嵌入向量来提升预测精度——但由于预训练数据的偏差，它们在表示和识别低样本量类别时仍存在局限性。总之，尽管现有模型已显著提升了磷酸化位点预测的性能，但在如何有效整合残基级别的序列信息与预训练的蛋白质表示，以及如何在丝氨酸/苏氨酸和酪氨酸磷酸化位点数据集中保持稳定性能方面，尤其是在样本量有限的条件下，仍存在诸多挑战。

迁移学习能够将从源领域学到的通用知识转移到目标领域，从而打破了传统机器学习中训练数据和测试数据需具有相同特征空间和分布的要求（Orouji et al., 2024; Ismael et al., 2025）。它通过利用辅助的生物数据集和预训练的表示方法，有效解决了生物信息学领域中样本量有限和注释成本高昂等资源匮乏问题。此外，由于生物系统中存在保守的模式，迁移学习使得在小数据场景下也能实现可靠的建模，已成为生物大数据分析中的重要技术（Bajait and Malarvizhi, 2024）。

为应对上述挑战，我们提出了AdaptIPs，这是一种专为精准识别磷酸化位点而设计的深度学习模型。该模型包含两个并行通道：一个用于从残基中提取序列表示的序列表示通道，另一个则基于预训练的蛋白质语言模型Evolutionary Scale Modeling-C（ESMC），用于生成具备结构信息的表示，以补充前者。这两个表示通过乘法融合形成最终的特征向量，再输入多层感知器分类器进行预测。训练过程中采用基于二元交叉熵的镜像损失函数配合反向传播算法，同时运用早停策略，并以马修斯相关系数作为模型选择的标准。为解决酪氨酸位点数据稀缺的问题，我们通过在对Y位点数据集上对预训练的丝氨酸/苏氨酸位点模型进行微调，从而获得一个专门用于预测酪氨酸位点的模型。优化过程采用五折交叉验证，最终验证则使用独立的测试集。本研究的主要贡献如下：●我们提出了AdaptIPs，这是一种结合了残基级别序列特征与蛋白质语言模型表示的双通道深度学习框架，用于磷酸化位点预测。●我们采用了基于镜像损失函数的训练目标以及由马修斯相关系数引导的早停策略，以提高模型稳定性并减少模型优化过程中的过拟合现象。●我们采用了迁移学习策略，即对用于预测丝氨酸/苏氨酸磷酸化位点的模型进行微调，以此提升对低样本量磷酸化位点的识别能力。●我们进行了全面的评估，包括五折交叉验证、独立测试、与现有方法的对比、特征空间可视化、消融分析、融合策略比较以及预训练模型比较，以此来评价AdaptIPs的有效性和泛化能力。

流程概述：我们所提出的框架完整的工作流程包括数据预处理、特征表示、模型构建以及预测，如图1所示。模型核心由两个并行通道组成（图1C）：一个负责序列表示的通道，以及一个基于预训练的大型模型表示通道。序列通道通过位置嵌入将每个残基映射为整数索引，进而进行残基编码；通过一维卷积提取局部特征；再运用Bahdanau注意力机制来权衡不同时间步的特征重要性。

序列对比：为分析蛋白质序列中磷酸化位点的保守性，我们使用了基于概率的基序可视化工具Two Sample Logo（Vacic et al., 2006），分别为丝氨酸/苏氨酸和酪氨酸数据集绘制了对应的二序列标志图，这些图表清晰地显示了磷酸化位点与非磷酸化位点在位置频率上的差异。蛋白质序列的窗口长度为33，位点中心被标记为0，如图2所示。在A面板中，脯氨酸（P）在相应位置出现频率显著偏高。

结论：蛋白质磷酸化是细胞信号转导、代谢调节、基因表达、细胞周期进展以及疾病机制中的关键环节。因此，准确识别磷酸化位点有助于深入理解蛋白质调控网络，也为生物标志物的发现和药物靶点的确定提供重要依据。本项工作的核心贡献在于开发出一种全新的磷酸化位点预测框架，该框架具有多项优势。

资金支持：本研究得到了中国国家自然科学基金（项目编号：62450002）以及海南大学一流学科突破计划（项目编号：XKTP2025A08）的资助。

作者贡献说明：耿奥云：概念构思、数据整理、方法设计、结果验证、初稿撰写、论文修订。王金伟：形式分析、方法设计、软件工具使用、初稿撰写。曲艳飞：数据整理、软件工具使用。徐俊林：监督指导、结果验证。孟亚军：监督指导、论文修订。邹权：监督指导、论文修订。张子龙：资源协调、监督指导、论文修订。崔菲菲：概念构思、资金筹集。

利益冲突声明：作者声明不存在任何可能影响本研究的财务或个人利益冲突。

耿奥云|王金伟|曲艳飞|徐俊林|孟亚军|邹权|张子龙|崔菲菲
中国海南省海口市570228，海南大学计算机科学与技术学院