基于预训练语言模型的相似性关系网络方法，用于药物-靶点相互作用预测

《Journal of Molecular Graphics and Modelling》：Pre-trained language model-based similarity relationship network approach for drug–target interaction prediction

　　

Jilong Bian|Limin Wei|Shandong Yang|Yuming Zhao

东北林业大学计算机与控制工程学院，哈尔滨，150040，黑龙江省，中国

摘要

药物和蛋白质语言模型的快速发展使其能够应用于广泛的生物预测任务中，并在这些任务中持续展现出显著的预测能力。最近，这些模型被引入到药物-靶点相互作用（DTI）预测任务中，取得了重大的改进。然而，大多数现有的基于语言模型的DTI预测方法仅依赖于药物和蛋白质的序列表示，从而强调序列层面的特征，而忽视了药物之间的以及蛋白质之间的关联依赖性。这些依赖性提供了互补的视角，对于提高预测准确性至关重要。为了解决这一局限性，我们提出了一种新的方法，即基于预训练语言模型的相似性网络方法来进行药物-靶点相互作用预测。该方法结合了来自语言模型的预训练特征和药物及蛋白质的相似性网络，以丰富关系表示。随后，通过交叉融合注意力机制整合相似性特征，抑制冗余或无效的特征，同时突出关键特征。最后，将基于相似性的特征与结构特征结合，形成多视图、全面的特征表示，从而提高交互预测的准确性。在四个基准数据集（Human、C. elegans、BioSNAP 和 DrugBank）上的广泛实验表明，我们的模型始终优于竞争基准。此外，结果还展示了其在不平衡数据和冷启动场景下的鲁棒性，突显了将关系信息纳入基于语言模型的DTI预测中的优势。

引言

新药的开发是抗击人类疾病和改善公共卫生的关键途径。然而，传统的药物发现流程耗时漫长、资源密集且成功率低[1]、[2]。据统计，从候选化合物筛选到最终市场批准的平均时间超过十年，成本高达数十亿美元[3]，而最终只有少数药物能在临床应用中取得成功。因此，在研究和开发的早期阶段高效准确地识别潜在的药物-靶点相互作用（DTI）对于提高药物开发效率和降低成本至关重要。近年来，计算生物学和人工智能的快速发展推动了基于传统机器学习和深度学习的方法在DTI预测中的广泛采用[4]、[5]。

在传统的基于机器学习的DTI预测中，药物和蛋白质的特征是根据先验知识或领域专长手动设计的，然后使用支持向量机（SVM）[6]、随机森林（RF）[7]和逻辑回归（LR）[8]等算法进行预测。尽管这些方法取得了一些成功，但它们严重依赖于手工设计的描述符，包括分子指纹、理化性质和氨基酸特征。这些手工设计的特征往往无法捕捉药物-蛋白质相互作用背后的复杂和非线性关系，从而限制了它们的预测能力[9]。

随着深度学习的快速发展，DTI预测研究主要沿着两个方向发展：基于结构的方法和基于关系的方法。基于结构的方法通常使用卷积神经网络（CNN）、图神经网络（GNN）和Transformer等模型，从药物和蛋白质的序列表示或图表示中提取结构信息进行预测。例如，DeepConv-DTI[10]将一维CNN应用于药物分子指纹和蛋白质序列，然后通过全连接层进行相互作用预测。DeepDTA[11]分别对药物SMILES和蛋白质序列使用CNN提取结构特征以进行DTI预测。AttentionDTA[12]通过引入注意力机制扩展了DeepDTA，以融合药物和蛋白质的结构特征，从而增强了序列特征表示能力。MT-DTI[13]结合Transformer和CNN对药物SMILES和蛋白质序列进行编码，并使用多层预测器进行相互作用预测。GraphDTA[14]、GraphomerDTI[15]和MolTrans[16]是基于药物分子图和蛋白质序列的特征学习方法。GraphDTA使用GCN、GAT、GIN和GAT-GCN学习药物分子图特征，并使用CNN提取蛋白质序列特征。这些结构特征随后被连接起来用于DTI预测。在AttentionDTA的基础上，GraphomerDTI用从图Transformer学习到的药物图特征替换了基于CNN的药物序列特征。MolTrans使用频繁连续子序列挖掘算法从药物分子子图和蛋白质子序列中提取结构特征，并通过Transformer增强嵌入表示以提高预测准确性。尽管这些方法在一定程度上提高了DTI预测性能，但它们仅关注单一模态的结构信息，忽视了药物之间以及靶点之间的潜在关系。为了解决这些局限性，研究人员转向基于关系的预测模型，试图通过构建和集成多个关系网络来增强模型的推理能力。DTINet[17]使用药物-蛋白质相互作用和药物-疾病关联等多种关系构建异构网络，然后通过网络扩散算法、特征压缩和矩阵完成策略进行DTI预测。基于DTINet，DTI-CNN[18]引入了基于去噪自动编码器的特征选择器和基于CNN的交互预测器。MHGNN-DTI[19]和AMGDTI[20]利用元路径GNN和自适应元图策略从多源异构生物信息网络中聚合关系信息进行DTI预测。进一步地，MULGA[21]提出了一个基于多视图融合的图自动编码器框架，该框架使用可靠的负样本筛选策略集成药物和蛋白质之间的关系特征。MIDTI[22]采用多视图相似性网络融合和交互注意力机制来更精确地捕捉不同实体之间的复杂关系。虽然基于关系的模型在揭示复杂生物系统中的潜在语义方面表现出强大的能力，但它们主要依赖于预定义的关系网络，如药物-药物相互作用（DDIs）、蛋白质-蛋白质相互作用（PPIs）和疾病关联。由于这些外部生物数据难以获取且本质上较为稀疏，这些模型通常未能充分探索内在的分子特征。因此，在冷启动条件或先验网络不完整的情况下，它们的泛化能力受到严重限制。相比之下，相似性网络通过直接捕获分子的内在理化性质和进化特征提供了一个稳健的替代方案。此外，通过基于特征构建相似性网络，模型可以减少对外部生物数据库的依赖，从而有效揭示潜在的药物-靶点相互作用模式。

近年来，预训练语言模型（PLMs）在自然语言处理中的显著成功推动了它们在生物信息学领域的快速进步，为DTI特征学习提供了新的突破[23]。PLMs生成的通用嵌入表现出强大的迁移能力，在冷启动场景中显著优于基于序列的特征。值得注意的是，这些模型在预测未见过的药物或未知靶点时具有很强的区分能力[24]、[25]。然而，大多数现有方法仅将PLMs作为初始编码器使用，忽略了药物分子和蛋白质内的结构依赖性。此外，缺乏有效的跨模态深度融合机制限制了它们构建全面和表达能力丰富的表示的能力。

为了解决这些局限性，我们提出了基于预训练语言模型的相似性关系网络方法（PLMSRNDTI）用于药物-靶点相互作用预测。我们的模型将PLM嵌入与相似性网络结合，以捕获关系特征。具体来说，药物SMILES和蛋白质序列首先分别使用字节对编码（BPE）[26]和ESM-2[27]进行编码，以生成预训练表示。这些预训练特征作为药物相似性网络和蛋白质相似性网络的初始特征矩阵，然后通过GCN提取关系特征。接着采用交叉融合注意力机制来增强这些关系特征的表示能力。同时，使用定向消息传递神经网络（D-MPNN）[28]从药物分子中提取分子图特征，而CNN用于提取蛋白质序列特征。最后，将关系特征与结构特征融合以预测DTI。

章节片段

方法

所提出的PLMSRNDTI模型的整体架构如图1所示。它包括七个模块：(A) 基于预训练语言模型的特征提取模块，(B) 相似性网络构建模块，(C) 基于图神经网络的特征提取模块，(D) 药物分子图特征提取模块，(E) 蛋白质序列特征提取模块，(F) 多特征融合模块，以及(G) 分类器模块。首先，对药物和蛋白质进行预训练特征的处理

实验设置和评估指标

在本研究中，我们使用了四个数据集——Human [37]、C.elegans [37]、BioSNAP [38] 和 DrugBank [39]——来评估我们的PLMSRNDTI模型的性能。其中，Human和C.elegans数据集规模相对较小，而BioSNAP和DrugBank是大规模数据集。数据集的具体细节见表1。为了全面评估PLMSRNDTI的预测能力，使用了七个评估指标：准确性（ACC）、曲线下面积（AUC）、平均值

结论与讨论

在本研究中，我们提出了PLMSRNDTI，这是一个利用基于相似性的网络和预训练语言模型来增强DTI预测的新框架。通过结合基于相似性的特征和结构特征，我们的PLMSRNDTI模型有效地提高了DTI预测的准确性。PLMSRNDTI模型的核心创新在于利用预训练语言模型提取药物和蛋白质嵌入，从而增强了相似性网络特征的表示能力。

CRediT作者贡献声明

Jilong Bian： 监督，项目管理。Limin Wei： 文章撰写——初稿，软件实现。Shandong Yang： 形式分析。Yuming Zhao： 文章撰写——审稿和编辑。

利益冲突声明

作者声明他们没有已知的可能会影响本文所报道工作的竞争性财务利益或个人关系。

致谢

本研究得到了黑龙江省重点研发计划项目（2023ZX02C10）和黑龙江省基础研究业务费用项目（1454YB015）的支持。