利用注意力增强型深度神经网络进行迁移学习，结合UniProt蛋白质嵌入方法对植物酶进行分类

《BMC Bioinformatics》：Transfer learning with attention-enhanced deep neural networks for plant enzyme classification using UniProt protein embeddings

　　

摘要

背景

从蛋白质序列中准确分类酶和非酶对于理解植物代谢至关重要，这在作物改良和生物技术领域具有广泛应用。尽管深度学习在蛋白质功能预测方面展现出了潜力，但大多数方法都是基于原始序列进行训练的，这需要大量的计算资源。利用预训练的蛋白质嵌入进行迁移学习提供了一种高效的替代方案，然而其在多物种植物酶分类中的应用仍有待探索。

结果

我们提出了一个迁移学习框架，将基于UniProt的蛋白质嵌入与注意力增强型和基线深度神经网络相结合，用于四种主要植物物种的酶分类：拟南芥（Arabidopsis thaliana）、芸苔属（Brassica）植物、水稻（Oryza sativa）和小麦（Triticum aestivum）。我们的数据集包含22,267个独特的蛋白质序列，每个序列都有1024维的嵌入信息。为防止数据泄露，我们使用了CD-HIT聚类算法在60%的同源性水平上进行分组，共形成了13,784个簇。我们还进行了留一物种法（Leave-One-Species-Out）评估，以评估模型在不同物种间的泛化能力。对10种模型的系统评估显示，注意力增强型深度神经网络（Attention-Enhanced DNN）的表现最为稳定，其测试AUC为0.987 ± 0.001，准确率为0.955 ± 0.004，F1分数为0.939 ± 0.005，MCC为0.903 ± 008，并且表现出较强的跨物种泛化能力，平均LOSSO AUC为0.985 ± 0.008。统计测试确认了各种方法之间存在显著差异（Friedman检验，p < 0.001），所提出的框架在67%的超参数配置中胜出。

结论

本研究表明，预训练的UniProt嵌入与深度学习相结合是一种有效的植物酶分类方法，其中注意力机制虽然贡献了较小的提升，但在统计上却是显著的。

图形摘要

背景

从蛋白质序列中准确分类酶和非酶对于理解植物代谢至关重要，这在作物改良和生物技术领域具有广泛应用。尽管深度学习在蛋白质功能预测方面展现出了潜力，但大多数方法都是基于原始序列进行训练的，这需要大量的计算资源。利用预训练的蛋白质嵌入进行迁移学习提供了一种高效的替代方案，然而其在多物种植物酶分类中的应用仍有待探索。

结果

我们提出了一个迁移学习框架，将基于UniProt的蛋白质嵌入与注意力增强型和基线深度神经网络相结合，用于四种主要植物物种的酶分类：拟南芥（Arabidopsis thaliana）、芸苔属（Brassica）植物、水稻（Oryza sativa）和小麦（Triticum aestivum）。我们的数据集包含22,267个独特的蛋白质序列，每个序列都有1024维的嵌入信息。为防止数据泄露，我们使用了CD-HIT聚类算法在60%的同源性水平上进行分组，共形成了13,784个簇。我们还进行了留一物种法（Leave-One-Species-Out）评估，以评估模型在不同物种间的泛化能力。对10种模型的系统评估显示，注意力增强型深度神经网络（Attention-Enhanced DNN）的表现最为稳定，其测试AUC为0.987 ± 0.001，准确率为0.955 ± 0.004，F1分数为0.939 ± 0.005，MCC为0.903 ± 0.008，并且表现出较强的跨物种泛化能力，平均LOSSO AUC为0.985 ± 0.008。统计测试确认了各种方法之间存在显著差异（Friedman检验，p < 0.001），所提出的框架在67%的超参数配置中胜出。

结论

本研究表明，预训练的UniProt嵌入与深度学习相结合是一种有效的植物酶分类方法，其中注意力机制虽然贡献了较小的提升，但在统计上却是显著的。

图形摘要