基于大语言模型与随机森林的根癌农杆菌启动子检测研究

《Scientific Reports》：A novel LLM-based GPT-neo transformer with machine learning architecture for promoters prediction in Agrobacterium

　　启动子对于基因转录的起始至关重要，在细菌基因组中准确揭示启动子对于遗传学和生物技术研究的进展至关重要。本研究提出了一种创新方法，用于检测根癌农杆菌（Agrobacterium tumefaciens）中的启动子，该方法整合了基于大语言模型（LLM）的GPT-Neo变换器、随机森林（RF）特征工程以及传统机器学习方法。GPT-Neo模型最初用于对核苷酸序列进行标记化，并生成包含启动子区域结构和相互作用特征的高维嵌入。这些嵌入作为RF分类器的输入，该分类器进行概率特征提取以提供增强的特征向量，从而提升模型的预测能力。将基于LLM的特征提取与RF特征工程相结合，带来了显著的性能提升，模型达到了97%的准确率和0.99的AUC，超越了传统方法。此外，使用合成少数类过采样技术（SMOTE）纠正了类别不平衡，从而提供了均衡的敏感性和特异性。这种方法标志着启动子预测领域的重大进步，为细菌基因组学和生物信息学中的潜在应用提供了坚实基础。