PROBE：基于大语言模型的蛋白质功能基因本体论注释基准评估

《BMC Bioinformatics》：PROBE: a multi-organism benchmark for evaluating general-purpose large language models on Gene Ontology protein function annotation

摘要

背景

系统性蛋白质功能注释是计算生物学中最重要的未解决问题之一。尽管基因本体论（Gene Ontology）联盟和UniProt Swiss-Prot经过数十年的数据整理工作，大多数已测序蛋白质仍然缺乏经过实验验证的功能注释。基于科学文献训练的大语言模型（LLMs）的出现引发了一个问题：它们是否能够在不进行特定任务训练的情况下，将实验表征的蛋白质功能的自然语言描述映射到正确的基因本体论（GO）术语。回答这个问题需要一个具有金标准实验注释和多物种覆盖的基准，而现有基准缺乏这一点。

结果

我们提出PROBE（PRotein functiOn Benchmark Evaluation，蛋白质功能基准评估）：包含来自五个物种的1,000个UniProt Swiss-Prot蛋白质，仅使用实验证据注释。我们评估了10个开源大语言模型，跨越五种提示格式，采用零样本和仅推理方式，共产生150,000条预测。最佳模型（Mistral Large 123B）的宏F1为9.3%，但"最高频5项"启发式方法的表现超过了十个大语言模型中的四个。41.3%的预测GO术语与基准注释不匹配；对当前UniProt记录的时序留出检查发现仅有1.25%获得新的支持，表明大多数是真正的错误而非不完整的基准真值。性能因物种而异——酿酒酵母（Saccharomyces cerevisiae）出乎意料地得分最高（F1 = 8.6%），但仅有五个物种的情况下，这并不能追踪进化距离，文献密度和注释池规模均未达到显著性水平，因此该发现仍属探索性。候选选择提示（P5）相对于P1将不匹配预测率降低了33.5个百分点，同时实现了最高的F1（8.2%）。GO语义相似性分析表明，在所有命名空间中，大语言模型的预测均超过随机基线2.1–2.6倍，表明尽管精确匹配失败，但仍具有生物学意义的语义对齐。一项初步的50个蛋白质比较中，四个闭源模型与最佳开源模型的对比结果显示F1为0.081–0.127，对比开源最佳的0.099（差距为0.028个百分点），暗示但尚未证实当前局限性已超越开源模型的范围。

结论

PROBE表明，通用大语言模型能够将部分蛋白质功能的自然语言描述映射到GO术语，但性能往往不足以支撑且不适用于可靠的自主注释。不匹配预测普遍存在，物种层面的性能差异仍然是一个悬而未决的问题，无法由训练数据或进化关系解释。该基准、评估流程以及全部150,000条实验响应记录均已公开可用，以确保可重复性。