《Genome Biology》：Comparative assessment of large language models for microbial phenotype assignment
编辑推荐：
背景：大语言模型（LLMs）越来越多地被用于从文本中提取知识，但它们在生物学中的覆盖范围和可靠性仍不清楚。微生物表型尤其需要评估，因为除了研究充分的生物外，全面的数据仍然稀少，而它们是我们理解微生物特征、功能角色和应用的基础。结果：在此，研究人员系统评估了公开
背景：大语言模型（LLMs）越来越多地被用于从文本中提取知识，但它们在生物学中的覆盖范围和可靠性仍不清楚。微生物表型尤其需要评估，因为除了研究充分的生物外，全面的数据仍然稀少，而它们是我们理解微生物特征、功能角色和应用的基础。结果：在此，研究人员系统评估了公开可用的LLMs中编码的生物学知识，用于微生物物种的结构化表型分配。研究人员评估了多达57个LLMs在不同实验中的性能，包括最先进的模型如Claude Sonnet 4和GPT-5系列模型。在各类表型中，LLMs对许多物种做出了准确的分配，但性能因模型和性状而差异很大，没有单一模型占主导地位。模型自我报告的置信度是有信息的，较高的置信度与较高的准确性一致，并且可用于优先考虑表型分配，有效区分高置信度和低置信度的推断。结论：总体而言，研究人员的概述了基于文本的LLMs在微生物学表型表征中的效用和局限性。
**论文解读：大语言模型在微生物表型分配中的系统性评估**
**研究背景与问题**
随着科学出版物指数级增长，大量知识分散在多个数据库和平台中，但多以非结构化文本形式存在，且元数据稀疏、异构或不完整，给知识发现和整合带来巨大挑战。微生物表型数据（描述微生物形态、代谢、生长条件、生态角色等特征）对于理解微生物特性、功能及应用至关重要，但除少数模式生物外，全面数据仍然稀缺。传统专家人工整理耗时费力，难以实现全面覆盖和及时更新。大语言模型（LLMs）因能快速从文本中提取和整合信息，展现出补充人工整理的潜力，但其在生物学领域的覆盖范围、可靠性和自我置信度校准能力尚不明确。为此，研究人员在《Genome Biology》发表论文，系统性评估公开可用的LLMs在微生物物种结构化表型分配中的表现，并构建可重复的基准测试框架。
**主要技术方法**
研究人员开发了基于OpenRouter API的自动化评估框架，采用零样本设置（无任务微调、无上下文示例、无检索增强），对57个LLMs（2023-2025年发布，涵盖GPT、Claude、Gemini、DeepSeek、Llama等系列）进行微生物表型推断。构建了两个基准数据集：WA（well-assigned)子集（3884个物种，表型标注丰富）和LA（low-assigned）子集（15256个物种，表型标注稀疏），均来自公开微生物表型数据库（如BacDive、LPSN）。通过设计知识分类模板（Limited、Moderate、Extensive、NA）评估模型自我知识水平，并利用200个人工合成双名名称（英文词对、拉丁似造词、混合名）量化幻觉率。以平衡准确率（balanced accuracy）作为主要评估指标，并结合Google搜索计数进行知识校准分析。
**研究结果**
**通用大语言模型的可重复基准测试平台**
研究人员通过零样本设置，对57个LLMs进行标准化评估，发现不同模型在表型分配任务上性能差异显著，无单一模型在所有表型上占优。模型大小与准确率呈强正相关（Pearson r=0.74），发布时间与准确率呈中等相关（Pearson r=0.43），表明更大、更新的模型通常表现更好。
**微生物表型推断数据集**
利用WA子集（丰富标注）和LA子集（稀疏标注）进行分层评估。在WA子集上比较所有模型，筛选出最佳模型（grok-3-mini）用于LA子集扩展实验，以平衡准确性与计算成本。
**LLM生成输出的质量、一致性与幻觉内容**
通过人工合成双名名称评估幻觉率，57个模型中有66%正确拒绝（输出NA），0.3%无结果，33.6%产生幻觉。最佳模型gpt-5-nano正确拒绝率达99.5%，而最差模型llama-3.2-3b-instruct仅8%。较大、较新的模型幻觉率更低，但模型规模并非唯一决定因素。
**真实微生物物种上的知识校准与模型一致性**
在WA子集上，评估22个LLMs的知识分类一致性。仅91个物种在所有模型间达成共识，其余物种存在分歧，分类不确定性（香农熵）高的物种包括链霉菌属（Streptomyces）和关节炎支原体（Metamycoplasma arthritidis）。模型自我评估知识水平与Google搜索计数呈正相关，但模型间个体差异大，如gpt-4的Spearman相关系数ρ=0.704，而gpt-4o-mini仅ρ=0.362。
**基准测试揭示LLM在表型分配中的能力与局限**
平衡准确率因表型而异：孢子形成最高（89.8%），生物膜形成最低（53.0%）。最佳模型Gemini-2.5-pro在两个表型上领先。模型大小与准确率强相关，封闭源模型平均比开放权重模型高5.1个百分点，但顶级开放权重模型（如DeepSeek-R1）与最强封闭源系统差距仅1个百分点。分类学层次分析显示，门级别平均准确率差异不大，但门内目级别差异显著（如双歧杆菌目0.92，基塔索托孢菌目0.74）。
**通过LLM分配增强和扩展表型分配**
模型自我评估知识水平越高，平衡准确率越高（Jonckheere-Terpstra检验p=2.54×10
-7）。在“Extensive”知识层内，选择最佳模型-表型组合，为WA子集的256个物种新增295个高置信度表型分配，覆盖细胞形状、孢子形成、动物病原性等。在LA子集上，用grok-3-mini严格筛选（“Extensive”知识层且无真值），为253个物种新增1382个高置信度分配，手动验证显示81%有文献支持。
**讨论与结论**
讨论部分指出，LLMs在微生物表型分配中表现出实质性能力，但无模型全能，且易产生幻觉，尤其对稀疏分类群。模型自我报告置信度可作为可靠性指标，但需结合领域知识谨慎使用。未来方向包括结合领域微调、检索增强生成（RAG）以及扩展至更广泛表型（如环境耐性）。研究结论为：当前LLMs编码了可观的微生物知识，结合自我评估过滤可以实现高置信度表型分配，提供可扩展、低成本的信息整合途径，但需注意性能差异和幻觉风险。
