《Bioinformatics》：Assessment of LLMs on basic bioinformatics tasks requiring multi-step reasoning and code writing
编辑推荐：
摘要
动机：大语言模型（Large Language Models，LLMs）、人工智能智能体（AI agents）和人工智能协作科学家（co-scientists）有望加速从化学到生物学等各个领域的科学发现。生物信息学——对DNA、RNA和蛋白质序列的计算
摘要
动机：大语言模型（Large Language Models，LLMs）、人工智能智能体（AI agents）和人工智能协作科学家（co-scientists）有望加速从化学到生物学等各个领域的科学发现。生物信息学——对DNA、RNA和蛋白质序列的计算分析——在生物学研究中发挥着至关重要的作用，并且由于其计算特性，特别适合由人工智能驱动的自动化。在此，研究人员评估了流行的通用大语言模型在一组基础分析问题上的生物信息学能力，这些问题涵盖代码编写和该领域内的多步推理。
结果：研究人员利用Rosalind（一个生物信息学教育平台）中的问题，将大语言模型在104个问题上的表现与专家真值（expert ground truth）以及68 760名不同专业水平的人类进行比较。在被评估的前沿大语言模型（GPT-5.2、GPT-4o、GPT-3.5、Llama-3-70B、Llama-4和Claude Sonnet 4.6）中，GPT-5.2表现最佳，在104个问题中正确回答了80个（77%），其次是Claude Sonnet 4.6。大语言模型的性能根据问题的生物学类别而有很大差异。虽然最新一代前沿大语言模型在总体上表现出性能提升，但它们在特定类别生物学问题上的表现低于第一代模型。总体而言，大语言模型的性能与人类表现相似，在人类表现较差的任务中其性能也较低，反之亦然。然而，在大多数人类回答正确的一些案例中大语言模型也出现了失误，并且在少数案例中大语言模型在大多数人类失败的问题上表现出色。据研究人员所知，这是首次针对通用大语言模型在不同领域中相对于专家和非专家真值的基础生物信息学任务进行的评估。
可用性与实现：完整分析使用Python实现；所有代码可在https://github.com/SiwoResearch/lllm-bioinformatics获取。
大语言模型（LLMs）在基础生物信息学任务中的能力评估：基于Rosalind基准的多步推理与代码编写研究解读
**研究背景与问题**
生物信息学作为对DNA、RNA和蛋白质序列进行计算分析的核心学科，是连接基础生物学发现与健康、农业和制造业应用的关键桥梁。随着人工智能技术的快速发展，大语言模型（Large Language Models，LLMs）、AI智能体（AI agents）和人工智能协作科学家（co-scientists）被广泛视为加速科学发现的重要工具。然而，现有研究大多聚焦于文献信息检索、结构化问答或特定治疗任务，例如BiomedGPT在分类和问答基准上的表现、BioInstruct在结构化问答上的改进，以及TxAgent在治疗任务中的多步推理能力。这些模型或系统通常需要针对特定生物医学任务进行微调或定制，且普遍缺乏对基础生物信息学分析任务——尤其是需要多步推理、生物学上下文解读和代码编写才能得出精确输出的任务——的系统评估。通用大语言模型（如GPT、Llama、Claude等）由于易于获取，常被非专家作为首选工具，但其“开箱即用”（out-of-the-box）的生物信息学能力尚未得到充分刻画。此外，理解这些模型在基础任务上的表现，对于其与专用生物信息学工具和智能体的可靠集成、预测人工智能通用智能（AGI）发展路径以及防范生物安全风险都具有重要意义。因此，研究人员开展了一项系统评估，以回答以下问题：通用大语言模型能否在没有专门微调的情况下，解决基础生物信息学分析问题？其表现与不同专业水平的人类相比如何？
**研究内容与结论**
研究人员从Rosalind生物信息学教育平台（Bioinformatics Stronghold）选取了104个开放式问题，这些问题覆盖DNA分析、限制性酶切图谱、系统发育学、组合学与概率、RNA与蛋白质翻译、基因组组装与图算法、序列比对与比较基因组学、基因组分析与计算生物学、基序查找与模式匹配、遗传与群体遗传学等10个类别，并涵盖了从基础计算到复杂推理的不同难度。每个问题具有唯一且精确的答案（如数字、DNA/RNA或蛋白质序列），Rosalind官方答案作为专家真值（expert ground truth）。同时，研究人员收集了回答问题的人类用户统计数据，包括尝试人数和正确率，样本量从110人到68 760人不等。研究人员评估了GPT-3.5、GPT-4o、GPT-5.2、Llama-3-70B、Llama-4 Maverick和Claude Sonnet 4.6这六种通用大语言模型，并通过两种方式访问模型：一是通过密歇根大学的UM GPT平台（提供隐私保护的对话界面），二是通过OpenAI和Anthropic的应用程序编程接口（API）以程序化方式访问，后者允许设置温度参数（temperature=1）。此外，研究人员还构建了基于检索增强生成（Retrieval Augmented Generation，RAG）的增强模型，利用开源生物信息学教材《Bioinformatics for Beginners》建立向量数据库，以考察外部生物学知识对大语言模型性能的影响。所有模型的输出均与专家真值比对，计算准确率，并使用McNemar检验分析模型间正确/错误模式的差异。人类感知难度通过正确回答问题的用户比例和尝试人数来衡量。
**研究结果**
**3.1 所有任务中相对性能**：总体而言，GPT-5.2正确回答了80/104个问题（77%），表现最佳；其次是Claude Sonnet 4.6（通过API访问的Claude Base正确57/104，55%）和GPT-3.5（59/104，58%）。Llama-4正确率为54%，Llama-3-70B为47%，GPT-4o通过UM GPT平台访问时正确率为47%，而通过API访问的GPT Base（GPT-4o）正确率为50%。RAG增强模型性能未超过其基础模型（Claude RAG=53% vs Claude Base=77%；GPT RAG=46% vs GPT Base=50%）。人类正确率在不同问题间差异很大，从25%到91%不等。例如，在“查找所有相似基序”问题中，仅25%的人类正确，而所有大语言模型中只有GPT-5.2和Llama-3-70B正确；在“计算疾病携带者”问题中（基于Hardy-Weinberg原理），91%的人类正确，除GPT-3.5外所有模型均正确。
**3.2 大语言模型与人类的错误概况**：21个问题被所有模型正确回答，10个问题被所有模型错误回答，即近20%的问题所有模型结果一致。90%（104题中的94题）至少被一个模型正确回答，提示大语言模型集成或专家混合（Mixture of Experts，MoE）策略可能提升性能。在所有模型都失败的问题中，50%涉及“序列比对与比较基因组学”。人类表现在大语言模型正确回答的问题上普遍高于大语言模型错误回答的问题（例如，所有大语言模型正确时人类平均正确率为0.67，错误时人类平均正确率为0.55）。
**3.3 基于性能的模型间关系**：McNemar检验显示，GPT-5.2与GPT-4o以及GPT-5.2与Llama-3的错误模式存在显著差异（卡方统计量=22，P<0.001）。GPT-5.2在36个问题上正确而GPT-4o错误，仅5个问题相反；类似地，GPT-5.2在36个问题上正确而Llama-3错误。GPT-5.2是唯一显著优于其他所有模型的模型。在仅被单个模型正确回答的10个问题中，GPT-5.2独占6个（60%），涉及基因组分析、遗传学、基因组组装、RNA翻译和序列比对等类别。
**3.4 不同生物学类别的性能**：模型性能在不同类别间差异很大。表现最好的类别是“DNA分析”（GPT-3.5、GPT-Base、Claude-RAG均100%）和“限制性酶切作图”（多个模型100%），但这些类别的问题数量很少。表现较差的类别包括“序列比对”（GPT-5.2准确率57%，其他模型低于50%）和“基序查找与模式匹配”（GPT-5.2和Llama-4为58%，其他模型低于50%）。GPT-5.2在“组合学”（83%）、“遗传学”（90%）、“基因组分析”（100%）、“基因组组装”（78%）、“基序查找”（58%）、“RNA与蛋白质翻译”（92%）和“序列比对”（57%）等多个类别中均居首位。
**3.5 不同人类难度基准下的性能**：在人类正确率最高的前20个问题（人类平均正确率82%）中，GPT-5.2全部正确（100%），GPT-3.5正确12个（60%），GPT-4o正确11个（55%），Llama-3-70B正确8个（40%）。而在人类正确率最低的前20个问题（人类平均正确率41%）中，所有大语言模型均未实现全对，GPT-5.2正确13个（65%），其他模型正确6至8个。在尝试人数最多的前20个问题中，所有模型均正确的有8个，均错误的有1个；而在尝试人数最少的20个问题中，仅1个所有模型正确，5个所有模型错误。这表明大语言模型的性能与人类感知的问题难度呈正相关。GPT-5.2是唯一在所有人类正确率基准（30%至90%分档）上正确数均多于错误数的模型。
**3.6 跨代模型性能**：GPT-5.2作为GPT-4的继任者，总体性能显著优于GPT-3.5和GPT-4o，但在“DNA分析”类别上比GPT-3.5低14%，在“限制性酶切”类别上低50%。Llama-4较Llama-3略有提升，但在“系统发育学”和“序列比对”上分别下降7%左右。改进幅度因任务类别而异，例如GPT-5.2在“基因组分析”上比GPT-3.5提升71%，而Llama-4的最大改进体现在“限制性酶切”上。
**3.7 检索增强生成（RAG）的影响**：基于GPT-4o和Claude Sonnet 4.6的RAG模型在整体性能上未超过对应基础模型。但在特定类别中，RAG带来了一些改进：GPT-4o RAG在“组合学与概率”上提高8%，“基序查找”提高9%，“限制性酶切”提高50%，但在“DNA分析”（-29%）、“遗传学”（-20%）、“系统发育学”（-7%）和“RNA与翻译”（-15%）上出现下降。Claude RAG在“组合学与概率”（+8%）和“DNA分析”（+14%）上有所提升，但在“遗传学”（-10%）、“基因组组装”（-11%）、“RNA与翻译”（-8%）和“序列比对”（-7%）上下降。
**3.8 推理痕迹与错误分析**：对模型推理过程的分析揭示了一些有趣的错误模式。例如，在“RNA到蛋白质翻译”问题中，GPT-4o的推理过程正确，识别了起始密码子AUG、三联体读码和终止密码子，但最终答案中有一个笔误，导致蛋白质序列错误（“MAAMAPRTIESTNIRG”而非“MAMAPRTEINSTRING”）。GPT Base的推理部分正确，但在序列末尾跳过一个核苷酸导致移码和截短。而Claude模型和GPT RAG则能正确推理并给出正确答案。这些案例说明，大语言模型可能拥有正确的推理但最终输出存在微小错误，也可能在推理链条中丢失信息。
**讨论与结论**
本研究系统评估了六种通用大语言模型在基础生物信息学分析任务中的能力，并将其与数千名人类的表现进行比较。研究发现，大语言模型的总体正确率在46%至77%之间，表现最好的GPT-5.2在大多数任务中优于其他模型。模型性能与人类表现呈正相关，即人类表现好的任务大语言模型也表现好，反之亦然。大语言模型在DNA分析和限制性酶切等规则明确、计算直接的任务中表现强劲，而在需要高阶推理、算法选择或模式识别的任务（如基因组组装、系统发育学、基序查找和序列比对）中表现较弱。跨代模型分析表明，最新一代模型虽在总体性能上有所提升，但这种提升在不同生物学类别间不均衡，部分类别的性能甚至低于第一代模型。RAG增强未能带来整体性能提升，但可对特定类别产生积极或消极影响。研究者指出，本研究的问题集虽然只有104题，但覆盖了广泛的生物信息学知识，且每个问题需要多步推理和不同生物学知识维度，因此结果具有一定的代表性。研究的局限性在于问题集不足以全面判定模型间的优劣，GPT-5.2的最佳表现未必可推广至其他生物信息学任务。未来工作将扩展到更多最新模型、更多任务类型，评估推理痕迹（chain-of-thought），利用专家混合（MoE）提升性能，并调查生物安全风险。总之，这项研究首次展示了通用大语言模型在基础生物信息学任务中相对于专家和非专家人类的表现，揭示了其作为教育、探索和自动化辅助工具的潜力，同时也指出了当前模型在特定推理型任务上的不足，为未来生物信息学AI系统的开发和集成提供了重要基线。
