编辑推荐：
为系统评估 LLMs 化学能力、改善模型并规避风险，研究人员开发 ChemBench 框架，用超 2700 题对前沿 LLMs 评估。发现顶尖模型平均优于化学家，但基础任务存短板且预测过自信，为化学教育和领域评估提供新方向。
在数字化浪潮席卷科学研究的时代，化学领域正经历着前所未有的方法论革新。大型语言模型（LLMs）凭借其强大的文本处理能力，逐渐渗透到分子性质预测、反应优化甚至实验设计等化学研究环节。然而，学术界对 LLMs 在化学领域的实际能力边界、与人类专家的性能差异，以及潜在的安全风险仍知之甚少。现有评估框架多聚焦于单一任务（如分子性质预测），缺乏对化学知识体系的系统性覆盖，且缺少与人类化学家的直接对比，难以全面揭示 LLMs 的优势与局限。在此背景下，建立一个能够综合评估 LLMs 化学知识、推理能力及直觉判断的标准化框架，成为推动该领域健康发展的关键科学问题。
为填补这一研究空白，德国耶拿大学（Friedrich Schiller University Jena）的 Kevin Maik Jablonka 团队联合瑞士洛桑联邦理工学院等机构的研究人员，开展了一项具有里程碑意义的研究。他们开发了名为 ChemBench 的自动化评估框架，通过构建大规模、多维度的化学问题数据集，首次实现了 LLMs 与人类化学家在化学能力上的系统性对比。该研究成果发表在《Nature Chemistry》，为化学与人工智能交叉领域提供了重要的方法论参考。
研究团队构建了包含 2788 对问答的 ChemBench 语料库，数据来源涵盖手动编写的专业问题、大学考试题目及化学数据库的半自动生成内容。问题覆盖无机化学、分析化学、毒理学安全等 11 个细分领域，并按知识、推理、计算、直觉等技能维度及基础到复杂的难度层级进行分类。为确保评估的科学性，研究人员邀请 19 名不同专业背景的化学家参与答题，部分题目允许使用网络搜索等工具，形成真实的人类表现基线。
在模型评估环节，研究团队对包括 o1-preview、Claude-3.5（Sonnet）、GPT-4o、Llama-3.1-405B-Instruct 在内的主流开源与闭源 LLMs 进行测试。结果显示，顶尖模型的整体正确率平均超过人类化学家，其中 o1-preview 的表现几乎是最佳人类受试者的两倍。然而，模型在分析化学任务（如预测核磁共振谱信号数）中表现薄弱，o1-preview 的正确率仅为 22%，凸显出其在分子结构推理方面的局限性。此外，模型在化学直觉判断任务中与专家偏好的一致性接近随机水平，表明其尚未真正掌握人类化学家的经验性决策逻辑。
值得注意的是，模型的自信度估计普遍存在偏差。例如，GPT-4 在毒理学安全问题中，对错误答案的平均自信度评分（4.0）显著高于正确答案（1.0），而 Claude-3.5（Sonnet）在化学品标签问题中，正确与错误答案的自信度评分差异不足 0.2。这种对自身能力的误判，可能导致实际应用中的决策风险。
从研究方法来看，ChemBench 的创新性体现在其语义标注系统。该系统通过特殊标签（如 [START_SMILES][END_SMILES]）对化学结构、方程式等专业内容进行编码，使模型能够区分自然语言与科学符号，为后续工具增强型系统的评估提供了通用框架。此外，研究团队还提供了包含 236 题的精简版 ChemBench-Mini，平衡了评估全面性与计算成本，便于广泛应用。
在不同化学子领域的表现分析中，模型在普通化学和技术化学中得分较高，但在毒理学安全（平均正确率 < 40%）和分析化学中明显吃力。这种能力的不均衡性提示，现有 LLMs 对结构化文本（如教科书内容）的处理更为成熟，但在需要空间想象与实验经验的任务中仍需提升。例如，在基于本科教材的问题中，模型正确率普遍超过 70%，而在依赖分子拓扑推理的任务中，正确率骤降至 30% 以下，表明其可能依赖训练数据的记忆而非真正的化学理解。
讨论部分指出，LLMs 在化学领域的双重角色值得警惕：一方面，其在知识密集型任务中的高效表现（如德国化学禁令相关考试题目）可能革新化学教育，减少对死记硬背的依赖；另一方面，模型在复杂推理与安全评估中的缺陷，要求开发者加强与专业数据库的整合（如 PubChem），并引入偏好调优机制以 align 人类价值观。此外，研究团队呼吁建立跨学科的评估标准，以应对 LLMs 在化学武器设计等潜在风险领域的滥用可能。
这项研究不仅揭示了 LLMs 在化学领域的 “超人类” 潜力与 “婴儿级” 短板，更推动了评估范式的变革。ChemBench 框架为后续模型优化提供了明确的能力地图，例如通过强化分子结构表征学习提升分析化学任务表现，或通过集成实时数据库增强知识时效性。对于化学教育而言，研究结果提示应更加注重批判性思维与实验直觉的培养，而非单纯的知识传授。随着 AI 与化学的深度融合，类似的跨学科基准研究将成为确保技术安全、可控发展的核心工具，引领 “语言驱动化学发现” 的新时代。
关键技术方法
- 大规模语料库构建：整合手动编写（1039 题）与半自动生成（1749 题）的化学问题，覆盖多领域、多技能维度。
- 专家基线建立：通过自定义网页应用（chembench.org）收集 19 名化学家的答题数据，允许部分题目使用工具。
- 语义标注与模型适配：采用 BIG-bench 格式，通过标签（如 SMILES 包裹符）增强化学符号处理能力，兼容工具增强型系统。
- 多模型评估：测试包括闭源模型（o1-preview、GPT-4o）与开源模型（Llama-3.1 系列），分析模型规模与性能的相关性。
研究结果归纳
- 整体性能：顶尖模型（如 o1-preview）平均正确率超人类化学家，但知识密集型任务依赖外部数据库，纯文本训练存在局限性。
- 子领域差异：普通化学（正确率 > 60%）表现优异，分析化学（如 NMR 信号预测）与毒理学安全（正确率 < 40%）是主要瓶颈。
- 直觉与自信度：模型在化学偏好判断中接近随机水平，自信度估计与实际正确率缺乏相关性，存在误导风险。
- 教育启示：模型在教材类问题中表现突出，提示化学教育需向高阶推理转型，减少对记忆性知识的侧重。
结论与意义
ChemBench 框架首次系统性量化了 LLMs 与人类化学家的能力差异，证实了前者在规模化知识处理中的优势，同时暴露了其在空间推理、安全评估与直觉判断中的本质缺陷。该研究为化学 AI 的发展划定了 “能力圈” 与 “风险区”，不仅为模型优化提供了明确方向（如强化分子结构理解、整合专业数据库），也为化学教育改革与领域监管提供了科学依据。随着评估体系的完善，LLMs 有望从 “辅助工具” 升级为 “协同研究者”，但其伦理风险与技术局限仍需跨学科团队持续攻关。这项工作标志着化学人工智能研究进入 “可测量、可改进” 的新阶段，为实现 “安全、可信、高效” 的化学研究自动化奠定了基础。
