《Evidence-Based Toxicology》：ToxTempAssistant: using large language models to standardise cell-based toxicological test method descriptions
编辑推荐：
为应对新方法学(NAMs)因非标准报道而难以被监管采纳的挑战，本研究开发了基于LLM的ToxTempAssistant工具，能自动从原始材料提取信息填充ToxTemp模板，经评估三款主流模型(gpt-4o-mini/o3-mini/gpt-4.1-nano)在正负对照下整体准确率约70%，可将毒理学家角色从人工整理转向专家审核，显著降低合规成本。
随着化学安全评估领域对“新方法学”(New Approach Methodologies, NAMs)——包括人源细胞试验与计算模型——的需求激增，如何让这些更贴近人体反应的方法被监管机构认可成为核心难题。透明且完整的记录是科学信心的基石，但学术研究的描述往往零散杂乱，难以满足经济合作与发展组织(OECD)指南的严苛要求。为此，研究者于2020年推出ToxTemp模板，将OECD指导文件211(GD 211)转化为77道结构化问题，覆盖从细胞来源到预测模型的全流程细节。然而，手动填写需耗时一周，大量复制现有资料，成为阻碍合规的巨大瓶颈。这正是《Evidence-Based Toxicology》最新研究聚焦的关键：能否用大语言模型(LLM)将繁琐的人工录入变为自动化草稿生成？
研究团队开发了ToxTempAssistant这一LLM辅助网络工具，其核心逻辑直击痛点——让模型充当“信息搬运工”。系统将ToxTemp问题转为JSON结构，用户上传实验方案、论文等文本后，针对每道题用固定提示词要求模型严格基于材料作答，未找到信息则返回“未找到”，并强制标注来源。为验证效果，团队设计了双对照评估框架：正对照用8份专家填好的ToxTemp作输入，看模型能否复现内容；负对照用8份无关文本(如政策文件)，检验是否会错误生成答案。测试涵盖三款模型(o3-mini/gpt-4o-mini/gpt-4.1-nano)，温度参数设为0以保证输出稳定。评估采用混淆矩阵：正对照中用余弦相似度阈值τ=0.6(基于text-embedding-3-large向量)区分正确/错误；负对照中任何非标准回复均视为假阳性。
关键技术方法包括：①ToxTemp问题集的JSON结构化存储与Django+PostgreSQL后端架构；②基于零样本提示(zero-shot)的单问题级信息抽取策略，强制溯源；③正负对照下的语义相似度评估体系(余弦相似度/混淆矩阵)；④LLM即评判员(gpt-4o)对专家答案质量分级；⑤跨模型平行API调用与批量任务处理。
结果
正对照：最优输入下的表现
当输入本身就是完整ToxTemp时，模型展现出色复现力。o3-mini覆盖率最高(99.8%)，精准度79.8%；gpt-4o-mini平衡性最佳(覆盖率68.1%/精准度79.6%)；gpt-4.1-nano最保守(覆盖率44.3%)但精准度最高(83.1%)。三款模型非平凡答案的平均余弦相似度相近(0.693–0.716)，说明语义保真度相当。例如问“是否关联OECD测试指南”，专家答“未关联”，o3-mini生成“本方法未链接任何OECD指南(来源：NPC2-5.pdf)”，相似度0.7，虽更冗长但信息无误。值得注意的是，专家答案质量参差不齐——56.8%被LLM评委评为高质量，21.8%为低质量(如表述模糊)，这直接影响模型对齐效果：低质量参考下相似度显著更低。
负对照：无关输入的辨别力
这是风险控制的关键一环。面对易混淆文本(含“细胞/暴露”等术语但无实质内容)，gpt-4.1-nano特异性达98.4%(极少误答)，gpt-4o-mini为92.4%，o3-mini仅65.9%。在高难度干扰下，o3-mini对55%的问题仍生成答案，主因是过度联想域内概念或默认答题倾向；另两者更严格遵守“未找到”指令。这揭示覆盖性与谨慎度的天然博弈：高召回模型易越界，保守模型更稳妥。
总体准确性
综合正负数据(可答546题/无关616题，权重π=0.47)，gpt-4o-mini总准确率74.4%，另两款分别为72.4%与69.4%。差异源于互补模式：高覆盖模型靠召回得分，保守模型靠特异制胜。
结论与讨论
ToxTempAssistant证明LLM在毒理学文档结构化上的实用价值——它并非替代专家判断，而是将人力从机械整理解放至内容核验。研究揭示了模型选择的场景化原则：若需最大限度提取线索选o3-mini；若强调风险规避选gpt-4.1-nano；生产环境选用gpt-4o-mini兼顾成本与稳定性。需注意余弦相似度仅是粗略对齐指标，无法捕捉细节错误(如试剂名称偏差)，因此所有输出必须经专家复核。从监管视角看，工具符合欧盟AI法案“有限风险”分类：不作安全决策、全流程可追溯、保留人工最终审核权。未来方向包括用真实原始文献(而非预填模板)测试碎片化信息整合能力，以及收集用户实际编辑痕迹量化效率提升。更深远地，此类工具或推动ToxTemp成为NAM标准化的枢纽，让科学成果更快转化为监管行动。
