DaHAC：用于CRISPR生物传感知识提取与基准测试的双LLM人机协作框架

《Digital Discovery》：DaHAC: a dual-LLM human-AI collaborative framework for CRISPR biosensing knowledge extraction and benchmarkingOpen Access

　　

CRISPR生物传感文献的快速增长为数据驱动研究制造了主要障碍，因为关键实验信息仍分散在非结构化文本中。重要的检测参数，如靶标序列、反应系统、缓冲液条件和检测限，难以一致地以机器可读格式提取。尽管大语言模型（LLMs）为自动化文献挖掘提供了新的机会，但它们在高精度生化应用中的可靠性仍不清楚。在此，研究人员提出了DaHAC，一个双LLM人机协作框架，用于从科学文献中构建高保真CRISPR生物传感知识资源。金标准数据集通过独立的双专家标注协议验证，并通过kimi-k2-turbo-preview进行协调，具有较高的标注者间一致性。与先前的单LLM或顺序流水线不同，该双LLM人机协作框架将领域特定提取与人类专家裁决相结合，有效缓解了共享模型偏差。使用一组经筛选的116篇同行评审文章，DaHAC生成了一个包含8051个实体-关系节点的验证数据集，这些节点捕获了关键实验和功能信息。与单LLM基线相比，该框架将提取性能从F₁分数91.2%提高到99.0%，同时将人工筛选时间减少了66.7%，总成本减少了65.8%。基于这个经过验证的数据集，研究人员进一步构建了一个8700问题的基准，以评估当前前沿LLMs的领域特定推理性能。该基准显示，这些模型在结构化事实问题上表现良好，但在需要语义理解和多步生化推理的任务上仍不太可靠。DaHAC为将非结构化生化文献转化为用于分子发现和自动化实验室系统的机器可操作知识资源提供了一条可扩展的途径。

随着CRISPR-Cas系统在分子诊断领域的深度整合，生物传感平台的构建能力得到显著提升。然而，CRISPR生物传感文献的爆炸式增长导致关键实验信息高度分散于非结构化文本中。靶标序列、反应系统、缓冲条件及检测限等核心参数难以被标准化提取为机器可读格式，极大阻碍了数据驱动的生化研究。传统自然语言处理模型（如基于BERT的命名实体识别系统）在面对长距离上下文关联时，难以维持关系完整性；而大语言模型（LLMs）虽具备零样本信息提取潜力，却在高精度生化应用中表现出系统性的“幻觉”倾向，例如错误识别序列、误解数值单位或错误映射检测元件空间关系。因此，构建一种能够将非结构化文献转化为可验证知识资源的人机协作框架，成为当前分子发现与自动化实验室发展的迫切需求。

针对上述瓶颈，研究人员提出DaHAC（双LLM人机协作流水线）框架，该工作发表于《Digital Discovery》。DaHAC采用双大语言模型分工协作策略，结合双专家人工验证层，构建了高保真CRISPR生物传感知识资源。研究团队从多数据库系统检索筛选出116篇同行评审文章作为样本语料，经本体论定义与双盲标注协议验证，生成包含8051个实体-关系节点的金标准数据集。该框架将提取F₁分数提升至99.0%，较单LLM基线提高7.8个百分点，同时削减了66.7%的人工筛选时间和65.8%的总成本。基于验证数据集，研究人员进一步构建了8700问题基准，系统评估了当前前沿LLMs在CRISPR生物传感领域的领域特定推理能力，揭示了现有多模态模型在结构化事实检索与深层生化推理之间的性能鸿沟，为自动化化学人工智能系统的数据基础设施奠定了可扩展路径。

在技术方法层面，DaHAC框架的核心创新在于双LLM交叉批判机制与人类专家仲裁的集成。首先，通过PyMuPDF和Tiktoken对PDF文档进行结构化分解；其次，LLM1（采用DeepSeek Reasoner）在思维链（CoT）提示和受控词汇约束下执行71字段本体提取；随后，两名领域专家采用双盲方式对同一文本跨度进行独立验证，以“正确/错误/未提取”三种标签评判提取结果；当专家评判发生冲突时，LLM2（采用kimi-k2-turbo-preview）作为逻辑整合器依据源PDF文本进行裁决，并引用原文证据。这一设计替代了传统人类第三评审者角色，有效避免了单模型自验证导致的关联性幻觉。数据来源为经过多数据库去重和相关性过滤后的116篇高密度同行评审文章，涵盖密集表格、多面板结构示意图及补充信息。

研究结果部分呈现了四个关键发现。
**3.1 高保真数据集筛选与单LLM基线性能**：基于116篇文章，DaHAC流水线提取出8051个实体-关系节点，其中“反应系统”类别占比最大（n=2793），体现本体论对嵌套实验条件的捕获能力。基线单LLM提取实验显示，在零样本CoT和受控词汇条件下，模型达到99.0%精确率但召回率仅为84.6%，F₁分数为91.2%。误差分析表明，性能衰减主要由假阴性驱动，尤其是反应系统类别遗漏了925个参数（假阴性率27%），信号检测元件类别的遗漏率也高达22%。

**3.2 通过双LLM集成和人类验证优化提取保真度**：在完整DaHAC流程中，双专家对8051个节点的一致率达到88.5%，每篇文章的中位一致性为0.873。引入LLM2作为自动仲裁者后，整体召回率从84.6%提升至99.7%，最终F₁分数达到99.0%，十个本体类别的真阳性率稳定在0.98至1.00之间。四层消融研究进一步揭示：零样本CoT提示与受控词汇优化使F₁从61.6%升至91.2%；而将LLM2作为顺序再提取器（缺乏人工监督）时，F₁反而降至86.3%，表明错误传播的危害；只有在双LLM仲裁与专家交叉审查结合时，才能实现精度与召回的最优平衡。

**3.3 运营效率与成本-精度权衡**：传统人工筛选每篇文章约需360分钟，而DaHAC通过LLM初步提取和集成，将人工验证时间压缩至120分钟，总处理时间降至160分钟，削减66.7%。经济成本方面，完全人工提取每篇约需120美元，DaHAC因API使用费极低（每步0.05至0.5美元），总成本降至41美元，降低65.8%，且不牺牲数据质量。

**3.4 评估复杂生化语境中的领域特定推理**：利用验证数据集程序化生成包含2900道多选题、2900道判断题和2900道短答题的基准，对六种前沿LLMs进行评估。模型在判断题（准确率>94%）和多选题（准确率>90%）上表现稳定，但多选题F₁分数（81.0%–86.4%）显示其在区分相近科学干扰项（如同源序列或缓冲液细微差异）时存在算法困难。短答题任务暴露更大局限：最佳模型DeepSeek-V3.2-Exp的BERTScore仅为0.507±0.011，虽显著高于其他模型，但整体语义生成能力不足以重建多层生化关系。综合得分方面，DeepSeek-V3.2-Exp以77.30领先，其次为GPT-5.1（75.97）和Qwen-3-Max（75.47），表明事实检索能力强并不等同于深层语义推理能力。

在讨论与结论部分，研究人员指出DaHAC框架在可扩展性方面存在三点局限：第一，116篇文章语料属于有界概念验证，扩展到更广泛异质性生物医学文献仍需实证；第二，双专家审查每篇约需120分钟，占全流程近75%时间，阻碍了向数千篇文章的规模推广；第三，LLM2在消融配置中承担不同角色（再提取器与仲裁者），因此不同配置间的性能差异反映的是整体工作流效应而非单一组件贡献，解耦各组件影响需设计专门的因子试验。尽管如此，当前生成的高密度、人工验证数据集为实现完全自动化提供了关键前提。未来工作将利用该金标准语料微调开源权重模型（如DeepSeek或Qwen）作为领域特定提取器，逐步减少人工验证负担。虽然完全自主的“自驱动实验室”仍属长期愿景，但建立可验证的准确数据基础设施正是训练下一代自主化学人工智能系统的必要第一步。