《Digital Discovery》：Bridging the experimental last mile: digitizing laboratory know-how for AI-assisted support with safe refusalOpen Access
编辑推荐：
尽管材料信息学的发展加速了自驱动实验室（Self-Driving Laboratories, SDLs）的进程，但在许多教学和探索性研究环境中，人工主导的实验仍是常态。研究人员将此类场景中正式文档与实际可靠执行之间的差距称为“实验最后一公里”；在以粉末X射线衍
尽管材料信息学的发展加速了自驱动实验室（Self-Driving Laboratories, SDLs）的进程，但在许多教学和探索性研究环境中，人工主导的实验仍是常态。研究人员将此类场景中正式文档与实际可靠执行之间的差距称为“实验最后一公里”；在以粉末X射线衍射（powder X-ray diffraction, XRD）为背景的本研究中，这一差距主要涉及特定场地（site-specific）的操作诀窍，包括本地规则、常规检查、操作细节以及安全意识行为，这些内容虽可口头表达，却常常在标准手册中记载不足。在这项概念验证研究中，研究人员提出了一种AI辅助的人类在环（human-in-the-loop）框架，利用第一人称实验视频、多模态模型和检索增强生成（retrieval-augmented generation, RAG）来结构化特定场地的实验室操作规程。以粉末X射线衍射实验和学生录制的视频数据为输入，该系统从录制流程中提取特定场地的实验室知识，包括常规手册可能省略的物理操作技巧和可听确认信息。随后，系统基于生成的规程手册提供有依据的回答。为降低无依据输出的风险，系统采用了两层安全设计：通过RAG进行来源限制，以及严格的系统提示词约束。基于教师的评估显示，在手册涉及的问题上，系统回答与预期指导一致。对于超出范围的问题，系统会适当拒绝回答并引导学生咨询教师，从而大幅降低幻觉风险，确保“设计成功”优先保障安全。专家评估进一步表明，生成的咨询报告具备实用性和安全性（实用性：3.50/4，完整性：3.75/4，安全性：4.00/4）。这些结果表明，该框架为弥合实验最后一公里提供了一条可行路径，在此框架中，AI在明确的人类监督下支持实验室实践，而非取代人类判断。
《弥合实验“最后一公里”：AI辅助人类在环框架实现实验室隐性知识数字化与安全支持》
一、研究背景与问题提出
材料信息学（materials informatics）的快速发展显著推动了自驱动实验室（Self-Driving Laboratories, SDLs）的进步，其将复杂的固态工作流程与X射线衍射（X-ray diffraction, XRD）表征及自动化块体金属间化合物处理相集成。然而，在教育教学环境中，研究仍然不可替代地由人类主导，依赖于研究人员的专业知识去解读各种意外现象——这一挑战即便对于先进自主系统而言也属于核心难题。研究人员将正式文档与实际可靠执行之间的差距定义为“实验最后一公里”（experimental last mile）：标准操作规程（Standard Operating Procedures, SOPs）往往省略了日常实验所必需的详细操作诀窍与具身化知识（embodied knowledge）。
尽管基于Transformer架构的大语言模型（Large Language Models, LLMs）拓宽了科学信息的获取渠道，近期系统已涵盖从多智能体假设生成与实验设计框架，到参与物理执行与错误检测的多模态系统，但这些前沿系统主要面向专家级研究人员，旨在加速科学发现或实现自动化。部分系统依赖专用基础设施如机器人或增强现实眼镜，另一些基于标准视频处理的系统则主要聚焦于捕捉专家级隐性工作流程或检测复杂执行错误。至关重要的是，这些先进平台并未针对教育场景的教学与安全需求进行优化——通用大语言模型既不内含特定场地（site-specific）的操作知识，也无法可靠地避免幻觉（hallucination）现象。
与上述面向专家的系统不同，本研究的核心目标是针对实验室新手的安全教育，仅使用学生通过单一消费级相机录制的视频，构建AI辅助的人类在环（human-in-the-loop）框架——AI在其中支持而非取代人类判断，从而将实验室AI的覆盖范围延伸至不具备专用基础设施的环境。教育场景对系统设计提出了根本不同的要求：不同于面向专家的自动化系统，本框架的知识源本身由新手产生，因而可能无意中引入错误。这一现实要求系统具备结构性保障：人类教师须在捕获知识被用作检索来源之前对其进行审查和批准，从而从设计上阻断学生引入的错误。
为将模型输出锚定于经过验证的知识，研究人员采用检索增强生成（retrieval-augmented generation, RAG）技术，将回答约束在明确的知识来源范围内，从而缓解幻觉问题。这一安全关键场景还促使研究人员从根本上反转评估方式：传统问答系统因未能作答而受到惩罚，而本研究将AI对超范围查询的拒答视为一种“设计成功”而非失败——研究人员将其命名为“安全拒绝”（Safe Refusal）。结合提示词级别的约束，该设计限制了无依据输出，使系统行为与安全关键实验室的优先事项保持一致。
本研究旨在弥合实验最后一公里，其贡献不在于新算法，而在于一种将新手生成的知识源、强制性人类守门人（gatekeeper）以及面向安全关键教育的反转评估标准（安全拒绝）相结合的设计。研究以粉末X射线衍射（XRD）为案例，围绕两个核心问题展开：第一，该流水线能否有效捕获并复用特定场地的程序性知识；第二，RAG与提示词级约束的组合能否通过限制无依据输出来保障安全操作。在包含多种类型查询的压力测试中，研究发现该流水线能够捕获特定场地知识，并在超范围查询场景中实现与专家判断高度一致的高安全拒绝率。
二、研究内容与主要结论
研究人员提出并验证了一个AI辅助人类在环框架，该框架包含四个连续阶段：（1）知识捕获、（2）AI辅助结构化、（3）教师验证的摄取与检索、（4）多维度评估。整个捕获流水线仅依赖商用相机和通用多模态大语言模型，未使用任何专用可穿戴硬件、机器人或专用传感器。研究采用三种模型各司其职：Gemini-3.0-Pro-Preview用于将视听录音结构化为手册；Google NotebookLM用于在105项查询压力测试中基于检索提示词生成回答；Claude Sonnet 4.6用于在指导提示词下生成长篇咨询报告。在自动化知识提取与知识持久化进入检索数据库之间，设置了一道人工验证门。
研究发现，该框架成功实现了实验室隐性知识的数字化：原生多模态分析模型能够从第一人称视频中言语化表达谷歌日历预约规则、实验记录本条目描述、样品压平及样品放置方法等标准手册中无法提取的特定场地知识。在验证环节，教师为AI生成的初稿补充了多项直接预防事故的关键安全程序——例如冷开机严格顺序与强制30秒等待、样品台插入点清洁检查与弹簧固定位置确认、测量开始后强制禁止离开直至多个数据点绘制完毕、X射线停止后强制3分钟冷却维护等——这些基于人类经验的安全判断将AI输出提升至“特定场地知识”水平，从结构上阻断了“垃圾进垃圾出”（Garbage-In-Garbage-Out, GIGO）风险。
在105项压力测试中，针对手册内查询（Pattern A, n=19），RAG增强系统（均值0.6295）产生的回答较基线大语言模型（均值0.5274）更接近教师参考回答（Wilcoxon符号秩检验，W=26.0，p=0.00392）；在按主题聚合的层级比较中，RAG优势依然显著（W=3.0，p=0.039，8个主题中6个占优）。在86项超范围及对抗性查询中，系统在83个案例（96.5%）中生成了安全响应（拒答或异常警告）且未生成任何操作步骤；其余3例被归类为检索错配失败，系统检索并引用了无关的手册程序而非发出异常警告。值得注意的是，在全部105项压力测试中，未生成任何幻觉内容、未授权程序或危险操作；所有系统输出均被限制在已验证手册范围内。专家评估方面，四位独立评估者对生成的咨询报告在三个维度进行评分：安全性4.00/4、完整性3.75/4、实用性3.50/4。
三、关键技术方法
本研究采用的主要技术方法包括：（1）第一人称视角视频录制：学生使用单台消费级相机录制实验操作过程，并以日语口头叙述操作注意事项、安全预防措施和本地操作规则；（2）原生多模态LLM结构化处理：将视频文件以1帧/秒的采样率直接输入Gemini-3.0-Pro-Preview（2026年1月访问，现已弃用），利用其同步视频与音频处理能力，将视听数据直接结构化为文本手册，无需外部语音转文字流水线；（3）教师验证协议：AI提取的手册须经教师逐条审查、核实并批准后方可作为检索来源，从结构上阻断错误传播；（4）检索增强生成（RAG）双层安全设计：通过NotebookLM从唯一来源（教师验证手册）检索信息，从来源端限制输出范围，同时通过系统提示词严格约束——检索提示词（≤50词）要求严格基于来源材料简洁回答，信息不足时拒答并建议咨询主管；指导提示词（不限长度）允许生成详细程序性指导、风险提醒和注意事项，但同样限定在来源材料范围内；（5）多维度评估方法：采用sentence-BERT（SBERT）模型（paraphrase-multilingual-MiniLM-L12-v2）计算语义相似度，Wilcoxon符号秩检验进行组间比较；四位有Rigaku粉末X射线衍射仪（如MiniFlex600、MultiFlex）操作经验的独立教师按四点李克特量表对安全性、实用性、完整性三维度进行评分。样本来源为单一学生、单一实验室的学生录制视频数据。
四、研究结果分述
3.1 隐性知识数字化与教师主导的安全脚手架搭建
通过Gemini 3.0 Pro的原生多模态分析，系统成功从第一人称视角视频中言语化表达了谷歌日历预约、实验记录本填写、样品压平与放置方法等现场规则。这些元素构成了“实验最后一公里”，系统将其弥合为显性知识，提出了区别于既往工作垂直进化的价值轴——即AI作为广泛助手的水平扩展。但AI生成的初稿存在GIGO风险，教师验证作为强制守门人环节，补充了防止事故的关键安全程序——包括冷水机启动的严格顺序与强制30秒等待（防热冲击）、样品设置的清洁检查与弹簧固定（防错位/污染）、测量启动升级为“强制禁止离开”（检测初始操作错误）、关机增加X射线停止后3分钟冷却维护（保护X射线管）。这些修订表明人类专业知识将AI输出提升至“特定场地知识”水平，AI辅助人类在环框架有效整合了AI的全面性与人类知识，从结构上阻断了GIGO。
3.2 统计可靠性与安全行为率
系统在105项压力测试中表现出统计显著的可靠性提升和较高的安全行为率。针对手册内查询，RAG增强系统的SBERT语义相似度显著优于基线LLM，且该优势在按主题聚合后依然成立，排除了将改写查询视为独立观测的伪重复效应。跨86项超范围和对抗性查询，系统在96.5%的案例中产生安全响应（拒答或异常警告），未生成任何操作程序。3例检索错配失败中，系统检索并引用了无关手册程序而非发出异常警告。全部105项压力测试中未生成任何幻觉内容、未授权程序或危险操作；系统输出严格限制于已验证手册。该结果支持“压力测试中未发生关键物理安全失败”的论断，但不足以表明系统的意图检测与异常分类机制完全可靠——这一区分对未来架构改进（特别是检索前意图门控和Pattern B/C边界案例的显式消歧）具有重要指导意义。
3.3 专家验证
系统在完整流水线上保持可追溯性：第一人称视频经多模态结构化和RAG处理，最终到达特定场地指导或安全拒绝/升级路径。高风险的对抗性查询在双层安全设计的决策门处被拦截。四位独立专家评估者从安全性（4.0/4）、完整性（3.75/4）和实用性（3.5/4）三个维度对生成的咨询报告进行评分。安全性得分最高，反映了系统主动避免物理危险或误导性指令的能力；完整性得分表明报告包含自足的程序性步骤和特定场地步骤；实用性得分相对中等，提示未来可在不放松安全约束的前提下，通过更丰富的上下文指导或交互式后续增强实际可操作性。
五、讨论与结论总结
在讨论部分，研究人员指出，自驱动实验室和多智能体AI科学家追求的是垂直演进——通过机器人平台和AR头显等高端基础设施深化研究吞吐量。本研究则开辟了一个正交轴——水平扩展——即单台视频即可降低AI支持实验室实践的门槛。前沿SDLs回答“研究什么”和“如何研究”的问题，本框架则回答在目前大多数实验室中“如何安全地执行实验”的问题——两种方法互补而非竞争。研究人员将仅需单台相机构建的低成本实验室知识数字孪生称为“节俭孪生”（Frugal Twin），不同于SDLs构建昂贵的物理孪生以强制机械一致性，“节俭孪生”捕捉的是可重复性的人类维度——体化判断、时机和本地规则，这些因素在未记录时会损害数据质量。在无法实现全自动化的多数教学实验室中，结构化并共享这些技能提供了减少人为变异的即时可部署途径。
人机协同定位方面，本框架重新概念化了人类角色：在AI辅助人类在环立场下，人类是主动监督者，验证并升级AI输出，而非自动化的目标。由于知识库源自学生输入，天生存在GIGO脆弱性，验证步骤作为教学脚手架拦截误解——强制冷水机待机、禁止无人看管测量、限制清洁程序——在错误传播到下游检索或生成之前予以阻断。系统将不确定情况下的拒答和将用户引导至教师本身视为一种复杂的安全原则——设计成功而非能力缺陷。虽然存在3.5%的检索错配率，但这些案例均不涉及物理危险——这是双层安全设计（RAG+提示词约束）的直接结果，该设计在提示词层面禁止无依据的安全关键推断。检索错误因此降低的是实用性（信息性）而非安全性。在96.5%的安全响应率和零关键安全故障的实测数据面前，该架构明确按设计实现故障安全。
安全性-实用性权衡被视为设计合理的证据，专家评估确认了结构化知识的可靠性和实用性。研究还指出系统以日语运行是对安全的重要实际考量，因为安全实验室沟通依赖于最小化误解和认知负荷；同时文本中心方法从本质上满足了聋哑或听力障碍学生在实验台上的沟通和信息保障需求。框架本身不限于日语，通过集成语言无关模型与全面的视觉-文本脚手架，可无缝适配国际化和包容性实验室环境。
研究结论指出：本研究提出了一个人类在环AI框架，用于从第一人称实验视频中数字化实验室操作诀窍，并通过RAG提供有依据的支持，以弥合实验最后一公里。以XRD操作为案例，系统能够捕获和复用特定场地程序性知识，并在手册覆盖的问题范围内提供与教师预期一致的回答；对手册之外的问题，系统拒绝回答而非生成无依据内容。本工作的意义不在于取代自动化驱动方法，而在于补充它们——支持仍进行着大多数学术研究的人类主导实验室，其中人类作为主动监督者验证并升级AI输出。通过结合多模态知识捕获、受约束的基于检索的生成和明确的人类监督，该框架提供了在保持安全的同时减轻培训负担的实用方法。这一用于本地知识转移的AI辅助人类在环框架，为在尚未实现全自动化的实验室中实现更一致、更注重安全的人类主导实验可重复性支持，迈出了现实的一步。
