《Advanced Science》：Closing the Empirical Loop: Autonomous AI Agents Conduct End-to-end Research With Human Participants
编辑推荐：
人工智能系统正在通过加速特定研究任务来变革科学发现，从蛋白质结构预测到材料设计，但这些系统仍局限于需要大量人类监督的狭窄领域。科学文献的指数级增长和日益增加的领域专业化限制了研究人员跨学科综合知识和开发统一理论的能力，这激发了对面向科学的通用人工智能系统的
人工智能系统正在通过加速特定研究任务来变革科学发现，从蛋白质结构预测到材料设计，但这些系统仍局限于需要大量人类监督的狭窄领域。科学文献的指数级增长和日益增加的领域专业化限制了研究人员跨学科综合知识和开发统一理论的能力，这激发了对面向科学的通用人工智能系统的探索。本文中，研究人员展示了一个领域无关的、智能体化（Agentic）的AI科学家系统，能够独立驾驭从假设生成到数据收集再到稿件准备的完整科学工作流程。该系统自主设计并执行了三项心理学研究，涵盖视觉工作记忆（Visual Working Memory，VWM）、心理旋转（Mental Rotation）和意象生动性（Imagery Vividness），通过在线数据收集获取了288名参与者的数据，通过超过8小时的持续编码会话开发了分析流程，并生成了完整的稿件。结果表明，AI科学发现流程具备以与经验丰富的研究人员相当的理论推理和方法严谨性开展研究的能力，但在概念细微差别和理论解释方面存在局限。这是向能够在真实世界实验中测试假设的具身AI（Embodied AI）迈出的一步，通过自主探索人类认知和资源限制可能无法触及的科学空间来加速发现。这同时引发了关于科学理解的本质和科学贡献归属的重要问题。
**论文解读**
**一、研究背景与问题**
科学发现作为推动技术进步和社会发展的核心动力，本质上依赖于提出可检验的猜想并接受经验证据的严格检验。然而，科学研究正面临严峻的人类认知局限。据统计，自2022年以来，科学文献以每年超过280万篇的速度持续增长（年增长率约5.6%），而个体研究人员通常每年仅能阅读约200至300篇文章，这意味着对学科文献的全面覆盖和掌握在实践上已几乎不可能实现。假设生成日益局限于由专业训练所界定的狭窄概念空间，实验设计也因跨学科方法学视野的不足而存在缺陷，制约了科学家发展超越学科边界的统一解释框架的能力。尽管以AlphaFold为代表的专用AI系统在蛋白质结构预测等特定领域取得了显著突破，但这些系统仍局限于狭窄科学领域，需要大量人类专业知识和显式编程。在此背景下，开发能够增强甚至扩展人类研究能力的通用型AI科学发现系统成为迫切需求。
**二、研究概述**
这篇发表在《Advanced Science》的研究中，研究人员构建了一个端到端的自主科学发现系统。该系统整合了从假设生成、实验设计、实证实施、数据分析、结果解释、理论修正、可视化到稿件撰写的完整科学工作流程。为验证系统能力，研究选定认知科学作为验证领域，令系统独立完成三项心理学研究，分别探究：（研究1）视觉工作记忆（VWM）精度与心理旋转（Mental Rotation）表现的共享表征约束；（研究2）意象生动性（Imagery Vividness）是否影响先前刺激对当前知觉和记忆的偏差效应（序列依赖性，Serial Dependence）；（研究3）VWM精度能否预测更广泛的空间推理能力。系统通过Prolific平台在线收集了288名参与者的数据，在平均约17小时运行时间内（不包括数据收集），以约114美元的平均边际成本完成了每项研究，自主生成约7696行代码、经历平均72个行动-观察周期，最终产出了三篇完整的学术稿件。据研究人员所知，这是首次展示完全自主的、端到端的涉及人类参与者的实验研究，标志着AI从纯计算模拟向真实世界经验验证迈出的关键一步。
**三、关键技术方法**
系统的核心技术架构包括：（1）分层多智能体架构（Hierarchical Multi-Agent Architecture），由一个顶层总协调智能体（Master Agent）统筹全局，下设方法智能体、数据分析智能体、可视化智能体等多个二级协调智能体及编程、审查、排错等专长智能体；（2）四种源自心理科学的认知操作算子——抽象（Abstraction，从具体实例中识别一般模式）、元认知（Metacognition，对思维过程的自我监控与调节）、分解（Decomposition，将复杂问题拆分为可管理子任务）和自主性（Autonomy，目标导向的自主决策），作为人类执行功能的计算类比；（3）动态检索增强生成系统（Dynamic Retrieval-Augmented Generation，d-RAG），通过Semantic Scholar、OpenAlex、PubMed等学术数据库API实现多层级文献检索，模拟人类工作记忆和认知卸载机制；（4）混合智能体策略（Mixture of Agents，MoA），整合Claude 4 Sonnet、OpenAI o3-mini及o1、Grok-3、Pixtral Large和Gemini 2.5 Pro等多种前沿大语言模型（LLMs）的互补优势。研究样本通过Prolific平台招募，共288名在线参与者，最终277名参与者提供了有效数据。
**四、研究结果**
**系统性能。** 系统在每项研究中平均运行16小时54分钟（不包括数据收集），超过50个智能体在不同阶段协同工作，平均消耗3253万token。数据分析智能体成功实现了混合效应模型（Mixed-effects Models）和多层建模，处理了279个异构原始数据CSV文件，展示了持续超过8小时（均值8小时32分钟）的自主编码和目标导向行为。每篇稿件约7000至8000词，包含40至50篇经验证的参考文献。
**人类专家评估的积极方面。** 三位人类科学家对AI生成稿件进行了结构化评审，识别出以下优势：科学写作清晰流畅，严格遵循学科规范；研究问题具有创造性和理论动机（如研究2探究意象生动性与序列依赖性的关联）；数据筛选和信度检查全面严谨，研究1应用了分半信度分析（Split-half Reliability）；文献整合充分且与理论框架紧密联系；统计方法先进且适当，包括混合效应模型和Benjamini-Hochberg错误发现率（False Discovery Rate）校正。
**人类专家评估的消极方面。** 评审也揭示了若干不足：理论模型偶有误述和过度延伸（如研究3将一个VWM框架不恰当地扩展至无关的视空间任务）；方法学声明存在不一致（如研究2广泛讨论了测量信度但未像研究1那样进行显式检验）；统计报告存在遗漏（研究1未讨论表1和图5中VWM总误差与VVIQ2之间的显著关系；研究2将完全共线的零交叉参数和宽度参数视为独立变量）；图表呈现存在技术性问题（坐标轴标签缺失、布局瑕疵）；部分内容存在内部矛盾。
**整体评估。** 系统在严谨性和全面性方面表现尤为突出，在面临统计显著性但效应量较小时优先考虑实际显著性（Practical Significance）而非仅依赖统计显著性，这一做法值得肯定。然而，系统在驾驭涉及微妙理论区别的抽象、多条件概念时，偶尔表现出概念细微差别把握不足——这些弱点在人类撰写的稿件中也同样常见。
**可重复性。** 对其中一项研究进行了五次额外重复运行，结果显示各次迭代在分析设计和解释焦点上尽管存在差异，但所有运行均得出了一致的广泛结论，表明系统输出具有可接受的可重复性。
**五、讨论与总结**
该系统在效率、严谨性、复杂性和适应性方面展现出显著能力。与人类研究团队所需数周至数月相比，系统在数小时内完成了完整研究项目，且倾向于保守的方法选择、适当的统计功效和透明的局限性报告。其分析决策的完整记录和原始数据的开放性有助于应对科学文献中广泛存在的可重复性危机。然而，系统也存在若干局限：实验实施受限于已获伦理批准的在线认知心理学范式；数据可视化偶尔存在图形瑕疵；早期阶段的准确性敏感性构成潜在的单点故障模式（可能反映LLMs的"锚定"偏差）；系统产生的假设本质上仍是当前人类知识的混合体。
未来方向包括将系统扩展至医学、环境科学等领域，与物理实验室自动化和机器人技术集成，以及推进面向"通用人工智能科学"（Artificial General Science，AGS）的认知推理框架。在社会和伦理层面，自主科学系统有可能通过降低资源壁垒来民主化高质量研究能力，但也引发了关于科学贡献归属、研究成果问责、以及对同行评议系统潜在冲击等重要问题。
研究人员最终总结：本文展示了一个AI科学发现系统，证明经人类启发认知算子增强并具备物理交互能力的前沿LLMs能够独立执行端到端研究。在约17小时系统运行时间内，在极少人类监督下，该系统构思、运行、分析并生成了涉及288名人类参与者的在线心理学实验的完整稿件，并在三项独立研究中复现了这一能力。据研究人员所知，这是首次展示完全自主的、端到端的涉及人类参与者的实验研究。虽然系统在创造性理论发展和实验范围扩展方面仍有改进空间，但其表现标志着AI通过结构化科学探究积极参与自然世界实证研究的重要进步。人工系统生成知识所带来的认识论意义，需要重新审视传统的科学理解框架，而随着其能力的进一步发展，对科学诚信、安全性和包容性的深入思考同样不可或缺。
