AIDE：端到端自动化科学人工智能数据整理框架及其性能验证

《Nature Communications》：Agentic intelligent data engine for scientific large language models

　　

摘要

人工智能正在重塑各个领域的科学发现。然而，科学人工智能仍受到数据整理工作的限制，这需要大量的手动劳动和深厚的领域专业知识，从而带来了严重的成本和可扩展性问题。在这里，我们提出了“Agentic Intelligent Data Engine”（AIDE），这是一个多智能体框架，能够自动化科学人工智能的数据整理过程。AIDE通过三个阶段来收集、选择和组织数据，形成一个端到端的流程，将数据请求转化为可用于训练的数据集。我们在生物医学和化学领域的14项任务中对AIDE进行了测试。使用AIDE整理的数据集构建的科学人工智能模型，其性能与使用手动整理的数据集构建的模型相当或更优。此外，AIDE的完全自动化数据准备过程在提高效率和对数据的利用率方面取得了显著成效，同时没有牺牲数据质量。这些发现一致证明了AIDE在各个科学领域和使用范式中的适用性，并展示了其加速科学人工智能发展以及普及科学人工智能应用的潜力。