利用大语言模型工具促进DANDI档案库开放神经生理学数据分析的新策略

《Scientific Data》：Facilitating analysis of open neurophysiology data on the DANDI Archive using large language model tools

【编辑推荐】为解决DANDI档案库中400+神经生理学数据集利用率低的难题，研究人员开发了AI驱动的智能聊天助手和自动化笔记本生成管道。该系统通过LLM工具实现NWB格式数据的交互式探索，生成的指导性Python笔记本经专家评审显示大多数"非常有帮助"。这项发表于《Scientific Data》的研究为降低神经科学数据复用门槛提供了创新范式。

　　

在神经科学蓬勃发展的今天，海量的神经生理学数据如潮水般涌现。自2020年上线以来，DANDI档案库已成为开放神经生理学数据的核心资源库，收录了超过400个采用Neurodata Without Borders（NWB）标准的数据集，总容量超过350TB。这些数据集涵盖20多个物种，包含细胞内和细胞外电生理记录、钙成像、纤维光度测定以及各种行为测量数据，为记忆导航、感觉处理、运动控制等前沿研究提供了宝贵资源。

然而，这些宝贵数据的利用率却远未达到预期。尽管NWB标准为数据表示提供了通用语言，但许多研究人员在复用这些公共数据集时仍面临重重障碍：需要学习新的数据访问方法、难以快速识别相关内容、对数据质量存在疑虑。现有的探索工具如Neurosift虽然支持交互式数据可视化，但其基于TypeScript/JavaScript的实现限制了大多数神经科学家的使用，且通用型可视化插件无法满足特定科学研究需求。虽然DANDI团队维护着示例笔记本库，但仅覆盖少量数据集，难以满足日益增长的数据探索需求。

面对这一挑战，由Jeremy F. Magland领衔的研究团队在《Scientific Data》上发表了一项创新研究，提出利用大语言模型（LLM）工具来降低DANDI档案库数据复用门槛的新方法。研究人员开发了一套AI驱动系统，包含交互式智能聊天界面和自动化笔记本生成管道，通过结合LLM驱动的自动化与轻量级人工监督，有效解决了神经科学数据探索中的技术壁垒。

关键技术方法方面，研究团队采用双模型策略：使用OpenAI的GPT-4.1进行数据探索阶段，利用其可靠的工具调用能力和适度的分析深度；选择Anthropic的Claude Sonnet 4负责笔记本生成，看重其强大的科学推理和结构化输出能力。系统通过定制化的get_nwbfile_info工具从DANDI档案库流式传输NWB文件并提取详细内容信息，在沙盒环境中执行Python代码并实现实时错误修正循环。评估环节选取12个最新发布的dandiset，邀请13名独立评审员从准确性、实用性和清晰度等维度对生成笔记本进行结构化评估。

智能聊天界面实现交互式数据探索

Dandiset Explorer作为交互式聊天界面，允许用户使用自然语言探索特定dandiset。聊天代理配备了查询DANDI API以获取数据集级元数据的工具，并能列出给定数据集包含的NWB文件。借助NWB文件的标准化结构，代理可以检索每个文件的结构化摘要，包括存在的神经数据类型和相关元数据。它还能检索单个NWB文件的Python使用文档，描述如何以编程方式访问这些对象。代理在沙盒环境中执行Python脚本，使其能够直接从远程NWB文件流式传输数据，并根据用户问题生成文本和视觉输出。

聊天界面设计充分考虑了用户引导，界面顶部的消息引导用户阅读PyNWB文档和入门教程，避免用户盲目信任助手输出而忽视NWB基础知识的学习。这种设计平衡了AI辅助的便利性与必要的专业知识获取，确保研究人员在使用工具的同时能够建立对数据标准的正确理解。

自动化笔记本生成流程优化数据探索

笔记本生成过程采用两阶段方法，在自动化和人工监督之间取得灵活平衡。流程从提供给聊天界面的初始提示开始，该系统将进行结构化探索，收集生成入门分析笔记本所需的信息。助手逐步进行探索，在每个操作后暂停等待用户输入。如果用户回复"继续"，助手则自主继续；否则，用户可以在任何节点介入进行纠正或指导。

在探索过程中，助手枚举NWB文件、检查其结构并总结存在的数据类型。代理生成并执行代码以创建说明关键内容的可视化。如果执行引发异常，生成的错误消息将返回给LLM，相应修改代码。这个过程可以重复多次，为代理提供多次尝试以创建功能正常的代码。系统设计允许人工监督解决数据不一致或模糊元数据等问题。该过程持续进行，直到助手确定已收集足够的信息用于笔记本生成。

探索阶段之后，另一个LLM代理负责基于累积的交互历史生成完整的Jupyter笔记本。LLM遵循结构化指导生成Jupytext格式的Python脚本，然后转换为标准的.ipynb笔记本文件。笔记本以标题、dandiset简要概述和提醒用户批判性评估AI生成内容的免责声明开始。随后的章节引导用户通过DANDI Python API访问数据集，使用可视化示例数据探索其NWB文件。

多数据集验证显示技术实用性

研究团队将系统应用于12个最新发布的dandiset，涵盖多种物种、模态和实验设计，包括001349、001354、001433等数据集。这些已发布的dandiset是不可变的，与草稿版本不同，因此代表了笔记本生成的稳定目标。每个数据集都使用完整流程处理：通过聊天界面启动结构化探索、生成笔记本，并通过迭代错误校正执行结果。

人工干预分析发现，12个dandiset中有8个需要用户干预以纠正错误或指导助手。常见问题包括数据结构误解，如时间戳字段的错误处理；无效或误导性可视化，包括空白图像、稀疏栅格图或未对齐的感兴趣区域（ROI）；以及性能问题，如数据访问效率低下或代码运行过慢。例如，对于Dandiset 001433，助手误解了事件时间数据集，导致不正确的可视化。对于Dandiset 000617，助手多次尝试对齐ROI与背景图像失败，用户最终建议放弃该方法。四个dandiset在没有干预的情况下进行，表明该过程在某些情况下可以自主运行。

笔记本质量评估获得积极反馈

生成的笔记本由四名具有数据科学和神经生理学背景的专家评审员和九名具有不同NWB和DANDI经验的评审员进行独立评估。评审员完成结构化问卷调查，评估笔记本的正确性、实用性和清晰度。评审员发现笔记本在大多数标准上至少是中等有效的。评审员普遍报告在访问数据、处理NWB文件和解释可视化方面取得成功。与示例探索的冗余报告非常少，表示与使用Neurosift独立观察的结果基本准确。

"整体帮助度"评级分析显示，笔记本可被评为"无帮助"、"中等帮助"或"非常有帮助"。大多数笔记本获得了"中等帮助"和"非常有帮助"的混合评级，只有一个dandiset（000690）收到任何"无帮助"的回应。值得注意的是，具有不同NWB和DANDI经验的评审员给出了相似的评级，表明笔记本对各种研究人员具有广泛的可访问性和实用性。

经济成本分析显示，笔记本生成的探索和生成阶段API成本可控。使用GPT-4.1的聊天会话成本从0.37美元到1.84美元不等（中位数1.03美元），而使用Claude Sonnet 4的笔记本生成成本从0.09美元到0.46美元（中位数0.17美元）。每个笔记本的平均总成本为1.15美元，表明该方法是经济可行的。

研究结论强调AI辅助数据探索的变革潜力

这项研究展示了AI驱动系统如何通过结合对话式LLM代理与自动化笔记本生成管道，降低分析DANDI档案库公共神经生理学数据集的门槛。人类对笔记本的评审表明，该方法可以有效且有帮助。虽然挑战仍然存在，但这项工作说明了LLM如何与NWB等强大数据标准结合，可以支持更易访问、可扩展和可重复使用的开放科学数据。

研究区分了系统支持的两种用户交互模式。首先，AI生成的笔记本旨在作为预构建的精选资源，帮助用户开始使用dandiset。这些笔记本在结构化探索阶段后生成，专家评审员在此期间检查并纠正AI分析中出现的问题。其次，聊天界面允许最终用户与任何数据集进行实时交互探索，无需专家监督。虽然这种模式提供了灵活的、用户驱动的探索，但它也带有自动化系统的典型风险，输出应视为临时性的。

通过降低使用开放神经生理学数据集的技术和概念障碍，这些工具有可能促进数据生成者和数据分析师之间新形式的合作。当重用变得更容易和更可见时，实验数据集更有可能作为二次分析和衍生出版物的基础，这些出版物包括或认可数据生成者。这反过来为研究人员采用NWB等标准化格式并将其数据存入公共档案库创造了更强的激励。

研究团队指出，虽然系统在很大程度上是自主的，但在笔记本生成的探索阶段进行最小限度的人工监督对于保持质量至关重要。干预仅限于明显的问题，如损坏的可视化、错误读取的数据结构或有缺陷的分析，而不是全程指导过程。这些轻量级校正有助于避免误导性输出，特别是在数据集特定特性（如缺失单元、未对齐的ROI）需要专家判断时。监督通常是高效且不引人注目的，但扩展到完整的400多个dandiset可能需要新策略。

局限性方面，系统的有效性受到LLM当前能力的固有限制。虽然这些模型可以生成语法正确且通常有用的代码和评论，但它们对科学细微差别的掌握有限且偶尔不一致。因此，一些生成的笔记本可能具有肤浅的分析、忽略相关方法学考虑，或提供听起来合理但未经严格支持的解释。笔记本生成器针对可在适度计算预算内探索的数据集进行了优化。许多dandiset包含大型或复杂数据文件，超出了自动处理的实用范围。此外，LLM生成的代码在知识产权和许可方面提出了未解决的问题。

未来改进方向包括继续推进LLM能力，特别是在科学推理、工具使用和上下文理解方面。评审员的反馈突出了诸如更清晰的科学框架、更好的可视化选择和更细致的数据集结构解释等领域。提示设计和元数据集成在本项目过程中已经发展，持续调整有可能提供增量收益。然而，最大的进展预计将随着模型变得更可靠并与科学任务更好对齐而实现。

这项研究为科学数据共享和重用提供了新范式，通过结合先进AI技术与标准化数据格式，为更开放、协作和高效的科学研究生态系统奠定了基础。随着LLM技术的不断进步和科学数据标准的进一步完善，这种AI辅助数据探索方法有望在神经科学及其他科学领域发挥越来越重要的作用。