《Behavior Therapy》:Performance Accuracy of ChatGPT for Data Extraction in Randomised Controlled Trials of Transdiagnostic Mental Health Apps: Proof of Concept Feasibility Study
编辑推荐:
对数字心理健康干预的热情正在增长,每年评估其有效性的试验数量迅速增加。综合这一不断扩大的证据基础将需要大量时间和资源。大型语言模型(LLMs)可能通过自动化关键任务(如数据提取)来简化这一过程。然而,它们在数字心理健康试验中提取数据的准确性仍不清楚。本研究提供
对数字心理健康干预的热情正在增长,每年评估其有效性的试验数量迅速增加。综合这一不断扩大的证据基础将需要大量时间和资源。大型语言模型(LLMs)可能通过自动化关键任务(如数据提取)来简化这一过程。然而,它们在数字心理健康试验中提取数据的准确性仍不清楚。本研究提供了对ChatGPT从数字心理健康应用程序试验中提取数据的评估,检验了准确性、错误模式,并提供了实际应用意义。纳入了来自先前一项荟萃分析的19项研究。研究人员开发了指示ChatGPT-4o和ChatGPT-5从研究PDF中提取15个数据项的提示,并在三项研究上进行了测试,然后应用于剩余的16项。将模型输出与人工提取的数据进行比较以确定准确性。ChatGPT-4o和5表现相似,分别准确提取了83%和85%的数据。两个模型均以100%的准确性提取了若干数据项(即作者、纳入标准、年龄、应用程序名称、认知行为疗法(CBT)焦点、结果测量工具)。分析样本量产生的准确性最低(56-62%)。最常见的错误类型是ChatGPT与人工评审员之间对信息的解释差异,特别是在需要专家判断的项目上(例如,指导的提供)。研究结果表明,ChatGPT可能有助于提取数字心理健康试验中常规报告的简单信息,但仔细的人工监督仍然必要。讨论了关键挑战和未来工作方向,包括提示优化、改进报告标准以及开发结构化评估流程。
**论文解读:ChatGPT在跨诊断心理健康应用程序随机对照试验中数据提取的性能准确性——概念验证可行性研究**
**研究背景与问题**
系统综述和荟萃分析是循证实践的核心,但传统方法耗时且资源密集,通常需要一年以上。随着数字心理健康领域随机对照试验(RCTs)数量呈指数级增长,亟需更高效的证据合成方法。大型语言模型(LLMs)如ChatGPT,通过自动化数据提取等任务有望解决这一瓶颈,但其在数字心理健康试验中的准确性尚未被评估。数字心理健康试验因干预措施设计多样、结局指标异质性高,给数据提取带来额外挑战。此外,现有评估多基于早期模型(如ChatGPT-3/4),缺乏对最新版本(如ChatGPT-5)的独立基准测试。因此,本研究旨在进行概念验证,评估ChatGPT-4o和ChatGPT-5在跨诊断心理健康应用程序RCTs中数据提取的可行性,比较新旧模型性能,识别错误模式,并为未来应用提供实践指导。论文发表在《Behavior Therapy》。
**关键技术方法**
研究人员从先前的荟萃分析(Linardon, Anderson等,2025)中纳入19项RCTs,这些试验评估了针对抑郁和焦虑的跨诊断应用程序,样本队列来源为Deakin大学心理学系。使用ChatGPT-4o和ChatGPT-5的付费版本(ChatGPT Plus),通过迭代提示工程开发指令,包括角色提示和具体步骤,要求模型从研究PDF中提取15个数据项(如作者、纳入标准、年龄、应用程序名称、认知行为疗法焦点、指导提供、自动反馈、情绪监测、对照组类型、结局指标及测量工具、干预组和对照组的均值、标准差及样本量)。在随机选取的3项研究上测试优化提示后,应用于剩余16项。将模型输出与人工编码的参考标准比较,计算总体和项目级准确率,使用Wilcoxon符号秩检验比较模型差异,并分类错误类型(遗漏、解释差异、错误组别或时间点、错误计算、幻觉、模糊情况)。
**研究结果**
**总体与项目级准确率**:通过比较16项测试研究中ChatGPT-4o和ChatGPT-5的输出与人工参考标准,两种模型总体准确率分别为83%和85%,差异无统计学意义(W=13.5, p=1.000, rr
b=-0.04)。简单项目(作者、纳入标准、年龄、应用程序名称、CBT焦点、测量工具)均达到100%准确率;分析样本量准确率最低(ChatGPT-4o 56%,ChatGPT-5 62%);干预组和对照组的均值与标准差提取中,ChatGPT-4o为56%,ChatGPT-5提升至75%。
**错误类型与原因**:ChatGPT-4o共产生40个错误(17%),ChatGPT-5产生37个错误(15%)。最常见错误为解释差异(ChatGPT-4o 25%,ChatGPT-5 35%),例如模型将每周进度报告视为应用内反馈,而人工评审员因未提供个性化推荐而不予认可;模型将研究助理的日常提醒视为指导,而人工评审员认为缺乏治疗性支持。其次为错误组别或时间点(24-30%),如提取随机样本量而非完成者样本量,或提取随访数据而非干预后数据。遗漏(11-13%)和错误计算(ChatGPT-4o 20%,ChatGPT-5 11%)也较常见。幻觉发生率较低但ChatGPT-5更高(11% vs 5%),且所有幻觉值集中在一篇论文中,但数值看似合理。模糊情况占8%。
**讨论与结论**
研究表明,ChatGPT-4o和5在简单、清晰报告的项目上表现可靠,但复杂项目(如需要多步推理的样本量计算、依赖专家判断的干预特征分类)准确率显著下降,且模型版本更新未带来实质性提升。错误主因包括提示设计不足、数据报告不完整或模糊、以及模型对信息的主观解释与人工不一致。研究人员强调,当前LLM尚不能完全替代人工,但可辅助提取简单信息或作为二次评审员标记差异。未来需优化提示策略(如链式思维提示)、改进报告标准、开发结构化评估管线以持续基准测试性能。研究结论翻译:当前研究结果突出了使用ChatGPT对数字心理健康试验的系统综述进行半自动化数据提取的潜力。研究结果表明,ChatGPT-4o和ChatGPT-5显示出自动化提取简单、清晰报告信息的潜力。然而,人工专业知识仍然不可或缺,特别是对于复杂或含糊报告的项目,这些项目需要细致的解释和情境理解。研究结果还强调了设计有效提取所需信息的提示的挑战,强调了持续评估和优化LLMs在此背景下性能的必要性。