编辑推荐:
这篇文章通过国际在线德尔菲研究,制定了医学研究中生成式人工智能(GAI)工具使用的报告指南(GAMER)。其涵盖九项报告内容,能确保研究透明、规范,提升医学研究的可信度与质量,对医学研究意义重大。
引言
近年来,生成式人工智能(Generative Artificial Intelligence,GAI)工具发展迅猛,随着 Chat Generative Pre-trained Transformers(ChatGPT)3.5 在 2022 年底发布,这类工具在公众中广泛流行,在医学领域也展现出巨大应用潜力。GAI 是基于大量多模态数据集训练,能生成新内容和想法的人工智能,可辅助医学实践和研究,如辅助撰写论文、生成研究代码、数据分析等。
然而,GAI 在医学研究中的应用面临诸多挑战。首先,其生成内容的真实性和可靠性存疑,可能导致学术欺诈。其次,存在数据隐私泄露和伦理问题。再者,训练数据质量会影响工具输出。目前虽有一些人工智能相关报告指南,但针对 GAI 工具的专门指南缺失,现有指南存在不统一、适用范围窄等问题。因此,开发 GAI 工具在医学研究中的报告指南迫在眉睫。
方法
研究团队遵循增强健康研究质量和透明度(Enhancing the QUAlity and Transparency Of health Research,EQUATOR)网络推荐的方法,组建国际多学科专家小组开发 GAMER 报告指南。
专家招募通过检索 PubMed 数据库,确定 200 名相关专家,并借助合作关系和滚雪球抽样法邀请,确保专家的多样性。通过检索已发布的人工智能相关报告指南、期刊和出版商网站的 GAI 工具使用指南、对文献进行范围综述以及参考咨询委员会推荐的文献,生成初始项目池。
采用德尔菲调查法,计划进行一到两轮,根据专家评分决定项目的去留。利用 SurveyMonkey 平台开展调查,参与者对项目按 1 - 7 分评分。调查结束后,通过 Doodle 安排在线会议,使用 Zoom 进行讨论并记录,未参会专家可通过视频记录和反馈表提供意见。最后,核心小组根据专家意见修改完善,形成最终的 GAMER 清单,并经专家批准。
结果
共有来自 26 个国家或地区的 44 名专家参与德尔菲调查,专家来自多个领域。第一轮调查 7 个项目均符合预设标准,但 “声明谁对 GAI 使用负责” 这一项目因被认为冗余而删除。调查中还收到许多新建议和新项目,部分进入第二轮调查并达成共识。
经过两轮德尔菲调查、两次在线会议以及核心团队的反复修订优化,最终确定的 GAMER 清单包含九项报告内容:
- 一般声明:明确研究或论文中是否使用 GAI 工具,若未使用则无需填写后续项目。若使用,需报告使用细节,如使用 ChatGPT 和 PaperPal 纠正排版和语法错误。
- GAI 工具规格:披露工具名称、版本、发布日期、使用时间,以及是否使用前端界面或应用程序编程接口(API),还有相关设置,例如使用 GPT - 4(OpenAI),并注明版本日期等信息。
- 提示技术:描述是否使用特定提示技术,保留对话记录有助于他人理解和复制研究过程,如提供最终提示内容或展示示例问题及对应回答。
- 新 GAI 模型声明:若基于现有模型开发或微调新工具,需报告原始模型信息,如基于 LLaMA - 65B 开发模型。
- GAI 工具在研究中的作用:阐述工具在研究各阶段(包括撰写论文)的具体作用,如用于语言润色、数据分析等。
- AI 辅助的手稿部分:指出工具应用于手稿的具体段落或章节,若仅用于语言编辑可不列出具体部分,若用于研究设计等则需详细报告。
- 内容验证:说明如何验证和修改 GAI 生成的内容,若未验证需说明原因,如人工校对、与官方答案对比等。
- 数据隐私:介绍使用 GAI 工具时保护数据隐私和机密性的措施,如数据匿名化处理。
- 对结论的影响:阐述工具使用对结果解释、研究准确性或结论的影响,确保生成内容准确且作者对使用后果负责。
讨论
GAMER 声明是国际专家共识的成果,其开发过程严谨,有望被广泛采用,促进 GAI 工具使用的透明报告,提升医学研究的完整性和质量。
GAMER 清单不仅适用于手稿撰写阶段,还涵盖研究设计、数据收集和分析等阶段,有助于确保研究过程透明、可重复。该清单可辅助作者、审稿人和读者评估 GAI 工具使用的合理性和透明度,且适用于各类医学研究。
在开发过程中,专家小组对清单内容进行了多次讨论和调整。因学术出版原则,删除 “报告谁对 GAI 使用负责” 这一项目;将 “报告 GAI 工具使用日期” 整合到 “GAI 工具规格” 项目中。在术语选择上,采用 “GAI 工具” 这一宽泛表述,以适应领域发展。同时,对于各项目的报告位置,建议多在方法部分,但不做强制要求。
研究也存在一定局限性。专家小组中女性比例仅 15%,可能与招募策略有关,未来需改善性别平衡。制作清单过程未纳入患者代表,后续更新可考虑纳入,以促进更广泛的利益相关者参与。
GAMER 报告指南发布后,推广和传播至关重要。将通过线上平台、学术会议传播,邀请专家翻译,与期刊编辑合作,创建专门网站等方式,提高其全球认知度和实施率。还将成立长期协调小组,定期评估清单实用性,根据人工智能技术发展决定是否修订。
结论
GAMER 报告指南通过全面、结构化的共识过程制定,能提升涉及 GAI 工具的医学研究的透明度和严谨性。在 GAI 工具研究日益增多的背景下,该指南填补了现有报告实践的空白,有助于提高医学研究质量,期待其在医学领域广泛应用,进一步增强基于 GAI 的研究的可信度和规范性。