《Journal of Surgical Education》：Testing the Implementation and Acceptance of Generative Artificial Intelligence to Augment Vascular Surgery Journal Club
编辑推荐：
本研究评估生成式人工智能（如ChatGPT 4o）在血管外科期刊俱乐部中的教育效果，发现96%参与者认可其摘要的准确性但36%认为信息遗漏，76%认可问答质量，92%认为其有益。结果与医学阶段相关（p<0.001），建议作为辅助工具。
雷亚·普图马纳（Rhea Puthumana）|肖恩·利布舍尔（Sean Liebscher）|米德·费里斯（Mead Ferris）|彼得·卡拉斯（Peter Callas）|丹尼尔·J·伯特格斯（Daniel J. Bertges）
佛蒙特大学健康中心血管外科与血管内治疗科，佛蒙特州伯灵顿
引言
生成式人工智能（GAI）在医学领域的应用受到了广泛关注，但尚不清楚GAI是否能够成为提升医学教育的有效工具。本研究旨在评估GAI在血管外科期刊俱乐部中的效果，并了解不同医学培训阶段参与者的态度。
研究设计
我们组织了一系列血管外科期刊俱乐部活动，并引入了商业化的大型语言模型ChatGPT 4o。参与者首先展示预先选定的论文，随后ChatGPT会对这些论文进行总结。我们对参与者和ChatGPT提出了结构化及非结构化问题，并收集实时调查数据以评估ChatGPT的准确性以及参与者的态度。调查结果通过费舍尔精确检验（Fisher’s exact test）分析比例数据，以及方差分析（analysis of variance）分析均值数据。此外，我们还评估了ChatGPT为每篇论文生成的5条替代引用语句的有效性（共9篇论文），并检查了这些引用是否存在虚假内容或与主题的相关性。
参与者
参与者包括医学生（10名）、外科住院医师和研究员（14名）以及血管外科主治医生（4名）。
研究结果
在28名参与者提供的90份调查问卷中，96%的人认为ChatGPT对每篇文章的总结是准确无误的，但36%的人认为部分信息被遗漏了。76%的人认为ChatGPT对相关问题的回答既全面又准确。总体而言，92%的人认为在总结文章和回答问题时，ChatGPT的辅助作用是有益的，前提是它应作为补充而非替代参与者的展示。ChatGPT对文章的总结准确性、其对相关问题的回答能力以及其在促进学习方面的有效性分别与参与者的类型显著相关（p=0.02、p<0.001、p=0.04）。医学生和血管外科主治医生特别指出，在传统的血管外科期刊俱乐部中引入GAI具有额外价值。在9篇测试论文引用的45条同行评审文献中，87%为经过学术验证的引用，其中97%的内容与论文相关；其余6条引用（13%）存在错误，如论文标题不存在或链接错误。ChatGPT的技术问题较为罕见。
结论
总体而言，参与者认为GAI是总结同行评审期刊文章中的关键研究成果、利用辅助资源回答相关问题以及促进各类学习者成长的有效工具。我们建议培训项目考虑在血管外科期刊俱乐部中采用GAI。
引言
生成式人工智能（GAI）是医学教育领域的一项相对较新的技术。研究表明，GAI能够促进互动学习、提供个性化反馈，并提高耗时任务的效率。1 GAI利用计算机科学原理和算法来模拟人类思维，从而形成新的知识处理和整合途径。1, 2
2022年11月，ChatGPT（一种预训练的生成式Transformer模型）问世，它通过访问互联网资源并运用先进的人工智能自然语言处理（NLP）技术来处理和生成内容。1, 3尽管聊天机器人现在被用作虚拟导师和临床辅助工具，简化临床流程并辅助决策，但它们仍可能犯错：例如生成不准确的引用、捏造事实或在整合多源信息时过度简化内容（这种现象有时被称为“幻觉”3。鉴于这些潜在问题，目前建议将聊天机器人作为辅助工具使用，而非独立的学习资源。
鉴于隐私问题和数据规范化的需求，在探索GAI在医学教育中的应用时保持警惕非常重要。主要挑战之一是确保医学教育工作者和学生在使用基于GAI的工具时接受充分的培训并具备相关意识。1近年来，医学生和培训生开始利用GAI来总结研究内容、加深对复杂医学主题的理解，并寻找定制的学习材料。2此外，GAI有助于发现并弥补知识空白，从而帮助理解复杂主题，尤其是在医学领域。
GAI在医学领域的最新应用包括为患者生成易于理解的内容、进行数据分析以及创建医学学习评估工具。
3在期刊俱乐部方面，GAI具有巨大潜力：凭借其对研究文献的广泛访问能力、对文档的解读和总结能力以及响应查询的能力，GAI可以成为虚拟的期刊俱乐部助手。
3由于目前尚未研究GAI在期刊俱乐部中的实际应用效果，本研究旨在评估其在传统血管外科期刊俱乐部中的实施情况。同时，我们还根据参与者的医学培训水平分析了他们对GAI整合的态度，并探讨了GAI在提供准确可信信息方面的局限性。最终，本研究旨在确定GAI是否能够成为提升血管外科期刊俱乐部教育效果的有效工具。
方法
本研究主要通过调查收集数据，该研究已获得佛蒙特大学机构审查委员会的批准，属于无需伦理审查的范畴。
期刊俱乐部数据分析
在三次血管外科期刊俱乐部活动中，共收集到28名参与者的90份反馈。96%的参与者认为ChatGPT对每篇文章的总结是准确无误的，但36%的人认为部分重要信息被遗漏（见图1）。76%的参与者认为ChatGPT对相关问题的回答既全面又准确。总体而言，92%的人认为GAI在总结和回答问题方面具有积极作用。
讨论
生成式人工智能（GAI）是医学教育领域的一项最新技术进展。基于GAI的工具可以通过搜索可靠资源、适应用户需求及医学领域的发展变化来促进学习。1目前，基于GAI的工具已应用于医学研究，包括协助文献综述、填补知识空白、激发研究思路以及数据分析等任务。3, 13, 14通过提供个性化服务，GAI显著提升了学习效果。
结论
本研究表明，在血管外科期刊俱乐部活动中整合GAI具有价值与局限性。无论学习者类型如何，GAI都能帮助总结关键研究成果、回答相关问题，并提供额外资源，从而加深对论文内容的理解。未来的研究方向可能集中在优化GAI的一致性和可靠性上。
