大型语言模型支持的范围审查工作流程的开发与探索性评估

《Journal of Medical Systems》:Development and Exploratory Evaluation of a Large Language Model-Supported Scoping Review Workflow

【字体: 大 中 小 】 时间:2026年10月16日 来源:Journal of Medical Systems 8.8

编辑推荐:

   摘要 大型语言模型(LLMs)在文献综述的筛选阶段已经展示了与人类水平相当的性能,并已在系统评价工作流程中进行了评估。然而,LLMs在范围审查(scoping reviews)中的表现尚未得到充分研究,因为范围审查的范围更广且类型更加多样。我们开发了一个基于LLM的模块化框架

  

摘要

大型语言模型(LLMs)在文献综述的筛选阶段已经展示了与人类水平相当的性能,并已在系统评价工作流程中进行了评估。然而,LLMs在范围审查(scoping reviews)中的表现尚未得到充分研究,因为范围审查的范围更广且类型更加多样。我们开发了一个基于LLM的模块化框架,用于支持范围审查工作流程,并将两种通用LLMs的性能与人类评审员的性能进行了对比,具体是在一个参考范围审查中进行的。该参考审查的关键词搜索结果(n = 1336)以及反映工作流程各阶段的提示集被提供给GPT-5和gpt-oss-20b(OpenAI,2025年8月)。输出结果与人类决策进行了对比以评估一致性;对于不一致之处进行了裁决。在标题-摘要筛选和最终纳入一致性方面,一致同意和经裁决的决策被合并成一个综合参考标准。在标题-摘要筛选中,GPT-5和gpt-oss-20b的工作流程与人类共识显示出较高的评分者间一致性(AC1:0.769;0.722);参考一致性分别为90.9%(p = 0.08)和92.4%(p = 0.004),而人类的相应比例为89.0%。在最终纳入状态方面,评分者间一致性几乎完美(AC1:0.948;0.853);参考一致性分别为95.4%(p = 0.23)和92.4%(p < 0.001),而人类的相应比例为96.1%。在数据分类/合成方面,评分者间一致性从良好到几乎完美不等(AC1:0.493–0.949;0.342–0.929);总变异距离(代表分布差异)介于1.55%至28.0%之间。所有来源对“人类数字孪生”(human digital twin)这一术语的定义遵循率都相对较低(人类12.1%;GPT-5 13.0%;gpt-oss-20b 18.0%)。这两种基于LLM的工作流程都达到了从良好到几乎完美的一致性,并且具有较高的筛选/最终纳入参考一致性。主要综合研究发现,在不同工作流程中方向是一致的,所有来源都指出了“人类数字孪生”这一术语的不常见但正确的使用情况;总变异距离可能有助于评估分布层面上的一致性。局限性包括仅限于单一领域/供应商、使用固定提示以及预先定义的分类法;需要进行更广泛的评估。在这个单一领域的基准测试中,基于LLM的范围审查工作流程显示出其在支持某些审查阶段并可能简化流程方面的可行性,并在评估的终点和结论层面上达到了大体相当的性能。其泛化能力、可重复性和操作效率还有待验证。

大型语言模型(LLMs)在文献综述的筛选阶段已经展示了与人类水平相当的性能,并已在系统评价工作流程中进行了评估。然而,LLMs在范围审查(scoping reviews)中的表现尚未得到充分研究,因为范围审查的范围更广且类型更加多样。我们开发了一个基于LLM的模块化框架,用于支持范围审查工作流程,并将两种通用LLMs的性能与人类评审员的性能进行了对比,具体是在一个参考范围审查中进行的。该参考审查的关键词搜索结果(n = 1336)以及反映工作流程各阶段的提示集被提供给GPT-5和gpt-oss-20b(OpenAI,2025年8月)。输出结果与人类决策进行了对比以评估一致性;对于不一致之处进行了裁决。在标题-摘要筛选和最终纳入一致性方面,一致同意和经裁决的决策被合并成一个综合参考标准。在标题-摘要筛选中,GPT-5和gpt-oss-20b的工作流程与人类共识显示出较高的评分者间一致性(AC1:0.769;0.722);参考一致性分别为90.9%(p = 0.08)和92.4%(p = 0.004),而人类的相应比例为89.0%。在最终纳入状态方面,评分者间一致性几乎完美(AC1:0.948;0.853);参考一致性分别为95.4%(p = 0.23)和92.4%(p < 0.001),而人类的相应比例为96.1%。在数据分类/合成方面,评分者间一致性从良好到几乎完美不等(AC1:0.493–0.949;0.342–0.929);总变异距离(代表分布差异)介于1.55%至28.0%之间。所有来源对“人类数字孪生”这一术语的定义遵循率都相对较低(人类12.1%;GPT-5 13.0%;gpt-oss-20b 18.0%)。这两种基于LLM的工作流程都达到了从良好到几乎完美的一致性,并且具有较高的筛选/最终纳入参考一致性。主要综合研究发现,在不同工作流程中方向是一致的,所有来源都指出了“人类数字孪生”这一术语的不常见但正确的使用情况;总变异距离可能有助于评估分布层面上的一致性。局限性包括仅限于单一领域/供应商、使用固定提示以及预先定义的分类法;需要进行更广泛的评估。在这个单一领域的基准测试中,基于LLM的范围审查工作流程显示出其在支持某些审查阶段并可能简化流程方面的可行性,并在评估的终点和结论层面上达到了大体相当的性能。其泛化能力、可重复性和操作效率还有待验证。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号