一种用于超声报告质量控制的人机混合工作流程:多中心性能与效率评估

《Academic Radiology》:A Hybrid Human-AI Workflow for Ultrasound Report Quality Control: A Multicenter Performance and Efficiency Evaluation

【字体: 大 中 小 】 时间:2026年10月18日 来源:Academic Radiology 4.7

编辑推荐:

   研究原理与目标本研究利用多中心回顾性数据,评估了一种用于超声报告质量保证的人机协作工作流程。材料与方法共从四家医院收集了涵盖22个检查类别的786份匿名超声报告。含自然发生错误或植入错误的报告在各组之间进行匹配。GPT-4o和DeepSeek-v3进行初步筛选后,由六名人工审

  

研究原理与目标

本研究利用多中心回顾性数据,评估了一种用于超声报告质量保证的人机协作工作流程。

材料与方法

共从四家医院收集了涵盖22个检查类别的786份匿名超声报告。含自然发生错误或植入错误的报告在各组之间进行匹配。GPT-4o和DeepSeek-v3进行初步筛选后,由六名人工审阅者(HR)进行复核。设有盲法专家复核(HR-ex)作为对照组。比较了准确率、假阳性(FP)率和假阴性(FN)率以及审阅时间。补充验证通过对比使用1680份连续无植入错误的报告,比较了HR与DeepSeek辅助审阅的效果。

结果

混合工作流程(HYB)的准确率与HR相当(4o-HYB 80.2%,v3-HYB 82.5%,HR 82.3%),但低于HR-ex(87.3%)。两种HYB的FN率均高于HR-ex(4o-HYB 34.2%,v3-HYB 27.3%,HR-ex 16.9%,均p < 0.001)。严重性评估未表明混合流程优先遗漏临床意义重大的错误。人工验证降低了大语言模型(LLM)产生的FN和FP。中位审阅时间从HR-ex的51.0秒大幅缩短至4o-HYB的11.0秒和v3-HYB的12.0秒。在补充验证中(错误发生率9.6%),v3.2-HYB和HR的FN率分别为22.6%和24.3%,FP率分别为7.7%和10.0%,中位审阅时间分别为15.4秒和24.3秒。

结论

LLM辅助的HYB达到了与单医师审阅相当的准确率,同时大幅缩短了审计时间。这些发现需要在常规临床实施前进行前瞻性真实世界验证。

章节摘要

引言

超声报告是临床决策的基石,其术语的精确性和内部逻辑的连贯性直接影响医疗质量。超声报告采用自由文本格式书写,容易受到拼写错误、数值不一致和上下文矛盾的干扰,可能危及患者安全。尽管双人阅读工作流程可以减少报告错误,但耗时较长(1)。
在高容量临床环境中,

指南与伦理审批

本前瞻性实验性多中心研究使用完全去标识化的回顾性超声报告进行规划和记录,这些报告不含任何个人身份信息。本研究遵循TRIPPOD-LLM清单(10),并纳入MI-CLEAR-LLM(11)的相关原则以增强方法的完整性,包括模型透明度、可重复性、提示词规范和安全考量。根据国家AI伦理指南(12),

最优LLM的选择

与GPT-4相比,DeepSeek模型取得了显著更高的F1分数(均p < 0.05),反映了其在识别错误方面的整体优越能力(补充表S4)。四种模型在准确率和FP率方面未观察到显著差异。尽管GPT-4o的灵敏度和FP率略高于GPT-4,但差异不具有统计学显著性(p ≥ 0.05)。因此,选择GPT-4o和DeepSeek-v3进行混合试验。

混合试验

GPT-4o的

讨论

鉴于LLM的黑箱特性及相关伦理担忧,在超声报告审计中部署人机混合系统时,应保持医师作为质量控制的最终裁决者。与早期简单比较LLM与放射科医师的研究不同,我们控制了混杂因素并将该HYB与医师审阅进行比较。在补充验证队列中,当LLM初始检测到参考错误时,混合审阅的FN少于HR,但

CRediT作者贡献声明

梁宣:写作—初稿撰写、方法论、概念化。贺辉:验证、资源、数据整理。刘春政:软件、资源、数据整理。桑瑞:形式分析、数据整理。朱佳林:调查、资金获取。王小青:调查。侯文静:调查。李德义:调查。王金光:调查。李媛媛:调查。苏佳宇:调查。王小义:资源。魏西:写作—审阅与编辑、监督,

伦理审批

本研究方案经天津医科大学肿瘤医院伦理委员会审查批准(批准号:bc20253106)。由于所有超声报告在分析前均已完全去标识化,故豁免知情同意要求。各参与机构均确认相互接受。

资金支持

本研究受国家自然科学基金(资助号:82272008)、国家自然科学基金青年科学基金项目(资助号:82402274)、天津市医学重点学科建设项目(资助号:TJYXZDXK-3-015C)、国家重点研发计划(2024YFA1802700)、天津市自然科学基金(资助号:24JCZDJC00990)以及天津市教育委员会高等教育发展基金

撰写过程中生成式AI及AI辅助技术的声明

在准备本手稿过程中,生成式AI辅助工具仅用于支持语言编辑和翻译。这些工具未用于生成科学内容、分析数据或影响研究设计、结果或解释。所有AI辅助输出均经作者仔细审阅和修改,作者对已发表工作的准确性、原创性和完整性承担全部责任。

利益冲突声明

作者声明,他们没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

致谢

我们感谢参与医疗机构的合作与支持。我们还感谢顾青博士提供外部验证数据集并协调相关机构伦理审查,以及一位匿名同事提供宝贵的方法学建议。
梁宣|贺辉|刘春政|桑瑞|朱佳林|王小青|侯文静|李德义|王金光|李媛媛|苏佳宇|王小义|魏西
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号