《Hong Kong Journal of Emergency Medicine》:A questionnaire survey on impact of implementing a brain computed tomography deep learning model of intracranial haemorrhage for direct clinician decision support in emergency departments
编辑推荐:
**研究背景:** 脑部非增强计算机断层扫描(NCCTB)已被广泛用于检测颅内出血(ICH)。深度学习模型(DLMs)被提倡作为减少诊断错误的决策支持工具。一个用于检测NCCTB中ICH和 midline shift(中线移位,MLS)的DLM已在香港医院
**研究背景:** 脑部非增强计算机断层扫描(NCCTB)已被广泛用于检测颅内出血(ICH)。深度学习模型(DLMs)被提倡作为减少诊断错误的决策支持工具。一个用于检测NCCTB中ICH和 midline shift(中线移位,MLS)的DLM已在香港医院管理局辖下17个公立急诊科(EDs)部署。本研究旨在评估急诊医师在使用该DLM解读NCCTB时的知识、态度、信心和信任度。
**研究方法:** 开展了一项横断面调查研究。2025年3月至6月期间在急诊科工作的所有医生均被邀请参与一项在线调查。进行了亚组分析以探讨背景变量、知识、态度和信心之间的关系。
**研究结果:** 调查回复率为42.4%(n = 236)。共有93.2%(n = 220)的参与者认同DLM是值得信赖的。对DLM诊断性能有满意理解的急诊医师比例更高(n = 127,53.8%),他们报告了更短的记录时间(53.5% vs. 32.1%,p < 0.001)和决策时间(65.3% vs. 55.9%,p = 0.003)、更高的诊断准确性(92.1% vs. 87.2%,p = 0.006)、对患者出院有更大的信心(92.1% vs. 87.1%,p < 0.001)以及更高的NCCTB分析效率(84.2% vs. 78.0%,p < 0.001)。然而,急诊科工作经验并不能预测使用频率(受训医师为97.3% vs. 专科医师为92.9%,p = 0.072)、对模型的熟悉程度(受训医师为73.7% vs. 专科医师为85%,p = 0.338)或所需的记录时间(受训医师为48.7% vs. 专科医师为38.6%,p = 0.153)。
**研究结论:** 对DLM理解更好的急诊医师报告了在使用DLM时拥有更好的信任度、更高的效率和诊断准确性,以及更短的记录和决策时间。
**论文解读**
**一、研究背景与问题**
非增强脑部计算机断层扫描(NCCTB)是急诊科检测颅内出血(ICH)的关键检查手段,但其判读易受知觉和认知错误影响,尤其在高负荷的急诊环境中,可能导致危及生命的诊断失误。近年来,深度学习模型(DLM)作为放射学的决策支持工具受到广泛关注,能够提升诊断准确性并改善患者预后。在香港医院管理局(HA)的统筹下,一个用于检测ICH和 midline shift(中线移位,MLS)的DLM自2023年12月起在17个公立急诊科(EDs)部署,其生成的判读结果可在图像采集后5分钟内通过网页门户获取,并整合进临床管理系统(CMS)中,自动发出预警。然而,该DLM在部署前仅有本地信息传递,并未建立标准化的正式培训计划。既往研究鲜少关注真实临床环境中急诊医师对该类工具的知识、态度、行为及信任度。因此,本研究旨在系统评估急诊医师对使用该DLM解读NCCTB以辅助临床决策的知识水平、态度、信心及信任度,为人工智能(AI)临床整合和未来培训策略提供依据。
**二、研究开展与结论**
研究人员于2025年3月至6月期间,对香港医院管理局辖下17个配备CT套件的急诊科的所有医生开展了一项横断面在线问卷调查,共纳入557名符合条件的医生,最终回收问卷236份,回复率42.4%。研究采用自行设计并改编自既往相关文献的问卷工具,涵盖人口学信息、DLM在CMS中的操作流程、对DLM性能的理解、临床实践中的态度与行为、以及适应DLM的困难与改进建议等五个维度。
研究得出以下核心结论:首先,绝大多数急诊医师(93.2%)认同DLM的可信赖性,但仅53.8%的参与者能正确回答DLM的敏感度和特异度,显示对模型诊断性能的理解水平总体中等。其次,对DLM性能有更高认知水平的医师,在日常实践中更频繁使用该工具(绝对获益增加[ABI]为11.2%),报告了更短的记录时间和决策时间,并在诊断准确性、患者出院信心和NCCTB分析效率等方面均表现出更积极的评价。然而,医师的急诊工作经验长短与其DLM使用频率、熟悉程度或工作效率提升的感知并无显著相关性。此外,不同培训状态的医师对DLM的态度总体积极,其中受训医师表现出更强的信任度和推荐意愿。该研究强调了DLM知识素养在促进临床采纳和建立医师信任中的关键作用,为AI工具在急诊领域的有效落地提供了重要实证依据。
**三、主要关键技术与方法**
本研究主要采用以下关键方法:第一,横断面在线问卷调查设计,覆盖香港医院管理局下属17个公立急诊科,目标人群为2025年3月至6月期间在岗的所有急症科医生,包括专科医师、受训医师及服务/轮转医官。第二,自行开发的问卷工具包含二分类题、多选题、5点Likert量表及开放式问题,并计算Cronbach's alpha评估内部一致性。第三,依据对DLM敏感度和特异度的回答正确性将参与者分为高知识水平组与低知识水平组进行亚组分析。第四,采用Mann–Whitney U检验和Kruskal–Wallis检验进行非参数数据比较,以探索不同亚组间的差异。
**四、研究结果**
**4.1 人口学信息**
共236名医师完成调查,回复率42.4%。参与者平均年龄39.2±11.2岁,男性占75.0%,平均急诊医学工作经验为9.7±5.6年。培训状态方面,18.6%为急诊医学基础受训医师,13.6%为高级受训医师,59.3%为急诊医学专科医师,8.5%为服务或轮转医官。参与者来自香港七个医院联网。
**4.2 DLM在CMS中的操作流程**
该量域的Cronbach's alpha为0.952。所有参与者(100%)均报告其所在医院可使用DLM进行NCCTB分析。绝大多数(94.5%)知晓CMS中基于AI的ICH检测预警系统。75.0%的参与者认为AI标签预警在通知医师潜在重大发现(如ICH或MLS)方面有效或非常有效。62.3%的参与者认为该预警在促进闭环沟通方面中度或非常有用。67.8%的参与者同意或强烈同意AI CTB的多种功能已良好整合至CMS中。
**4.3 对DLM性能的理解**
53.8%(n=127)的参与者正确识别了DLM的敏感度和特异度,被归为高知识水平组;46.2%(n=109)仅正确回答其一或均未答对,归为低知识水平组。该结果提示医师对AI系统诊断性能的认知水平存在较大差异。
**4.4 临床实践中对DLM的态度与行为**
高知识水平组在AI采纳方面表现出显著不同的行为模式。该组更频繁使用DLM(≥6/10次),ABI为11.2%(95% CI:2.7%–19.7%,p=0.0094);报告对DLM更熟悉(ABI=12.2%,95% CI:2.3%–22.2%,p=0.05);并更多认为DLM提高了记录NCCTB发现的时间效率(ABI=21.4%,95% CI:9.1%–33.7%,p<0.001)。高知识组对AI生成结果(检测ICH和MLS)的信心也更高(ABI=19.1%,95% CI:6.7%–31.5%,p=0.0024)。然而,在感知诊断准确率改善方面(ABI=4.9%)及正式放射学报告减少方面(ABI=4.0%),两组差异未达统计学显著。在态度层面,高知识水平组更强烈认同DLM提供准确ICH诊断(35.4% vs. 22.0%,p=0.001),对基于阴性AI发现让患者出院更有信心(54.3% vs. 28.4%,p<0.001),更认同DLM提升NCCTB分析效率(35.4% vs. 10.1%,p<0.001)及改善ICH患者管理质量(31.5% vs. 13.8%,p<0.001)。此外,高知识组更愿意频繁使用并推荐DLM,且无一人认为该模型不可信赖(0.0% vs. 4.6%,p<0.001)。
在不同培训状态方面,行为模式总体相似。三组对DLM工具的熟悉度均较高(受训医师73.7%、专科医师85.0%、医官90.0%),差异无统计学意义(p=0.338)。感知诊断准确性提高的比例也较一致(92.1% vs. 90.0% vs. 80.0%,p=0.849)。态度方面,受训医师表现出最强积极态度,尤其在推荐AI CTB给同事的意愿上(65.8% vs. 51.4% vs. 40.0%,p=0.024),并将DLM评为“非常值得信赖”的比例更高(26.3% vs. 18.6% vs. 30.0%,p=0.100)。
**4.5 适应DLM的困难、局限及改进方向**
参与者反馈了多项临床实施中的问题。诊断准确性方面,假阳性结果(n=43)包括钙化、脑萎缩或脑膜瘤被误判为ICH,可能导致不必要的后续影像检查、不当入院和患者焦虑(n=20),增加神经外科工作量(n=2);假阴性结果(n=12)则引发对漏诊、不当安心和延迟临床干预的担忧。系统层面,有意见指出DLM缺乏儿科人群适用性(n=8),无法检测颅骨骨折、小脑梗死和脑肿瘤等特定病理(n=18)。操作层面包括无法与既往NCCTB影像比较(n=2)以及AI处理时间过长可能延迟出院(n=1)。临床医师视角下,过度依赖AI输出被认为可能导致诊断疏忽,尤其在AI结果为阴性时忽视重要的非ICH发现(n=7)。医学法律顾虑主要与假阴性和相关法律影响有关(n=16)。此外,还担忧长期使用可能导致医师解读技能退化(n=13)以及不当记录实践(如将“AI阴性”作为最终CT发现写入病历)(n=2)。
在改进建议方面,最常被提及的是扩展模型诊断能力以覆盖更广泛的颅内病理范围,如原发和继发恶性肿瘤、占位性病变、缺血性改变、良性病变和颅骨骨折(n=51)。其次为增强模型敏感度和特异度,特别是通过适应本地数据集和持续模型训练(n=49)。其他建议包括更好整合至CMS(n=14)、建立每月反馈假阳性和假阴性病例的结构化反馈系统(n=10)、支持与既往影像对比(n=10)以及提供详细的AI生成报告输出(n=2)。
**五、讨论总结与研究结论**
研究讨论部分指出,尽管系统整合已获广泛接受,但医师对DLM诊断性能指标的认知存在差异。知识水平与AI工具的采纳、信任和感知效益密切相关,提示“最优信任”的建立需基于对模型能力和局限性的准确理解。研究建议将AI教育纳入本科及住院医师培训课程,采用能力本位医学教育框架以培养AI相关技能。不同培训状态医师的积极态度差异提示早期职业医师可能对AI创新更具接受度。研究者同时强调,假阳性和假阴性带来的临床与医学法律风险、系统整合的不完善、AI过度依赖可能导致的技能退化等问题,需要通过审慎实施、持续的临床医师参与和健全的治理框架来应对和平衡。
研究结论翻译:对DLM理解更好的急诊医师报告了在使用DLM时拥有更好的信任度、更高的效率和诊断准确性,以及更短的记录和决策时间。AI素养和模型熟悉程度是建立临床医生信任并产生实施影响力的关键领域。