机器人 vs. 医生——谁在阅读肱骨近端骨折的X光片方面更擅长?

《JSES International》:Bot vs. Doc – Who is Better at Reading Proximal Humerus Fracture X-Rays?

【字体: 时间:2025年12月06日 来源:JSES International CS2.9

编辑推荐:

  ChatGPT-5在评估肩部X光片中PHFx(近端肱骨骨折)的准确性较低,敏感度61.8%、特异度74.3%,整体准确率67.1%。AI对正常X光误诊率25.7%,对孤立PHFx漏诊率23.5%,且在骨折部位(AN/SN/GT/LT)、Neer分型(1-4型)和肱骨头位置判断上均存在显著错误,与不同层级外科医生可靠性评分差异大(Kappa值-0.02至0.88)。研究强调AI不应作为临床决策主要依据,需结合影像学检查和临床评估。

  
该研究系统评估了ChatGPT-5在近端肱骨骨折(PHFx)的影像学诊断能力,以及与不同层级骨科医生在评估结果上的可靠性差异。研究基于斯坦福大学公开的骨骼肌骨骼放射学数据集(MURA),通过严格筛选获得70例肩部X光片(35例PHFx,35例正常),由四位不同资历的骨科医生独立评估,并与ChatGPT-5的诊断结果进行对比。

在基础诊断能力方面,ChatGPT-5对正常X光片的识别准确率为74.3%,但对PHFx的敏感性仅为61.8%,特异性74.3%,总体准确率67.1%。值得注意的是,该模型在正常病例中误诊为骨折或脱位的情况占比达25.7%,而在PHFx病例中,23.5%的病例被错误判定为正常,8.8%被误诊为单纯脱位。这些数据表明,AI模型在区分正常与异常病例时存在显著误差,尤其在PHFx的亚型分类上表现欠佳。

研究特别关注Neer骨折分型系统,发现ChatGPT-5对骨折部位(如解剖颈、外科颈、大/小结节)的识别准确率仅为25.7%,对脱位方向的判断正确率更低(34.3%)。在评估关节位置时,该模型错误认定8.8%的位于性骨折为脱位状态,这种定位误判可能直接影响临床决策,例如是否需要紧急进行关节复位。

在评估者可靠性方面,ChatGPT-5与骨科医生的Kappa值均处于低位(-0.02至0.06),显示极差的 Interrater可靠性。相比之下,住院医师与主治医师的Kappa值介于0.52(中度)至1.0(完美),显示专业评估体系的高度一致性。值得注意的是,即使经验最丰富的住院医师,其与AI的Kappa值也仅为0.06,这提示当前AI模型在PHFx诊断中尚未达到临床可用的可靠性标准。

研究方法创新性地采用分层评估机制,通过响应式算法逐步深入提问,但即便如此,ChatGPT-5在复杂病例(如骨折伴脱位)的诊断准确率仍不足60%。这可能与模型在处理多模态影像数据时的局限性有关,研究特别指出实验数据以PDF格式提供,缺乏电子病历系统中的临床上下文(如病史、体格检查结果)和影像设备的原始参数(如位移量、成角角度),这可能导致AI在临床场景中表现更差。

讨论部分揭示了当前AI影像诊断的三大瓶颈:其一,模型对细微结构变化的敏感性不足,例如难以区分0.5mm的位移差异;其二,缺乏临床逻辑推理能力,无法综合影像特征与患者症状进行诊断;其三,存在系统性误判倾向,如将正常关节活动度误判为脱位。这些缺陷在急诊场景中尤为危险,可能导致过度诊疗或延误治疗。

研究同时对比了不同训练背景的骨科医生表现:住院医师在骨折部位识别上的Kappa值0.71,主治医师0.65,而高年资专科医师达到0.88,显示专业培训对诊断准确性的决定性影响。这种差异印证了传统医学教育体系在培养影像诊断能力方面的优势。

研究局限性方面,首先数据源限制(仅PDF格式)可能影响AI的表现,其次样本量较小(70例)且未包含复杂病例(如开放性骨折、陈旧性损伤),最后未涉及影像设备的类型差异(如DR与CT),这些都可能成为未来改进方向。

该研究为AI在骨科影像诊断中的应用提供了重要参考。虽然ChatGPT-5展现出一定的初步应用潜力,但其诊断准确率显著低于专业医师,且存在特征性误判模式。研究强调,在急诊分诊、基层医疗等场景中,AI可作为初步筛查工具,但必须结合临床医生的专业判断,不能替代人类医生的终审权。建议后续研究应整合多模态数据(如CT三维重建、MRI动态序列),并建立动态评估模型,同时加强医学伦理审查,明确AI工具的临床应用边界。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号