基于深度学习的髋部骨折检测模型在骨盆X线片中的外部验证与住院医师AI辅助诊断效果评估

《Scientific Reports》：External validation of a deep learning model for hip fracture detection on pelvic radiographs and its effect on radiology resident performance

　　

摘要

本研究旨在对用于骨盆X线片髋部骨折检测的深度学习方法进行外部验证，并评估其与放射科住院医师诊断表现之间的关联。本回顾性研究纳入了某三级学术中心600例骨盆正位X线片，真值由骨骼肌肉放射科医师共识确定。对先前开发的一种基于DenseNet的模型进行了独立验证。在洗脱期后，10名放射科一年级住院医师各解读100例X线片（50例骨折阳性，50例骨折阴性，病例取自验证数据集并在不同批次间重复使用），分别在无AI辅助和AI辅助条件下进行诊断。采用配对McNemar检验比较无辅助与AI辅助诊断的表现差异。采用具有交叉随机截距的广义线性混合效应模型，在考虑病例重复暴露和读者间变异的前提下，评估AI辅助与骨折阳性判读之间的条件关联。外部验证数据集包含124例骨折（患病率20.7%）。AI独立诊断达到AUROC 0.959（95%CI：0.933–0.979），敏感性92.1%（86.9–96.3%），特异性85.2%（82.1–88.2%）。读者总体敏感性无AI辅助为93.1%，有AI辅助为93.9%（差值+0.8%，p = 0.45）。特异性无AI辅助为96.5%，有AI辅助为97.6%（差值+1.1%，p = 0.18）。混合效应模型显示AI与骨折之间存在显著交互效应（OR 47.8，95%CI：4.9–469，p < 0.001），提示当存在骨折时，AI辅助与更高的阳性判读几率相关，而未伴随假阳性增加。较宽的置信区间表明存在明显的估计不精确性。该模型在外部验证中整体判别能力有所下降，但仍与已发表的标准相当。混合效应模型发现，当存在骨折时，AI辅助与正确的骨折判读之间存在条件关联。然而，总体配对分析结果无统计学显著性，这些发现需要在更大规模的前瞻性研究设计中加以验证。