真实世界急诊科骨折检测中AI辅助放射技师判读的前瞻性研究：高基线准确率下的小幅选择性改善

《npj Digital Medicine》：Radiographer fracture detection with and without AI assistance in prospective emergency department use

摘要

用于骨折检测的人工智能（AI）系统在受控环境中表现强劲，但前瞻性的真实世界证据有限。在一个急诊科为期三个月的部署中，由放射技师主导的筛查项目中的13名放射技师独立解读了2496例连续的肌肉骨骼检查（每例检查由一名放射技师负责），审查了一个商业深度学习系统的输出，然后记录最终决定，从而与放射科医生的参考标准进行了2496次配对判读。独立AI的灵敏度为75.6%，对于细微骨折降至46.2%，低于放射技师基线灵敏度91.6%。放射技师的基线准确性很高（97.6%；特异性99.0%），在AI辅助下略有提高（98.0%；精确McNemar检验 p = 0.0064）。在AI辅助下，放射技师纠正了11个错误，但引入了1个新错误，净收益为10例。亚组收益方向一致，但在校正后不显著。放射技师仅在729例不一致病例中改变了11例的决定，大多数负面互动是未采纳正确的AI建议。在8.8%的获取检查中，AI输出缺失或不完整。AI辅助带来了一个小而选择性的收益，源于互补而非卓越的算法性能。操作可靠性与诊断准确性同等重要，而行为推断基于少数事件。下游临床结果未被测量。