《Radiography》:Radiographers' accuracy in interpreting acute musculoskeletal X-rays when supported by artificial intelligence – A multi-site cross-sectional study
编辑推荐:
引言:人工智能(Artificial Intelligence, AI)工具BoneView?已被引入临床实践以支持骨骼X线判读。这创造了一种新的工作流程,其中期望放射技师评估AI输出并采取行动。本研究评估了AI支持的放射技师在成人创伤X线上检测骨骼损伤的准确
引言:人工智能(Artificial Intelligence, AI)工具BoneView?已被引入临床实践以支持骨骼X线判读。这创造了一种新的工作流程,其中期望放射技师评估AI输出并采取行动。本研究评估了AI支持的放射技师在成人创伤X线上检测骨骼损伤的准确性。方法:在这项横断面研究(Cross-sectional study)中,来自4家医院的10名AI支持的放射技师回顾性评估了542例急性肌肉骨骼X线检查。放射技师在获取BoneView?输出的前提下判读检查,并将每例病例标记为确定/不确定阳性或确定/不确定阴性,设有可选的自由文本评论栏。以质量保证的放射科医师报告作为参考标准,计算了BoneView?及每名AI支持放射技师的敏感度(Sensitivity)和特异度(Specificity)。使用广义线性混合模型(Generalized Linear Mixed Models, GLMM)检验AI与AI支持放射技师之间以及各AI支持放射技师之间的诊断性能差异。结果:AI支持放射技师的总体敏感度为94%,特异度为86%,而单独AI分别为96%和71%。诊断性能的差异主要由AI支持放射技师在骨盆/髋部和足/趾区域X线判读中较高的特异度驱动,但技师间变异性显著。工作经验≥5年的放射技师比较<5年者具有更高的敏感度(p 0.01)和更低的特异度(p 0.02)。结论:与单独AI相比,放射技师的参与对敏感度影响有限,但与改善的特异度相关。性能的变异性和次优的特异度表明可通过培训、工作流程优化或AI支持的精细化来进一步改进。实践意义:了解使用AI时放射技师的诊断准确性有助于阐明此类工具如何支持分诊(Triage)、减少诊断延误并在急性骨骼成像中分配工作量。
研究背景方面,过去十年人工智能(Artificial Intelligence, AI)快速发展,由于人口老龄化和合格人员短缺,卫生与影像服务面临可持续性挑战,AI被视为解决方案的一部分。AI在骨骼X线上的诊断准确性已显示出与放射科医师相当,但目前主要作为诊断决策支持(Diagn Decision Support)引入,而非替代既定角色与流程的驱动者。2023年,Vestre Viken Hospital Trust (VVHT) 成为挪威首家将AI工具BoneView? (Gleamer, Paris, France) 引入常规临床实践以检测急性患者常规X线骨骼损伤的医院信托。该机构实施了放射技师监督的工作流程,若放射技师不怀疑AI假阴性结果,可基于AI阴性结果让患者出院,否则咨询放射科医师或覆盖AI决定,所有检查次日由放射科医师正式报告。此流程减少了等待时间,但进一步改变流程(如减少常规放射科医师报告)需证据证明显AI支持的放射技师判读达到足够诊断准确性。此前研究表明无AI支持的放射技师骨折检测敏感度72–96%、特异度50–98%,且受培训水平影响大;有高级培训者准确性可与放射科医师相当(放射科医师敏感度60–95%、特异度89–94%)。关于AI支持下放射技师诊断准确性的证据仍有限,有研究显示AI支持增加放射科住院医师敏感度但降低特异度,对非专家可能改善两者。因此,研究人员开展此项研究旨在探索AI支持的放射技师在成人X线检测骨骼损伤的诊断准确性,具体研究问题包括其敏感度与特异度、临床表现随临床经验的变化,以及在AI输出错误时跨解剖区域检测能力的差异。该研究发表在《Radiography》。
研究人员采用的关键技术方法如下:研究设计为回顾性横断面研究(Cross-sectional study),数据收集于2025年4月至9月,样本来源于VVHT四家医院2023年1月至2024年1月的542例成人急性肌肉骨骼X线检查(排除颈椎和颅骨X线),由一名委员会认证的放射科医师依据原始报告、AI输出及可用影像数据确立质量保证分类作为参考标准(Reference Standard)。10名来自VVHT四家医院、无图像判读高级培训且经验各异的志愿放射技师在匿名格式下借助Philips IntelliSpace Portal v15及诊断级监视器独立判读所有病例,可访问BoneView?输出的病例级分类(阴性、阳性、怀疑)及视觉叠加高亮疑似发现,但无既往影像、转诊文本外的临床史及放射科医师报告,通过标准化Microsoft Excel表单收集其分类(确定阳性、不确定阳性、不确定阴性、确定阴性)及自由文本。数据分析方面,计算AI与各解剖区域放射技师的敏感度(Sensitivity)和特异度(Specificity)(AI怀疑病例计为阳性),以≥6名技师判为阳性定义共识技师表现,采用McNemar检验评估AI与技师差异;应用带Logit链接函数的广义线性混合模型(Generalized Linear Mixed Models, GLMM)评估跨解剖区域诊断准确性,固定效应含观察者(AI或放射技师)、解剖区域及其交互,随机效应含观察者ID和病例ID以解释多读者多病例(Multi-Reader Multi-Care, MRMC)数据结构,报告调整优势比(Odds Ratios, OR)及95%置信区间(Confidence Intervals, CI);用ROC曲线可视化个体技师间变异性,GLMM分析经验水平(<5或≥5年)影响;对分歧大病例的自由文本进行内容分析(Content Analysis)。
研究结果部分保留原文小标题并依研究得出结论如下:
Study sample(研究样本):总研究样本542例,依据参考标准54%为阴性,患者平均年龄58.4岁(18–102岁),53%为女性。未调整分析中,多数解剖区域AI与AI支持放射技师敏感度均高,McNemar检验未检出显著差异;特异度变异性更大,尤其在骨盆/髋部和足/趾检查中,AI支持放射技师足/趾(p 0.041)和骨盆/髋部(p < 0.001)特异度显著高于AI。但因部分区域样本小且未考虑MRMC数据结构,研究人员应用GLMM获取MRMC调整估计。MRMC调整模型显示AI在上肢(p 0.04)和下肢(p 0.03)敏感度更大,而放射技师在下肢特异度(p 0.03)更高;骨盆/髋部差异最大,放射技师总体准确度(Adjusted OR 2.69, 95% CI 1.35–5.36, p 0.005)和特异度(Adjusted OR 4.47, 95% CI 1.76–11.31, p 0.002)显著更高,该区域敏感度无显著差异(p 0.94),提示AI准确度低主要由高假阳性率驱动;脊柱检查未检出准确度、敏感度或特异度显著差异。
Variation between radiographers(放射技师间的变异):GLMM分析显示技师间诊断准确度存在显著异质性,以技师1为参照,3名技师(ID 4、5、9)总体准确度显著更低。经验≥5年技师不确定阳性与不确定阴性使用更少(OR 0.73, 95% CI 0.63–0.85, p < 0.001),总体准确度无显著差异,但≥5年者敏感度更高(p 0.01)、特异度更低(p 0.02)。
Comments made during image interpretation(图像判读期间的评论):放射技师共提供921条评论(每人7–438条),每例0–7条(平均1.8条),多涉及发现/疑虑、图像质量或需补充投照。AI怀疑病例评论更多(每例2.4条),AI阴性与阳性分别为1.3和1.8条;AI与放射科医师分歧(含怀疑)病例中每例2.6条,表明AI输出存疑或认为AI有误时技师更倾向说明理由。技师间分歧大(n=71)的36例中评论相似,归为四类:陈旧性损伤(n=18)、图像质量差(n=9)、退行性变(n=6)、复杂多发可能发现(n=3)。AI与技师均不同意放射科医师的24例中,10例有相似评论:陈旧伤(n=4)、图像差(n=3)、评估不确定(n=2)、退变(n=1)。
讨论部分总结:研究人员讨论指出,AI支持的放射技师总体特异度(86%)高于AI(71%),敏感度相当(94% vs 96%),放射技师监督流程可减少单独用AI分诊的假阳性数;下肢检查放射技师特异度显著更高,骨盆髋部准确度与特异度均优,但个体间变异反映敏感度与特异度权衡不同。本研究放射技师敏感度94%、特异度86%,处于既往研究高位,AI支持似乎使技师达放射科医师级敏感度,但特异度中等(尤>5年经验者),需培训避免过高假阳性率,技师在陈旧伤或退变时最不确定,培训可聚焦区分其与急性伤,临床中若有既往影像可能提高特异度。X线判读特异度通常低于敏感度,本研究AI与AI支持技师特异度均中等,AI特异度与既往一致,且曾显示降低住院医师腕X线特异度,强调AI可影响诊断准确性及实施前后不可泛化,高敏感度对急性伤重要以确保识别需治者,但高假阳性增加急诊与骨科负担、延长等待。技师在髋/盆、足/趾准确度高于AI,显示其经验价值,其他区域需培训。研究人员结合未调整与GLMM估计,结论一致,但存在局限:病例由一名放射科医师按标准选并经技师质控可能选偏,连续纳入会区域不均;技师样本较小(但每例评>500例,病例数重于人数);虽指令独立但未监督,可能非正规讨论,但无结果反馈且异质性强,且未测无AI时表现故不能定AI改变程度及自动化偏倚(Automation Bias);二元分类未考虑损伤类型数目及临床相关性可能高估复杂病例表现,属“红点(red dot)”型局限,但技师角色是安全分诊而非确诊表征,识别任一新伤即促评估,最终临床决策由治疗医师结合临床与影像负责,二元分类反映其角色。AI支持技师敏感度可比单独AI且特异度稍高,提示整合入决策算法潜在益处,但总体特异度仍次优,现实中或致更多患者误分诊进一步评估;未收集患者结局故未评估成本效益(平衡避免延误、优化优先级与增加随访负担),未来应研究流程对临床路径患者结果与工作量的影响。
结论部分原文翻译:AI支持的放射技师在急性骨骼放射摄影中展现出令人鼓舞的诊断准确性,敏感度可与放射科医师相媲美,但其特异度仍有改进空间。要在临床工作流程中减少常规放射科医师报告的需求,放射技师的角色需要进一步发展为有效的“人在回路(Human-in-the-loop)”职能。这需要对放射技师进行针对性的骨骼X线判读培训。在减少常规放射科医师报告之前,需要建立明确的质量保证框架以及放射技师与放射科医师之间界定清晰的协作机制。
要不要我帮你把这篇论文解读里的关键数据(如敏感度、特异度在不同部位的差异)整理成一段纯文字的核心发现摘要,方便你快速回顾?