置信度感知AI辅助腮腺超声鉴别多形性腺瘤与沃辛瘤的前瞻性观察者效能研究

《BMC Medicine》：Human–AI interaction in parotid ultrasound diagnosis: a prospective two-phase observer-performance study

　　

摘要

背景

在超声检查中区分多形性腺瘤（PA）与沃辛瘤（WT）——这两种最常见的腮腺良性肿瘤——即便对于经验丰富的超声医师也颇具挑战。目前大多数腮腺超声AI系统均为静态、回顾性设计，且未经前瞻性阅片者评估。我们开发了一套具有置信度感知能力的AI系统，配有放射科医师可编辑界面，并通过观察者效能研究前瞻性地评估了其对放射科医师诊断表现的影响。

方法

我们开发了一种置信度感知的混合流程，结合YOLO检测模型与分类模型作为后备方案，用于腮腺超声鉴别诊断，使用了来自韩国大学安心医院的949张内部数据集图像和来自韩国大学安南医院的427张外部数据集图像。我们探索性地评估了35种检测×分类组合以刻画模型互补性，随后通过两阶段观察者效能研究，对单一预设部署配置（τ=0.80，YOLOv12m+ConvNeXt）进行了前瞻性验证，研究由三位持证放射科医师参与，共阅片107例外部病例（321次阅片）。

结果

单独使用的检测模型和分类模型在外部数据上的AUROC分别为0.811和0.919。在35种组合中的22种上，置信度感知流程在外部数据上的表现优于两种单独模型（最高宏F1=0.838），且当两种模型表现相当时互补效应最为显著。在阅片者研究中，AI辅助将汇总诊断准确率从76.3%提升至81.6%（广义线性混合模型[GLMM]比值比=1.54，95%CI：1.12–2.13，p=0.008），并提高了阅片者间一致性（Fleiss' κ从0.475升至0.611），在较难病例上的提升更为显著。阅片者的回应具有选择性：阅片者更倾向于采纳正确的AI预测而非错误的预测（76.2% vs. 51.1%，p=0.008），且分类灵敏度在WT（+18.1个百分点）和PA（?9.3个百分点）上呈相反方向变化，与AI的预测特征一致。

结论

在前瞻性观察者效能研究中，具有放射科医师可编辑界面的置信度感知AI系统提高了放射科医师的诊断准确率和阅片者间一致性。这些结果支持该系统作为决策支持工具的潜力，可与阅片医师协同工作，并鼓励在真实临床工作流程中进行进一步评估。