医学人工智能中的自动化偏差与系统韧性：临床协作效能评估

《npj Digital Medicine》：Expertise modulates automation bias and sentinel behavior in human–AI collaborative diagnosis of neonatal pneumoperitoneum

　　

摘要

医学人工智能（Medical AI）通常基于一个假设进行验证：算法的敏感性与临床医生的监督相结合将能够提升医疗效果。我们在新生儿气腹（一种需要立即处理的外科急症）这一高风险诊断场景中检验了这一假设。在一项涉及多名读者的交叉研究中，我们分析了1750例影像解读案例，临床医生在阅读X光片时分别使用了可靠性较高的模型和故意引入错误的模型。研究结果表明，高度可靠的AI模型反而会在实习医生中引发自动化偏差，他们接受了52.0%的错误提示；而对经验丰富的专家而言，这种模型的帮助作用非常有限。相反，当面对不准确的AI建议时，三名参与研究的新生儿科医生表现出“警觉行为”——他们正确地纠正了91.7%的错误（Wilson 95%置信区间：83.0–96.0%），这表明他们在面对错误时更加细致地进行了思考。由于参与研究的专家数量较少，这一发现具有启发性，值得进一步验证。我们将“系统韧性”定义为在算法出错时保持诊断准确性的能力，并指出临床有效性实际上取决于人类与AI团队之间的协作与适应能力，而不仅仅是单一系统的准确性。为了降低医生因人工智能而丧失专业技能的风险，我们开发了一个开源的教育工具箱，旨在帮助医生识别并防范自动化带来的错误。