《The Lancet Digital Health》：Examining reliance patterns on AI advice in medical imaging: a mixed-methods, randomised, crossover experiment
编辑推荐：
背景：人工智能（AI）在支持诊断决策方面具有显著潜力；然而，临床医生与AI系统之间的协作往往未能超过无辅助人类或独立AI的表现。本研究旨在考察AI建议对专家和新手诊断决策的影响，重点关注AI过度依赖（over-reliance）和依赖不足（under-reli
背景：人工智能（AI）在支持诊断决策方面具有显著潜力；然而，临床医生与AI系统之间的协作往往未能超过无辅助人类或独立AI的表现。本研究旨在考察AI建议对专家和新手诊断决策的影响，重点关注AI过度依赖（over-reliance）和依赖不足（under-reliance）的发生，以及可解释AI（explainable AI）的潜在缓解作用。方法：研究人员采用混合方法、随机、交叉实验设计。参与者（50名任务专家[放射科医生]和75名新手[非放射科医生医师和医学受训者]）按等比例随机分配到六组之一，该分组决定三种条件在三次会话中呈现的顺序。在每次会话中，参与者在三种实验条件之一阅读50例伴或不伴颅内出血（intracranial haemorrhage）的头颅CT扫描：对照，无AI预测；基础AI建议，无注释的AI预测；可解释AI建议，带扫描注释的AI预测。接受基础或可解释AI建议的病例中80%获得正确建议，20%获得错误建议。主要结局为诊断表现（正确识别颅内出血）、诊断信心、病例阅读时间和AI建议有用性评分。研究人员将依赖不足定义为最终决策与正确AI建议不一致，将过度依赖定义为最终决策与错误AI建议一致。项目所有要素均已预注册，并可在项目的Open Science Framework存储库中获取。结果：数据收集于2023年2月16日至2023年8月10日。对错误建议的过度依赖和对正确建议的依赖不足均发生。依赖不足与高不确定性相关，并且按绝对值计，对诊断表现的不利影响大于过度依赖。与无建议相比，正确的可解释AI建议降低了依赖不足并提高了表现（OR=1·84，p<0·0001，95% CI 1·49–2·28）和信心（b=0·15，p<0·0001，0·09–0·22），尤其是在审阅更困难的颅内出血病例时。与无建议条件相比，正确的可解释AI未减少阅读时间（b=–1·81，p=0·071，?3·78至0·16）。可解释AI被认为比基础AI建议更有用（b=0·12，p=0·0029，0·04–0·20），尤其是在新手之中。解释：依赖不足和过度依赖同时发生，凸显需要超越经典可解释AI方法的高效应对策略，以在AI支持的临床决策中促进适当依赖和协同。资助：Volkswagen Foundation、Forum for Interdisciplinary Research和German Federal Ministry of Education and Research。
研究背景与目的：人工智能（artificial intelligence, AI）正快速改变医疗，许多模型在诊断、预后、治疗和药物发现等任务中达到或超过临床医生水平；但随机对照试验结果不一，很多显示对决策、诊断表现和患者结局仅产生很小或无显著影响，且模型泛化性不足。AI常以临床决策支持系统（clinical decision support systems, AI-CDSSs）形式进入工作流，其效果取决于使用者；理想的人-AI协作应超过无辅助人类和独立AI，但协同罕见。失败原因之一是过度依赖（over-reliance），即用户跟随错误AI建议，已有较多研究；另一原因是依赖不足（under-reliance），即用户未采纳正确AI建议，临床研究报道较少，随着AI更准确，其风险可能增加。可解释人工智能（explainable AI, XAI）被寄望促进适当依赖，但研究结果混合，可能与样本小、病例少、序贯/并行范式差异有关；需要稳健样本、高病例量、不同病例复杂度并模拟临床工作流的研究，以比较依赖不足与过度依赖的影响及XAI作用。因此研究人员开展本随机交叉实验。
研究设计与意义：研究人员采用混合方法、随机、交叉实验，纳入50名任务专家和75名新手，设置对照、基础AI建议和XAI建议三种条件，每名参与者阅读50例头颅CT，建议准确率为80%/20%，并结合出声思考（think-aloud）和眼动追踪（eye-tracking）。结果发现依赖不足和过度依赖均发生，依赖不足按绝对值对诊断表现危害更大；正确XAI减少依赖不足并改善表现和信心，尤其困难颅内出血阳性（ICH+）病例，但不减少阅读时间，且不能缓解因拒绝系统或使用错误导致的依赖不足。研究强调需超越经典XAI，促进适当依赖和人-AI协同，对AI-CDSS设计与评估有重要意义。该研究发表于《The Lancet Digital Health》。
关键技术方法（250字以内）：研究采用混合方法、随机交叉实验；病例为50例头颅CT（25例ICH+、25例ICH?；每类5例易、10例中、10例难），由三名经验丰富放射科医生确定金标准。样本来自10个国家：50名任务专家（放射科医生）通过作者个人专业网络招募，75名新手（非放射科医生医师和医学受训者）通过大学渠道和社交媒体招募。参与者按六种条件顺序随机分配，完成三次会话，至少14天洗脱；条件为对照、基础AI建议和XAI建议，AI建议80%正确、20%错误。新手子样本接受出声思考，专家子样本现场接受眼动追踪；分析使用预注册、模拟功效分析和混合效应回归。
研究结果：
（1）样本与数据收集：163名符合条件者报名，125名开始第一次会话并纳入分析，111名完成全部三次会话；平均年龄28·48岁（SD 6·72），69/125自报女性；50名专家平均专业经验7·85年（SD 5·85），75名新手0·17年（SD 1·50）。
（2）过度依赖与依赖不足的发生及净效应：病例层面数据显示，过度依赖率从111/417（27%）至421/730（58%），依赖不足率从186/1664（11%）至597/2880（21%）；过度依赖率更高，但因80%建议正确，依赖不足影响更多病例。按基础率计算，依赖不足对诊断表现的净效应为专家基础建议5%、专家XAI建议4%、新手基础建议5%、新手XAI建议?1%，故按绝对值依赖不足危害更大；依赖不足在ICH+和较难病例中更明显。与基础建议相比，XAI减少真阳性病例的依赖不足（专家179/2150[8·3%]降至139/2081[6·7%]；新手371/3600[10·3%]降至187/3650[5·1%]），仅轻微增加假阳性病例的过度依赖（专家33/2150[1·5%]升至39/2081[1·9%]；新手186/3600[5·2%]升至211/3650[5·8%]）。
（3）出声思考错误模式：对42名新手511个实例的出声思考编码识别出四类依赖不足错误：因医学不确定性无法验证建议或注释；因不信任、怀疑系统错误或找到替代解释而拒绝AI；因既往感知错误而忽略AI；在真阴性病例中同意无出血建议却误点出血。正确XAI强烈减少医学不确定性所致错误，但未缓解主动拒绝AI所致错误。
（4）眼动追踪错误模式：13名专家的眼动数据显示，专家在真阳性病例中拒绝正确XAI时，出血区域注视次数最高，同时其他CT区域注视也高，提示依赖不足与不确定性相关但导致主动拒绝AI；拒绝正确基础建议时出血区域注视很低、其他区域极高，提示错误源于遗漏出血。遗漏出血时，正确基础建议和错误基础建议分别有17/45（38%）和18/27（67%）无出血区域注视，正确XAI降至1/37（3%），错误XAI仍为13/20（65%），提示正确XAI可防止忽略建议和遗漏所示出血。
（5）诊断表现：无建议条件下新手基线平均表现62·7%（95% CI 61·12–64·25），专家82·9%（81·33–84·48）。混合效应模型显示新手正确诊断 odds 低于专家；正确基础建议和正确XAI均改善表现，新手从两类建议均获益，专家仅从XAI显著获益。即使接受正确建议，新手仅在XAI条件超过AI自身80%准确率（正确建议86·6%，总体77·8%），基础建议未超过（79·3%，72·1%）；专家在基础建议（86·8%，84·1%）和XAI（88·8%，85·7%）均超过。错误建议显著降低表现；建议效应在新手中更明显，正确建议的增益在较难病例中更大；XAI在真阳性病例持续改善表现，新手在困难病例接受XAI时甚至超过专家；错误建议下XAI在较易假阳性病例对新手有负面影响，其余无显著影响。
（6）诊断信心：无建议条件下新手基线平均信心3·09（95% CI 3·05–3·12），专家4·14（4·10–4·18）。与无建议相比，正确XAI提高信心，正确基础建议未提高；错误建议降低信心；建议对信心的影响在新手中更明显。依赖不足时参与者的信心低于自身基线；专家在适当依赖和过度依赖时接受XAI较基础建议更有信心，新手在适当依赖和依赖不足时接受XAI较基础建议更有信心。
（7）阅读时间：新手基线平均阅读时间52·35秒（95% CI 51·43–53·27），与专家53·59秒（51·80–55·38）无显著差异。正确基础建议总体缩短阅读时间，但该效应由专家驱动，新手在真阳性病例反而更长；正确XAI总体未显著缩短阅读时间，仅在专家真阴性病例观察到缩短。错误建议总体增加阅读时间，假阴性病例除外，尤其在新手中。依赖不足时阅读时间高于基线；新手在错误建议下适当依赖自身时阅读时间也更长；适当依赖正确建议时，XAI较基础建议阅读时间显著更高，新手过度依赖错误XAI时阅读时间也更高。
（8）AI建议有用性：参与者将XAI和正确建议评为比基础建议和错误建议更有用。XAI对新手比专家更有用，但新手也比专家更倾向将不准确建议评为有用，提示其区分正确与错误建议能力较弱。XAI在真阳性病例始终被评为比基础建议更有用；错误建议尤其是假阴性建议在较易病例中被认为不如较难病例有用。
讨论部分总结：讨论指出，过度依赖已被广泛研究，本研究系统对比并揭示依赖不足在临床背景下的影响与原因；依赖不足与高不确定性、强参与CT、较长阅读时间和较低信心相关，拒绝AI比缺乏注意更重要。XAI通过减少不确定性降低真阳性病例的依赖不足，对新手和困难病例最有益；但XAI增加处理时间，且对主动拒绝AI和使用错误无效。研究澄清XAI效果受病例类型、复杂度和用户经验影响，一刀切方案次优。随着AI准确率提高，正确与错误建议分布更偏斜，未来需纵向研究依赖模式演变，开发可定制XAI以支持依赖正确建议并检测/推翻错误建议，并重视可用性测试。局限性包括人工固定准确率网页界面、单一影像二分类任务、病例难度和ICH+/?分布不现实、回忆偏倚、专家含早期职业放射科医生、观察效应可能。研究结论（Interpretation）翻译：依赖不足和过度依赖的同时发生，凸显需要超越经典可解释AI方法的高效应对策略，以在AI支持的临床决策中促进适当依赖和协同。讨论末段结论翻译：本研究强调需要加深理解临床医生为何依赖不足于正确AI建议，而非仅关注过度依赖；XAI可减少依赖不足但可增加处理时间；未来应开发既提高对正确建议的依赖又改善效率、并使临床医生识别和推翻错误的新方法，以改善人-AI协同。
