AI辅助医疗诊断中人机监督失效的挑战——基于心脏听诊随机对照实验的证据

《npj Digital Medicine》：Challenges for human oversight in detecting system malfunctions in AI-assisted medical diagnostics

随着医师越来越多地需要监督AI系统以检测系统故障，本研究通过一项随机对照实验对48名医师进行了测试，采用逐步发生故障的AI进行心脏听诊辅助诊断。研究发现，即使研究人员在认知上强制医师做出初始分类，且当人类自身表现优于AI可靠性时，诊断性能仍随AI可靠性的下降而同步降低。医师的诊断信心比其对AI的信任度下降得更快。上述结果表明，为确保患者安全，必须明确界定监督目标与流程。

研究背景与问题提出

随着人工智能（AI）在医疗诊断中的广泛应用，人类监督被普遍视为防范系统故障的关键安全网。然而，现有研究多聚焦于AI如何增强人类决策，对于人类能否可靠地阻止系统故障后果的关注相对不足。自动化偏差（automation bias）可能导致医师过度依赖AI推荐，将AI作为警惕性信息搜寻与处理的启发式替代品；同时，AI输出可能成为认知锚定（cognitive anchoring）的来源，诱发确认偏差（confirmation bias），从而降低认知投入，增加采纳而非质疑AI推荐的可能性。为应对这些负面影响，认知强制技术（cognitive forcing techniques）被提出，例如要求医师在获取AI推荐前先做出独立评估，以维持其主动认知参与。然而，这些策略在真实临床场景下的有效性尚未得到充分验证。因此，本研究旨在检验医师能否有效检测AI系统故障并进行适当干预，以及认知强制策略是否有助于促进这一监督过程。

研究方法与关键技术

研究人员采用混合2×4因子设计的随机对照实验，以AI辅助心脏听诊（cardiac auscultation）为情境。共招募48名医师，随机分配至AI优先组（AI-First）或AI其次组（AI-Second）。实验材料选自CirCor公开数据集（CirCor DigiScope Phonocardiogram Dataset，版本1.0.2），包含3163条来自942名个体的录音。每个参与者需对40段数字录制的正常或异常心音进行分类，分四个模块呈现，系统可靠性逐块递减（90%、60%、50%、0%），最后一个模块还故意加入了视听不同步信号。AI其次组实施了认知强制技术：参与者需先做出无辅助分类并报告信心水平，随后再接收AI推荐并可修订判断。主要因变量包括诊断正确率、诊断信心（5点量表）和对系统的信任度（5点Likert量表）。数据分析采用混合设计方差分析（mixed-design ANOVA）并结合广义线性混合模型（GLMM）进行敏感性分析，以控制参与者工作经验和自我评估听诊技能等嵌套变量。

研究结果

诊断性能随AI可靠性下降而同步降低：从模块1（M_T1=81.45%，SD=11.48%）到模块4（M_T4=58.33%，SD=25.29%），AI辅助诊断性能显著下降。在AI高可靠性模块（T1），人机联合表现低于AI单独可靠性（90%）；而在低可靠性模块（T2-T4），人机联合表现高于AI可靠性，但仍低于人类无辅助基线表现。

认知强制未能改善诊断性能：尽管组别×模块交互效应显著，但与假设相反，在模块4中AI优先组的表现（M_T4|AI-First=64.58%，SD=22.65%）反而优于AI其次组（M_T4|AI-Second=52.08%，SD=26.70%）。

诊断信心下降速度快于对AI的信任：两组参与者在接收AI推荐后的信心均显著下降（M_T1=3.39，SD=0.34降至M_T4=3.04，SD=0.50）。值得注意的是，在AI其次组中，虽然无辅助基线表现保持稳定，但参与者的初始诊断信心（T1>T3）却比其对AI的信任（T1>T4）下降得更快。

参与者对系统故障的觉察率极低：实验结束后，仅有12.5%（每组各3人）报告注意到系统可靠性下降，即使在明确询问系统变化时，也只有37.5%的参与者（AI优先组41.7%；AI其次组33.3%）报告察觉到了可靠性降低。

讨论与结论

本研究表明，人类监督本身可能不足以可靠检测AI辅助心脏听诊中的系统故障。尽管医师具备专业知识，他们往往无法发现系统可靠性的持续下降，即使在额外提供系统故障证据（如视听不同步）和采用认知强制技术的情况下也是如此。研究人员指出，AI输出的高感知权威性可能是导致医师即使独立处理诊断信息后仍难以有效推翻AI推荐的原因之一。研究结果挑战了“医师能可靠检测并纠正错误AI输出”的假设，并对认知强制技术的支持效果提出了疑问。研究人员强调，有效的监督需要从系统层面和组织层面采取额外措施，例如AI系统应提供不确定性指标或解释以促进监控与错误检测，医疗机构和开发者等利益相关方也应共同承担问责责任。研究结论认为，未来研究应在明确定义监督目标的基础上，考察医师层面、系统层面和组织层面因素如何在临床工作流中共同促成有效监督。