人机协作中的不确定性解释与自我信心互补效应研究:提升AI系统可信度与理解度的协同机制

【字体: 时间:2025年07月29日 来源:Frontiers in Computer Science 2.7

编辑推荐:

  这篇综述探讨了在人类与人工智能(AI)协作决策中,如何通过结合不确定性估计(Uncertainty Estimates)和解释(XAI)来优化协同效能。研究通过实证分析(n=112)揭示了人类自信心(Self-confidence)与模型置信度(Model Confidence)的交互作用,证明低自信用户更易受益于高置信度AI预测(准确率提升显著,p<0.001)。同时,解释性信息显著增强用户对模型决策过程的理解(H2验证,p=0.007),而全局/局部不确定性指标的联合使用可调节用户依赖行为(H4)。研究为高风险领域(如医疗诊断)的AI系统设计提供了理论依据,强调需同步优化可靠性(Reliability)与可理解性(Understandability)指标。

  

人机协作中的互补效应机制

引言:
随着AI系统融入高风险领域(如医疗诊断和司法决策),有效的人机协作需要用户能评估何时及为何信任模型预测。本研究创新性地探讨了不确定性估计与解释性信息的协同作用,重点关注人类自信心与模型置信度如何共同塑造依赖行为、理解度和信任关系。通过收入预测任务的对照实验,揭示了四种辅助策略的差异化效果:仅提供预测、预测+概率、预测+概率+召回率、以及全信息+特征重要性解释(SHAP生成)。

研究方法:
实验设计采用分层抽样,从成人数据集中筛选56个特征平衡的实例,确保人类与模型基线准确率相当(约75%)。112名参与者被随机分配至四种条件组,通过三阶段任务(自主预测-接收辅助-最终决策)收集数据。关键创新点在于同步测量主观指标(7级Likert量表评估依赖度、理解度、信任度)与客观指标(9项多选题测试模型理解),并控制人类/模型置信度的四种组合场景。

核心发现:

性能提升的黄金组合
数据显示,当用户自信心低而模型置信度高(>80%)时,协同准确率显著提升(p<0.001)。这种效应在提供局部置信度(Local Confidence)时最为突出,准确率差值达+19.4%。有趣的是,当双方均高度自信时,解释性条件反而出现轻微性能下降(-5.2%),暗示信息过载可能导致过度依赖(Over-reliance)。全局不确定性指标(如类别召回率)的引入,则使用户能更精准识别模型弱点——当"收入>100K"类别的召回率仅50%时,用户跟随预测的比率骤降41%。

理解度的解释优势
尽管不确定性信息足以提升准确率,但解释性条件在理解度测试中展现出压倒性优势:64.3%参与者能正确识别局部特征重要性(其他条件均为0%),且在反事实推理(Counterfactual Reasoning)和模型模拟(Model Simulation)任务中得分高出32%。这种优势可能源于SHAP解释将抽象概率转化为可视化的决策路径,符合双系统认知理论(Dual-process Theory)中系统2的深度加工需求。

信任的动态校准
信任评分呈现复杂模式:在解释性条件下,高模型置信度使信任评分提升12.3%,显著高于局部置信度条件的9.6%。这表明解释能缓解因全局错误率导致的信任衰减——当用户可验证模型推理逻辑时,即使知道类别整体准确率低,仍愿采纳合理预测。值得注意的是,信任与依赖行为存在显著解耦:在29%的预测一致案例中,用户自评依赖度<3/7,证实单纯用同意率(Agreement Rate)衡量信任存在误导性。

方法论启示:
研究揭示了当前AI信任测量的局限性。切换率(Switching Percentage)虽能反映依赖行为,但定性分析发现其与信任评分存在65.7%的增幅差。建议未来研究结合专业信任量表(如Madsen-Gregor量表)与行为指标,并考虑采用纵向设计追踪用户态度演变。对临床决策支持系统等高风险应用,推荐采用"置信度+召回率+局部解释"的三级信息呈现策略,既保证性能又促进责任归属判断。

前沿展望:
该研究为AI辅助系统的认知增强(Cognitive Augmentation)设计开辟了新思路。后续可探索解释不确定性(Explanation Uncertainty)的量化传达,如通过聚类特定召回率(Cluster-wise Recall)替代全局指标。在神经科学层面,需进一步研究前额叶执行功能(如工作记忆、抑制控制)如何中介解释信息的处理效率。跨文化比较和专家-新手差异研究也将是重要方向。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号