当标签说谎:决策支持中源—规模偏差与实际经验的分离

《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:When Labels Lie: Dissociating Source–Scale Bias From Experienced Performance in Decision Support

【字体: 大 中 小 】 时间:2026年10月23日 来源:Proceedings of the Human Factors and Ergonomics Society Annual Meeting

编辑推荐:

  决策支持系统(DSS)通常在用户对其缺乏充分直接经验的情况下被评估。因此,这些系统的标签方式可能从一开始就塑造了用户的选择、依赖行为和感知可靠性。本研究考察了在限时目标检测任务中,显示的源标签和规模标签是否会导致DSS使用偏差。参与者在杂乱图像中搜索蝙蝠,并在

  
决策支持系统(DSS)通常在用户对其缺乏充分直接经验的情况下被评估。因此,这些系统的标签方式可能从一开始就塑造了用户的选择、依赖行为和感知可靠性。本研究考察了在限时目标检测任务中,显示的源标签和规模标签是否会导致DSS使用偏差。参与者在杂乱图像中搜索蝙蝠,并在由不同源(人类群体或机器生成)和规模(中等或大型)区分的顾问之间进行选择。研究人员进行了两项实验:默认标签(DL)实验,其中显示的标签与底层推荐源匹配;翻转标签(FL)实验,其中显示的源标签与底层推荐源解耦。总体而言,源标签和规模标签影响了DSS使用的不同阶段。参与者选择大规模标签的比例高于随机水平,而机器标签的辅助并未比人类群体标签的辅助更受青睐。遵从率很高且与顾问准确率紧密匹配,大规模标签辅助的遵从率略高于中等规模标签辅助。反应时间主要反映重复暴露效应。感知可靠性评级显示显著的标签条件×显示源交互作用,错误类型分析表明人类群体标签下对假阳性推荐的易感性更高。综上,这些结果表明源标签和规模标签以不同方式塑造了初始选择、试验层面的依赖和使用后的可靠性判断。
一、研究背景、问题与研究意义
决策支持系统(DSS)已广泛应用于视觉筛查、预测、医学或工业审查等人类判断场景。由于用户通常无法完全了解系统的内部运作机制,他们往往依赖界面线索、任务背景和早期表现来决定是否遵循、忽视或谨慎监控该系统。经典的自动化信任理论指出,适当的依赖不仅取决于实际可靠性,还取决于系统的呈现方式以及用户如何通过经验学习。近年来关于人工智能辅助决策的研究同样强调,人机协作绩效取决于用户对该辅助工具是什么、它知道什么以及何时有用的心智模型。
然而,用户在获得充分的直接经验之前,常常就需要对DSS进行评估。这意味着系统的标签方式——例如将推荐描述为来自人类群体(human-crowd)还是机器生成(machine-generated),以及规模是中等(medium)还是大型(large)——可能在初期就塑造用户的选择、依赖和感知可靠性。尽管已有研究表明用户在选择决策辅助时会更重视规模线索而非源标签,但当显示标签与底层推荐源分离时,源标签和规模标签是否仍会持续影响DSS的使用尚不清楚。因此,本研究旨在检验在显示标签与底层推荐源解耦的条件下,源标签和规模标签对DSS选择、遵从、反应时间、感知可靠性和错误处理的影响。
二、关键技术方法
研究人员通过Prolific平台招募了93名成年在线参与者,开展了一项约30分钟的实验。实验采用改编自先前众包研究的限时视觉目标检测任务,参与者需在复杂合成图像中搜索蝙蝠剪影并判断目标是否存在。研究设置了两个实验:默认标签(Default-Label, DL)实验中显示标签与底层推荐源匹配;翻转标签(Flipped-Label, FL)实验中显示源标签与底层推荐源解耦。两个底层推荐源的图像级准确率均设定为80%,但错误组成不同:机器源产生更多假阳性错误,人类群体源产生更多假阴性错误。主要结果测量包括顾问选择、遵从性、反应准确性、反应时间、感知可靠性等,采用参与者聚类的逻辑广义估计方程(GEE)进行分析。
三、研究结果
顾问选择(H1a): 顾问选择在区块层面进行分析。显示源未产生稳定的选择偏好:DL中机器标签辅助的选择率为49.5%,FL中为47.9%。显示规模则表现出更强的模式:两项实验中参与者选择大规模标签的比例为55.9%,显著高于随机水平(OR=1.268, p<.001)。H1a得到部分支持:显示规模显著影响选择,但显示源无显著影响。
推荐遵从性(H1b): 参与者在大多数试验中遵循推荐,DL和FL的遵从率几乎相同(分别为79.3%和79.2%)。主模型中唯一显著的标签预测因子是显示规模:中等规模标签的遵从率低于大规模标签(OR=0.818, p=.006)。进一步的交互作用分析显示,FL中显示源×显示规模的交互作用显著(OR=0.651, p=.005),而DL中不显著(p=.833),表明标签条件改变了源和规模对遵从性的联合影响。
反应时间和后区块评分(H2和H3): 反应时间方面,显示源(p=.498)、显示规模(p=.243)及其与标签条件的交互作用均不显著,但反应时间随区块推进而下降,符合任务熟悉化效应。感知可靠性方面,DL中机器标签顾问(M=6.41)被评为比人类群体标签顾问(M=5.82)更可靠,而FL中方向逆转,人类群体标签顾问(M=6.21)被评为比机器标签顾问(M=5.68)更可靠。标签条件×显示源的交互作用显著(b=-1.117, p=.006)。
后续错误类型分析: 在人类群体标签发出假阳性推荐的试验中,FL中参与者同样回答“目标存在”的比例(33.8%)高于DL(21.9%),该对比接近但未达到常规显著性水平(OR=2.11, p=.056)。
四、讨论与结论
讨论总结: 研究结果表明,源标签和规模标签并未产生单一的统一偏差,而是对不同结果产生了不同的影响:规模最明显地影响了选择,遵从性整体较高且大规模标签略有优势,反应速度主要反映重复暴露,感知可靠性评级因条件而逆转,假阳性模式提示源标签可能影响参与者对肯定性警报的解释。参与者并未表现出简单的机器优于人类的偏好。这些发现使简单的算法欣赏或算法厌恶观点复杂化,更符合源标签、观察到的可靠性、任务背景和错误历史共同决定建议采纳的观点。在实际应用中,DSS界面设计者不应仅提供源和规模作为描述性背景,还应考虑呈现错误特征描述、近期表现总结或不确定性显示,以促进更好的校准。
研究结论翻译: 这些结果表明,源标签和规模标签在决策过程的不同阶段以不同方式塑造DSS的使用。参与者并未表现出对机器标签辅助相对于人类群体标签辅助的稳定偏好,但在选择顾问时确实表现出对大规模标签的显著偏好。在任务过程中,遵从率很高且大规模标签辅助的遵从率略高,而反应速度主要反映重复任务暴露。后区块可靠性评级和错误类型结果进一步表明,参与者根据显示标签以及他们所经历的推荐/错误模式对顾问进行了不同的评价。总之,这些发现表明DSS标签不仅仅是描述性的,它们可以塑造期望、引导早期选择,并影响用户如何解释推荐,尤其是在系统的错误倾向不透明时。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号