《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Predictions in a Noisy Environment: The Influence of Automation Reliability and Transparency on User Trust
编辑推荐:
本研究探讨了在暴风雪预报背景下,自动化可靠性(automation reliability)与自动化透明度(automation transparency)在决定是否关闭学校的天气相关决策中的潜在交互作用。参与者接收来自四个不同气象服务机构的降雪量及关闭建议,
本研究探讨了在暴风雪预报背景下,自动化可靠性(automation reliability)与自动化透明度(automation transparency)在决定是否关闭学校的天气相关决策中的潜在交互作用。参与者接收来自四个不同气象服务机构的降雪量及关闭建议,这些机构依赖于一个自动化天气预报模型,其可靠性程度有所不同(100% 对 67%)。其中两个服务机构仅提供建议,而另外两个则在提供建议的同时附带了透明度信息,即输入到天气模型中的原始数据或天气症状显示。结果显示,自动化可靠性的降低削弱了对建议的信任(trust)与依赖(dependence),并损害了整体决策准确性(accuracy)。在一个显著的交互作用中,自动化透明度缓解了由可靠性降低带来的负面效应。这些发现被解释为一种在原始数据透明度与气象服务建议之间优化注意力分配(加权)的机制。
论文解读
一、研究背景与问题提出
在个人与职业生活中,人们经常依赖天气预报做出关键决策,例如学校管理者需根据次日降雪量预测决定是否停课。此类决策通常基于气象服务提供的自动化预测模型建议。然而,这类自动化系统的可靠性并非完美,尤其在长时效预测中存在不确定性。已有研究表明,自动化可靠性影响用户的信任、依赖与决策表现,但关于自动化透明度如何调节这一关系的研究尚不充分。具体而言,透明度可能通过两种相反机制发挥作用:一方面,透明度使自动化错误更显著,可能放大低可靠性的负面影响;另一方面,透明度允许用户将注意力分配到原始数据与自动化建议之间,从而削弱低可靠性的冲击。现有六项相关研究中,三项支持后一种衰减假说,一项支持前一种放大假说,两项未发现交互效应。此外,McCarley等人系列研究发现,人机团队的表现往往低于纯自动化系统,且这种“人类参与成本”在自动化可靠性较高时更为明显。基于上述争议与空白,研究人员设计了本实验,旨在同时考察可靠性与透明度对信任、依赖及准确性的联合影响,并验证人类参与是否会拖累团队表现。
二、研究方法概述
本研究采用2×2被试内重复测量设计,自变量为自动化可靠性(100% 对 67%)与透明度(提供原始数据透明性 对 不提供)。因变量包括最终信任评分、依赖率(参与者遵循建议的比例)及决策准确性。参与者为106名大学心理学系本科生,完成基于降雪预报的学校关闭决策任务。每个试验中,参与者从四个虚构气象服务机构获取预报,其中两个机构附带四项原始气象数据(湿度、温度、气压、风向)作为透明度信息。任务包含24个试次,分为四个条件区块,每个区块含六个场景。在不完美可靠性条件下,两个试次的预报被证实错误(虚假警报或遗漏)。参与者每次决策后收到次日实际降雪量的反馈,并在每个区块结束后对相应服务进行信任评分。数据分析采用线性混合效应模型(信任)与广义线性混合效应模型(依赖和准确性),固定效应为可靠性、透明度及其交互项,随机效应为被试。
三、研究结果
信任:透明度降低了最终信任(b = -0.58, t = -4.94, p < .001),可靠性提高了信任(b = 1.69, t = 13.39, p < .001),两者存在显著交互作用(b = 0.93, t = 6.68, p < .001)。该交互模式表明,透明度削弱了可靠性对信任的影响,即低可靠性条件下的信任损失因透明度而减轻,验证了H3假设。
依赖:透明度对依赖无显著主效应(b = -0.41, z = -1.74, p = .083),可靠性显著提高依赖(b = 0.72, z = 3.19, p = .001),两者交互作用显著(b = 0.75, z = 2.38, p = .02)。交互形式与信任一致,透明度不仅削弱而且完全消除了可靠性对依赖的影响。
准确性:透明度对准确性无显著影响(b = -0.39, z = -1.70, p = .09),可靠性显著提高准确性(b = 2.00, z = 10.12, p < .001),交互作用不显著(b = 0.42, z = 1.61, p = .11)。值得注意的是,即使在100%可靠性条件下,参与者的准确性仍显著低于完美水平,表明人类有时会错误地推翻正确建议;而在67%可靠性条件下,两组透明度条件的准确性均恰好匹配自动化本身的67%准确率。
四、讨论与结论
研究结果支持衰减假说:透明度通过鼓励用户更多关注原始数据而非盲目跟随自动化建议,有效减轻了低可靠性对信任和依赖的负面影响。这一模式与大多数先前研究一致,体现了用户注意力分配的“最优性”——即对不可靠证据源赋予较低权重。然而,透明度本身并未带来信任、依赖或准确性的主效应提升,这与部分元分析结果相悖,可能源于本实验中自动化错误的显著性不足。在关系层面,三个因变量的变化方向并不必然一致,尤其当可靠性远低于1时,透明度可能导致信任与依赖下降,进而通过减少自动化偏差提升整体表现,这取决于自动化与人类单独表现的相对水平。此外,独立于透明度,高可靠性条件下人类参与显著降低了团队表现,复现了McCarley等人的现象。研究结论为:自动化可靠性的降低削弱了信任、依赖与准确性,但透明度的实施能够缓解低可靠性带来的伤害。