《Proceedings of the Human Factors and Ergonomics Society Annual Meeting》:Interpreting Seasonal Forecast Visualizations: Differences in Mental Models Between Experts and Users
编辑推荐:
天气与气候预报工具正日益成为个人和社区应对未来状况的重要支撑。尽管近几十年预报物理机制显著改进,预报仍具固有不确定性。本研究比较了季节性预报可视化(Seasonal Forecasting Visualization,SFV)的专家用户(N?=?8)与一般用户
天气与气候预报工具正日益成为个人和社区应对未来状况的重要支撑。尽管近几十年预报物理机制显著改进,预报仍具固有不确定性。本研究比较了季节性预报可视化(Seasonal Forecasting Visualization,SFV)的专家用户(N?=?8)与一般用户(N?=?20)心理模型的准确性与完整性。其中一半用户观看通常随 SFV 附带的简短叙述,另一半不观看。正如预期,专家用户拥有比一般用户更准确、更完整的心理模型;但即便专家也存在会影响正确规划和削弱对季节性预报信任的错误概念。简短叙述改善了心理模型,且对一般用户的影响大于对专家用户的影响。
研究背景方面,季节性预报描述某时段平均天气相对典型气候值的偏离,常按3个月时段发布,是短期天气预报与长年气候预测之间的桥梁。气候科学正从仅专家可解读的产品转向以用户为中心、共同生产(co-production)的信息服务。世界气象组织(World Meteorological Organisation,WMO)提倡面向人群、与潜在用户共同设计。SFV 以颜色编码地图、不确定性锥、图标阵列等呈现概率与不确定性,可支持农业、渔业、灾害管理、能源等行业决策。但季节性预报基于海洋—大气耦合初始条件,系统复杂、混沌且区域认识不足,因此存在高不确定性;心理学研究也表明用户在风险和不确定性解读上存在困难。设计者模型(design model)与用户模型(user’s model)之间可能出现偏差,仅做可用性评估不能反映解读准确性,故采用心理模型方法识别专家与普通用户的理解缺口,并检验简短叙述对理解 SFV 的作用。
研究人员开展的研究为:以南部非洲情境下的 SFV 为材料,系统比较制作者设计模型、专家用户(N?=?8)与普通用户(N?=?20)的心理模型。制作者 N?=?1。通过线下与线上深度访谈,让参与者解释 SFV 各组成,如地理位置、颜色含义、图形坐标轴、时段,再解释如何得出解读。半数参与者仅看 SFV,半数看 SFV 加区域级简短叙述。研究人员依制作者访谈主题建参照表,再逐项比对专家与普通用户理解与设计模型。
主要关键技术方法:研究人员采用面向南部非洲的 SFV 材料,样本包括制作者1人、专家用户8人、普通用户20人;专家为曾开发并广泛使用本区域季节性预报模型者,普通用户为曾有 SFV 使用经验者。方法上以深度访谈收集用户对 SFV 组件的解释与推断过程,并按是否附带简短叙述分组;随后用制作者设计模型作为基准,系统比对各群体对时间周期、缩写、降雨概率图、白色屏蔽区、相对操作特征(Relative Operating Characteristics,ROC)技能图、图文联合解读及应补充信息的理解,从而识别心理模型中的正确、部分正确、错误与未提及情况。
结果与各小节如下。
Comparisons of Expert and General Users:通过访谈与心理模型比对发现,普通用户在 ROC 图、初始条件日期、预报时段、降雨概率图白色屏蔽区方面理解薄弱;虽多能读对总体降雨概率,但常缺乏自信。相同配色使部分普通用户把 ROC 技能图误读为降雨概率图,从而未理解区域预报技能所表达的不确定性。错判初始条件日期会妨碍判断预报提前量,错判预报时段可能导致为错误时期做计划并损害信任。专家模型更完整准确,但部分专家也不理解白色屏蔽区含义、混淆缩写,并不确定还需哪些辅助信息。
Comparisons With/Without the Narrative:通过有无简短叙述分组比较发现,专家很少读叙述,叙述对其模型准确性与完整性仅有小的正向作用,主要改善 ROC 图及其与降雨概率的整合理解。普通用户中,叙述意外提升对白色屏蔽区代表“无法预测”的识别,虽叙述并未明说该含义,可能与提及“Near normal”类别有关。普通用户仍困于预报时段、缩写和 ROC 解读;有叙述时他们常以叙述为意义锚点再读图。两类用户都觉得叙述过于笼统,不能支持具体所在地或任务地的解读。
讨论部分总结:研究人员指出,制作者与两类用户需在共同设计中加强合作。普通用户尤其难准确理解 SFV,且很少意识到应把 SFV 与历史气候平均值等信息联用。设计上应探索更易读的技能表达方式,如历史可靠性百分比或赔率、简化类别“good/fair/poor”、相关性、动画风险轨迹;降雨概率图与 ROC 图应避免同色系;应补充正常区间或历史平均图;应支持地理缩放以服务本地决策。不同行业用户需求未被本研究覆盖,后续需针对小农等群体做定制化分析。
研究结论部分翻译:研究发现,专家与普通用户之间在心理模型完整性与准确性上存在明显差异;普通用户尤其难以理解 SFV。极少普通用户、较少专家提到 SFV 应与其他信息联合使用,例如理解“正常”或历史平均值对读懂“above normal”“below normal”必不可少。具体设计建议包括:因用户难以解读预报技能,应探索其他呈现技能的方法,防止忽略或误读 ROC 图信息;可用历史可靠性百分比或赔率、简化类别(good、fair、poor 或百分比“trust”)、预报与历史记录的相关性,或动画风险轨迹来表示可信度。第二,降雨概率与 ROC 曲线应使用不同配色,否则普通用户会把 ROC 图当作附加概率图。第三,应提供实际正常区间或历史平均图,否则 above-normal 与 below-normal 可能无意义。第四,覆盖整个南部非洲的 SFV 对普通用户价值有限,支持对关注区域“zoom in”有助于更细粒度决策。由于样本未限定特定用户群,农业、保险、可再生能源等行业用户可能有不同需求与行为反应,结果支持按 WMO(2023)共同生产思路,对小农等具体用户群做更有针对性的分析;本研究也为面向小农的 SFV 工作提供依据。