一种用于在公共部门传达算法系统的三层透明性框架:探索与最终用户协同进行原型设计的方法

《International Journal of Human-Computer Studies》:A three-layered transparency framework for communicating algorithmic systems in the public sector: Exploring participatory prototype design with end users

【字体: 时间:2026年02月16日 来源:International Journal of Human-Computer Studies 5.1

编辑推荐:

  本研究通过参与式设计焦点小组调查,分析智利公共教育和服务中算法透明性需求。研究发现公民期望与机构信任及具体算法影响相关,强调需结合微观信息、中观关系和宏观制度的多层次透明设计,并实现渐进式信息披露与可挑战性决策通道。

  
特蕾莎·科雷亚(Teresa Correa)|弗朗西斯卡·卢科(Francisca Luco)|叶莲娜·埃尔南德斯-埃斯特拉达(Yelena Hernández-Estrada)|伊纳基·奥亚尔孙-梅里诺(I?aki Oyarzún-Merino)|克劳迪娅·洛佩兹(Claudia López)
智利圣地亚哥迭戈·波塔莱斯大学(Universidad Diego Portales, Santiago, Chile)

摘要

关于算法透明度的讨论主要集中在揭示人工智能(AI)系统如何生成结果的技术策略上,往往将这种不透明性视为一个与算法决策所处的制度和社会环境无关的计算问题。为了解决这一差距,本研究探讨了智利公共服务中嵌入的算法系统如何被公民感知、信任以及他们对透明度的需求,特别是那些负责管理教育和医疗福利获取的系统。基于“设计透明度”(Transparency by Design)框架,我们将透明度概念化为一个由微观层面的信息条件、中观层面的关系动态和宏观层面的制度结构共同塑造的社会技术多层次结构。我们进行了六次参与式设计焦点小组讨论(n=48),以收集公民对透明度的看法、期望和建议。研究结果表明,人们对透明度的期望与对机构的信任密切相关:在抽象讨论中,参与者倾向于认为AI是可靠的;但在涉及具体且影响重大的算法系统中,他们要求获得能够阐明机构流程、增强情境意识并保持人类控制权的解释。公民表达了事前和事后的不同透明度需求,支持逐步披露信息,并呼吁提供关于系统完整性的可访问性沟通渠道以及明确的决策质疑途径。我们认为,公共部门的算法透明度应超越技术解释,涵盖关系和制度方面,而参与式方法是设计能够促进公民能动性的透明度的关键。

引言

关于算法透明度的讨论通常集中在揭示和理解人工智能(AI)系统如何生成结果的技术层面(Grimmelikhuijsen, 2023)。这种做法往往将算法决策与其运作的制度和社会背景隔离开来,将算法的不透明度视为一个纯粹的计算问题,认为可以通过公开代码、选择更具解释性的模型或实施能够识别影响AI结果的主要变量的计算方法来解决。这些技术解决方案主要针对AI开发者,常常忽视了算法系统的其他利益相关者,如最终用户(Miller et al., 2017)。此外,这些方法还经常忽略算法系统是在现有组织结构(如公共机构)和特定背景(如医疗或教育)中运行的,而这些因素会影响不同利益相关者对这些系统的认知和信任。
最近的研究在“以人为中心的可解释AI”(Human-Centered eXplainable AI,HCXAI)这一概念下,对有效传达算法决策和促进理解的各种挑战进行了探索,旨在帮助不同人群为实现目标采取有意义的行动。HCXAI的一个关键方面是认识到解释措施可以惠及广泛的利益相关者,包括AI开发者、直接与AI系统交互的用户以及可能不直接与其交互但受其影响的个体(Papadakis et al., 2024; Okolo & Lin, 2024)。相关文献还将“可解释性”(即用人类可理解的术语描述算法决策过程的能力)与“解释”(指算法系统与人类之间信息传递的方式)区分开来(Haresamudram, Larsson, & Heintz, 2023)。后者的范围超出了算法本身,涵盖了社会规范、文化期望、用户素养和法律框架等背景因素(Haresamudram, Larsson, & Heintz, 2023)。这一研究方向表明,解释的产生和接受并非孤立发生,而是受到更广泛制度和社会背景的影响。
然而,HCXAI相关研究往往在特定情境下探讨透明度和解释问题,这些情境与更广泛的社会制度背景有所脱离。大多数研究集中在低风险场景(Jacovi et al., 2021),例如个人在游戏中的决策(Vasconcelos et al., 2023),或者高度专业化的高风险场景,例如研究医生如何使用特定算法输出(Allgaier et al., 2023)。我们的研究旨在扩展这一视角,关注已在公共服务中运行多年的算法系统。这种关注使我们能够探讨算法系统设计与社会制度背景之间的动态如何影响用户对透明度的认知、信任以及他们对算法透明度的期望。
在这项研究中,我们调查了公民对自动化或中介教育及医疗公共服务的算法系统透明度的需求,例如学生分配和带薪医疗休假等。我们还研究了这些需求如何受到社会制度背景的影响。这一关注基于这样的认识:透明度不仅是算法系统的技术属性,还受到制度结构、组织程序和社会规范的塑造。在公共部门遇到算法决策的公民可能会面临超出理解决策过程的障碍,包括对实施算法系统的公共机构的不信任以及有限的数字技能,这些因素阻碍了他们理解和利用这些系统的能力。这些问题凸显了需要提供能够考虑当地社会制度特殊性的解释的必要性。同时,开发既能提供信息又能赋予公民批判性参与能力的解释也至关重要。
因此,受“设计透明度”框架(Felzmann et al., 2020)的启发,我们将透明度概念化为一个多层次的社会技术结构,该结构由微观、中观和宏观层面的动态共同塑造,涵盖了人们理解和信任算法系统的信息、关系和制度条件。
实现这一目标需要深入探讨算法系统,尤其是AI,在当地和较少被研究的背景(如智利)中的体验和认知。智利是一个对公共机构信任度较低、公共部门数字化转型承诺强烈且数字不平等程度较高的拉丁美洲国家。由于大多数HCXAI框架和研究都是在全球北方发展的,因此考虑算法系统在多样化社会制度背景下的挑战和机遇至关重要。这种方法有助于更细致地理解算法和AI如何在各种环境中塑造体验和影响。
根据这一视角,参与式设计传统上被用来将最终用户的观点纳入系统设计中,从而产生更符合其特定使用背景的解决方案(Müller, 2004)。了解最终用户的观点对于识别人们在特定情境中遇到的挑战、理解技术应用的背景、确定需求、集思广益解决方案以及评估设计方案是否满足这些需求至关重要(Maguire, 2001)。最近的研究多次呼吁采用参与式设计来促进更透明的AI应用,尤其是在多样化的高影响力背景下(Zytko et al., 2022; Okolo, 2020)。
因此,通过包括48名参与者在内的六次焦点小组讨论,本研究探讨了智利公共教育和医疗服务中嵌入的算法系统的透明度相关公民的观点、期望和建议。

章节片段

算法透明度和HCXAI

算法透明度是对算法不透明性的回应,即个体在无法理解产生结果的过程的情况下面临自动化决策的情况(Burrell, 2016)。这种不透明度阻止用户判断决策是否采用了合理的方法,阻碍了他们质疑结果或制定更有利结果的策略(Vaassen, 2022)。虽然有诸如可解释AI(XAI)之类的透明度机制(Vilone &

背景和研究问题

大多数关于算法透明度和信任的研究集中在全球北方(Ayana et al., 2024)。尽管算法系统,特别是自动化决策和AI,在全球范围内的整合日益增加,但关于这些系统在南方国家如何运作的研究仍然有限(Okolo, Dell, & Vashistha, 2022)。因此,了解这些系统在特定本地背景下的体验、理解和信任至关重要。在拉丁美洲等地区,这些

方法

在本节中,我们将介绍作为研究对象的算法系统,并详细说明研究设计、样本和分析策略。

结果

我们的两个研究问题聚焦于公民对公共部门中算法系统(尤其是AI)的看法,以及为智利特定算法系统设计透明度的方法,从而得出了各种结果。我们将这些结果分为两个分析层面:对抽象AI的看法和对具体系统的看法。下面将分别进行解释。

讨论

当前的算法透明度和解释方法可能尚未充分考虑塑造公民与算法系统互动的独特制度和社会因素。因此,本研究的目的是探讨智利公民如何看待和信任公共部门的算法系统,并探索他们在为这些系统设计解释时的优先事项。部署这些系统的机构并非中立的中介:它们承载着声誉

结论

研究表明,公民对算法透明度的期望受到这些系统运作制度背景的影响。虽然参与者在抽象层面上倾向于认为AI是可靠的,但他们在接触具体且影响重大的系统时,强烈希望获得能够阐明机构流程、增强情境意识并保持人类控制权的解释。公民强调了事前和事后的透明度、逐步披露信息的重要性

研究数据声明

如需定性数据,请联系相应作者。

未引用的参考文献

Dietvorst et al., 2015, Ibánez, 2024, Kizilcec, 2016, López et al., 2025

CRediT作者贡献声明

特蕾莎·科雷亚(Teresa Correa):撰写 – 审稿与编辑,撰写 – 初稿,监督,项目管理,调查,概念化。弗朗西斯卡·卢科(Francisca Luco):撰写 – 审稿与编辑,撰写 – 初稿,方法论,调查,数据分析,概念化。叶莲娜·埃尔南德斯-埃斯特拉达(Yelena Hernández-Estrada):撰写 – 初稿,可视化,资源准备,方法论,数据管理。伊纳基·奥亚尔孙-梅里诺(I?aki Oyarzún-Merino):撰写 – 初稿,可视化,方法论,调查,数据
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号