关于算法透明度的讨论通常集中在揭示和理解人工智能(AI)系统如何生成结果的技术层面(Grimmelikhuijsen, 2023)。这种做法往往将算法决策与其运作的制度和社会背景隔离开来,将算法的不透明度视为一个纯粹的计算问题,认为可以通过公开代码、选择更具解释性的模型或实施能够识别影响AI结果的主要变量的计算方法来解决。这些技术解决方案主要针对AI开发者,常常忽视了算法系统的其他利益相关者,如最终用户(Miller et al., 2017)。此外,这些方法还经常忽略算法系统是在现有组织结构(如公共机构)和特定背景(如医疗或教育)中运行的,而这些因素会影响不同利益相关者对这些系统的认知和信任。
最近的研究在“以人为中心的可解释AI”(Human-Centered eXplainable AI,HCXAI)这一概念下,对有效传达算法决策和促进理解的各种挑战进行了探索,旨在帮助不同人群为实现目标采取有意义的行动。HCXAI的一个关键方面是认识到解释措施可以惠及广泛的利益相关者,包括AI开发者、直接与AI系统交互的用户以及可能不直接与其交互但受其影响的个体(Papadakis et al., 2024; Okolo & Lin, 2024)。相关文献还将“可解释性”(即用人类可理解的术语描述算法决策过程的能力)与“解释”(指算法系统与人类之间信息传递的方式)区分开来(Haresamudram, Larsson, & Heintz, 2023)。后者的范围超出了算法本身,涵盖了社会规范、文化期望、用户素养和法律框架等背景因素(Haresamudram, Larsson, & Heintz, 2023)。这一研究方向表明,解释的产生和接受并非孤立发生,而是受到更广泛制度和社会背景的影响。
然而,HCXAI相关研究往往在特定情境下探讨透明度和解释问题,这些情境与更广泛的社会制度背景有所脱离。大多数研究集中在低风险场景(Jacovi et al., 2021),例如个人在游戏中的决策(Vasconcelos et al., 2023),或者高度专业化的高风险场景,例如研究医生如何使用特定算法输出(Allgaier et al., 2023)。我们的研究旨在扩展这一视角,关注已在公共服务中运行多年的算法系统。这种关注使我们能够探讨算法系统设计与社会制度背景之间的动态如何影响用户对透明度的认知、信任以及他们对算法透明度的期望。
在这项研究中,我们调查了公民对自动化或中介教育及医疗公共服务的算法系统透明度的需求,例如学生分配和带薪医疗休假等。我们还研究了这些需求如何受到社会制度背景的影响。这一关注基于这样的认识:透明度不仅是算法系统的技术属性,还受到制度结构、组织程序和社会规范的塑造。在公共部门遇到算法决策的公民可能会面临超出理解决策过程的障碍,包括对实施算法系统的公共机构的不信任以及有限的数字技能,这些因素阻碍了他们理解和利用这些系统的能力。这些问题凸显了需要提供能够考虑当地社会制度特殊性的解释的必要性。同时,开发既能提供信息又能赋予公民批判性参与能力的解释也至关重要。
因此,受“设计透明度”框架(Felzmann et al., 2020)的启发,我们将透明度概念化为一个多层次的社会技术结构,该结构由微观、中观和宏观层面的动态共同塑造,涵盖了人们理解和信任算法系统的信息、关系和制度条件。
实现这一目标需要深入探讨算法系统,尤其是AI,在当地和较少被研究的背景(如智利)中的体验和认知。智利是一个对公共机构信任度较低、公共部门数字化转型承诺强烈且数字不平等程度较高的拉丁美洲国家。由于大多数HCXAI框架和研究都是在全球北方发展的,因此考虑算法系统在多样化社会制度背景下的挑战和机遇至关重要。这种方法有助于更细致地理解算法和AI如何在各种环境中塑造体验和影响。
根据这一视角,参与式设计传统上被用来将最终用户的观点纳入系统设计中,从而产生更符合其特定使用背景的解决方案(Müller, 2004)。了解最终用户的观点对于识别人们在特定情境中遇到的挑战、理解技术应用的背景、确定需求、集思广益解决方案以及评估设计方案是否满足这些需求至关重要(Maguire, 2001)。最近的研究多次呼吁采用参与式设计来促进更透明的AI应用,尤其是在多样化的高影响力背景下(Zytko et al., 2022; Okolo, 2020)。
因此,通过包括48名参与者在内的六次焦点小组讨论,本研究探讨了智利公共教育和医疗服务中嵌入的算法系统的透明度相关公民的观点、期望和建议。