用户界面解释：一项系统性文献综述

《ACM Computing Surveys》：Explanation User Interfaces: A Systematic Literature Review

　　摘要

要查看这份由AI生成的摘要，您必须拥有高级会员权限。了解更多信息请登录。

摘要
人工智能是本世纪的主要技术进步之一，通过多种领域的AI驱动应用程序和工具为用户带来了巨大的潜力。由于人工智能系统通常是“黑箱”（即其决策过程难以理解），开发人员通常会采用可解释人工智能（XAI）技术来解释AI模型的行为，从而创建出透明、公平、可靠且值得信赖的系统。然而，向用户提供解释并非易事，这往往被视作系统设计过程中的次要方面，导致最终用户难以使用这些AI系统。本文对解释用户界面（XUI）进行了系统文献综述，以深入理解学术文献中采用的解决方案和设计指南，以便有效地向用户提供解释。为了提高这项调查的贡献度和实际影响力，我们还提供了一个名为HERMES的平台，以支持可解释用户界面的以人为本的开发，并指导从业者和学者进行XUI的设计和评估。

AI摘要 | AI生成的摘要（实验性）
该摘要是使用自动化工具生成的，并非由文章作者编写或审核。它旨在帮助发现、评估相关性，并帮助相关领域的读者理解这项工作。它作为对作者提供的摘要的补充，后者的内容仍是本文的权威版本。点击此处了解更多信息。点击此处评论该摘要的准确性、清晰度和实用性。您的反馈将有助于改进未来的版本。要查看这份由AI生成的通俗语言摘要，您必须拥有高级会员权限。

1 引言
近年来，人们对人工智能（AI）领域表现出了显著的兴趣，AI已成为学术界和工业界的热门话题。AI是计算机科学的一个分支，专注于构建能够执行与人类智能相关任务（如推理和问题解决）的系统[147]。AI技术的迅速发展使得这些系统在医疗保健、金融和交通等多个领域得到广泛应用。机器学习（ML）作为AI的一个子领域，使得系统能够在没有明确编程的情况下从数据中学习模式并进行预测，例如使用神经网络等技术[118]。由于其能够提供区分性和预测能力，ML特别受到关注，从而推动了图像识别、自然语言处理和自主系统等复杂应用程序的发展。深度学习（DL）作为ML的进一步专业化，利用多层神经网络从大型数据集中自动学习层次化表示，实现了图像识别和自然语言处理等复杂应用[95]。随着机器学习模型复杂性的增加，对其可解释性和透明度的关注也随之增加，尤其是基于DL架构的模型。这些模型通常像“黑箱”一样运行，使得用户难以理解和解释其决策过程[62]。黑箱式ML模型对用户构成了各种威胁；例如，当模型内部工作机制不明确时，不公平和不公正的偏见风险会增加[110]。因此，全球各国立法机构正试图规范这类系统的使用。例如，欧盟最近发布了旨在实现这一目标的AI法案[47]。大多数法规都强调了AI系统需要具备责任感、公平性和可解释性的要求[23, 47]。这引发了人们对可解释人工智能（XAI）技术的需求，这类技术可以阐明这些模型的决策过程，从而提高高风险自动化决策环境中的信任度、责任感和风险管理[48, 158]。XAI是AI的一个子领域，最初由国防高级研究计划局（DARPA）在2017年正式提出[63]，其目标是“打开”黑箱模型，使其内部工作机制变得清晰、可解释[62, 63]。尽管存在不同的黑箱模型解释技术（第2.1节将详细介绍），但“良好”解释的通用且精确的定义尚未确立。多项研究表明，大部分关于XAI的研究都是基于研究人员对什么是“良好”解释的直觉[1, 27, 101, 114]，实际上将XAI主要视为一个算法问题。因此，研究人员设计的XAI算法与其在现实世界中的应用之间存在差距[101]。为了填补这一差距，人机交互（HCI）研究最近开始关注基于AI的应用和XAI，这体现在以人为本的人工智能（HCAI）研究领域的兴起，该领域从用户需求的角度重新定义了AI的开发[161]。自DARPA首次提出XAI概念以来，XAI系统的设计经历了两个阶段：算法模型的设计以及用户界面（UI）的设计[30]。这类UI通常被称为解释用户界面（XUI）[30]。与其他类型的UI一样，XUI必须采用以人为本的设计方法才能成功并易于使用[74]。在这项研究中，我们遵循Kitchenham的程序[87]进行了系统文献综述（SLR），旨在全面概述XUI的设计。我们的总体目标是识别以人为本的XUI和XAI算法的设计趋势，从而全面了解以人为本的可解释人工智能（HCXAI）的发展状况。具体而言，我们致力于系统化XUI设计四个相互关联方面的知识：（i）用于生成解释的XAI模型；（ii）用于提供解释的解决方案；（iii）用于评估设计的用户研究和以人为本的技术；（iv）可以帮助设计师和从业者的设计指南和框架。本文的结构如下：第2节介绍关键背景概念；第3节介绍进行SLR的方法论及指导研究的四个问题；第4节报告回答这四个问题的结果；第5节通过分析每个研究问题的维度得出结论；此外，还介绍了HERMES平台，用于指导XUI的设计和评估；第6节提出开放的研究挑战；第7节指出我们研究的局限性，并强调可能影响其有效性的任何潜在问题；最后，第8节总结全文。

2 背景
本节概述了XAI领域，重新梳理了文献中已有的方法分类，这些分类有助于理解本研究的结果。同时，还探讨了以人为本方法的需求及其对XUI的影响。

2.1 可解释人工智能
在XAI中，解释可以分为全局解释和局部解释。全局解释有助于用户了解黑箱模型的整体运作方式[62]。相比之下，局部解释侧重于理解模型对个别案例的预测[62]。此外，AI模型处理的数据类型也会影响解释方式。XAI方法最常应用于表格数据、文本数据和图像数据，但也可以处理其他类型的数据，如时间序列[170]、音频[4]和图表[127]。基于所使用解释类型的XAI技术分类如下[2, 62]：

- 可解释模型：一小部分可解释模型，如决策树和决策规则，可以通过近似其全局或局部行为来解释更复杂的模型。例如，决策树可以近似复杂模型的行为，将其解释为一系列if-then-else规则。这类研究建立在从训练有素的人工神经网络[10]和神经模糊系统[119]中提取符号规则的基础之上，并在最近关于符号知识提取和注入的综述中得到了系统化[32]。
- 特征重要性解释：可以通过描述每个特征在决策过程中的重要性（即权重）来提供解释。这类技术被称为“事后”解释方法，因为它们可以在构建复杂模型之后使用。例如，局部可解释模型不可知解释（LIME）[141]是一种技术，它通过用一个更简单、更可解释的模型来近似模型的局部行为来解释单个预测。
- Shapley值解释：基于特征重要性的解释方法之一是Shapley加性解释（SHAP），该方法利用合作博弈论为模型的输出分配每个输入特征的权重，确保解释的一致性和局部准确性[107]。与只能提供局部解释的LIME相比，SHAP可以生成全局解释，但计算成本较高。
- 显著性掩码：显著性掩码突出显示原始实例（例如图像中的像素集或句子中的单词）中对特定结果起主要作用的子集。因此，“显著掩码”可以直观地显示决定结果的输入实例的方面。显著性掩码通常用于解释深度神经网络。例如，类别激活映射（CAM）[189]及其泛化形式梯度加权类别激活映射（Grad-CAM）[155]利用注意力机制突出显示图像的内容，并将其可视化为解释。显著性掩码也适用于文本：理由[99]是一段简短连贯的文本，代表了一组足够的单词，可以单独用来预测原始文本。
- 敏感性分析：这种技术可以通过评估输入和输出之间的不确定性来检查黑箱模型[149]。敏感性分析通常用于开发用于检查黑箱的可视化工具。
- 部分依赖图：部分依赖图（PDPs）是图形化表示，显示了一个或多个输入特征与模型预测之间的关系，同时平均了其他特征的影响。PDPs有助于理解某些输入特征的变化如何影响黑箱模型的输出。个体条件期望[58]是PDPs的扩展，可以可视化特征与预测结果之间的关系，同时考虑数据集中的每个个别实例，而不仅仅是平均值。
- 基于原型/示例的解释：原型（或原型）是代表相似实例的对象（例如属于某一类别的实例）。这些解释与结果一起返回一个与分类记录非常相似的原型，以突出预测背后的理由。例如，可以通过一组点的特征平均值获得原型[53]。
- 反事实解释：反事实解释展示了输入特征的微小变化如何改变模型的预测。它们通过提供示例来回答“如果...会怎样”的问题，即输入实例需要如何改变才能在输出中达到不同的类别。多样反事实解释（DiCE）是一种方法，为给定实例生成多个不同的反事实实例，帮助用户理解实现期望结果的不同方法[121]。
- 神经元激活：这些可解释技术研究神经网络中的单个神经元（或神经元组）如何响应特定输入。最常见的神经元激活方法包括激活最大化技术[44, 128]。这些方法寻找高度激活特定神经元或神经网络层的输入，以揭示训练有素的识别模式；这可以生成全局可解释模型，特别是对于图像识别模型来说，有助于识别哪些图像块负责特定的神经激活。

2.2 以人为本的可解释人工智能
尽管XAI旨在解决基于AI的系统的挑战，但这些系统尽管精度很高，却往往仍局限于研究环境，未能产生能够以可靠、安全和可信的方式展示结果和解释的可用系统。在现实世界的背景下，人们通常不愿意或无法信任那些不提供决策过程洞察力的黑盒系统[35]。这种缺乏透明度的现状使得最终用户无法质疑人工智能的决策，可能会让有害的偏见被忽视[164]。为应对这些挑战，近年来在人机交互（HCI）与人工智能（AI）的交叉领域出现了一个新的研究方向，即HCAI[40]。HCAI提出了一种与AI互动的新视角，旨在增强而非取代人类的能力和专业知识[160]。HCAI系统被设计为符合伦理标准，反映人类智能，并考虑人类因素[182]。最近在HCAI领域的研究表明，在设计AI系统时需要一个真正以人为中心的过程，这说明没有一种“一刀切”的方法，因为不同的用户目标需要对系统自动化和控制的程度有不同的要求[46]。HCAI的一个里程碑是采用HCI方法来进行HCAI的设计和开发。特别是，HCAI强调了用户研究在获取需求和验证最终系统中的重要性。以用户为中心的设计（HCD）是HCI中用于设计满足用户需求和期望的系统的一般模型；它规定从规划阶段开始就应让用户参与进来，识别用户需求成为一个关键步骤[143]。现在有多种基于HCD的设计过程，例如以用户为中心的设计（UCD）Sprint[94]。HCD要求理解谁将使用该系统、在何处使用以及如何使用。然后通过设计-评估循环来设计系统。由于设计基于对用户行为、需求和期望的实证知识，因此可以避免严重的错误并节省纠正这些错误的时间。在HCAI中，当期望用户与系统有直接互动时（例如在消费应用、教育软件或健康相关支持中），采用HCD是必要的。在这种情况下，精心设计的人机交互AI接口对AI系统的成功至关重要[39, 46, 140, 161]。此外，当AI系统应用于医学等高风险领域时，可解释性至关重要[35, 57, 169]。因此，需要一个经过深思熟虑的、以用户为中心的用户交互界面（XUI）。

2.3 解释用户界面（Explanation User Interfaces）
最初是由DARPA引入了作为XAI算法与用户之间中介的界面概念[63]。DARPA将XAI过程分为两个不同的阶段：生成解释本身，以及通过用户界面（UIs）呈现这些解释。这个两阶段过程的定义在学术文献中得到了共识。Danilevsky等人区分了解释技术和解释可视化：前者涉及生成“粗略”的解释（通常由AI研究人员提出），而后者则关注如何将这些“粗略”的解释呈现给用户[36]。Chromik和Butz对XUIs给出了一个严格的定义[30]。一般来说，XUIs可以为各种形式的解释进行设计，无论是局部的还是全局的，并且可以以文本形式、视觉形式或两者的组合形式呈现[21]。XUIs还可以利用其他模式，如声音和触觉界面[34, 152, 153]。根据XUIs的定义[30]，其发展有两个关键方面：交互性和对不同类型用户的适应性。自适应系统会根据其用户模型和特定任务的上下文感知机制自动改变其行为。自适应系统很重要，因为没有“典型”的用户；用户多种多样，而且个别用户的需求会随时间变化[52]。

交互性在解释过程中起着核心作用[114]。人机交互研究强调了设计界面的重要性，这些界面允许用户自由探索解释[1]，提出后续问题，并根据需要访问额外细节[89]。在现实世界的场景中实现这种可用性水平需要用户在从初始系统设计到最终测试阶段的整个工程过程中持续参与[143]。然而，尽管在人机交互领域受到重视，但在XAI和XUIs方面，以用户为中心的设计仍然相对较少探索，这凸显了该领域的一个关键空白。XUIs属于为融入AI的系统设计的界面类别。对于这些界面，传统的UI原则仍然很重要；然而，AI系统的独特和动态行为需要制定新的指南，以适应它们的特定特征[8]。

2.4 现有文献综述
许多系统性文献综述（SLRs）和调查探讨了与我们SLR密切相关的主题，强调了推动XAI发展以确保其在现实世界场景中实际应用的重要性和紧迫性。这些综述通常采用不同的视角，专注于该主题的不同方面。一些研究强调了交互性的概念：[30]专注于XUIs的交互设计原则，提供了对用户互动的结构化分析和设计指南。[16]根据用户评估框架对交互式解释技术进行分类，重点关注交互性及其对用户感知的影响。[140]进一步通过以用户为中心的AI文献的视角探讨了XAI系统中的交互性，提出了将XAI发展为交互式AI的观点。另一项研究[123]考察了AI系统中的透明性组成部分，旨在提高用户的可解释性，并提出了设计更易于用户理解和解释的系统的策略。通过用户研究评估XAI应用程序是另一个重要的关注领域。[145]调查了这些研究是如何进行的，而[5]分析了HCI技术在改善XAI目标中的作用。[50]的重点是研究AI解释的接收者是谁、提供解释的动机，以及将解释与用户需求对齐的方法。在[6]中还探讨了XAI与人机交互的交叉点，作者强调了HCI在XAI工具方面的机会。此外，像[91]和[66]这样的研究关注如何有效地将解释定制到特定用户群体，特别是非技术用户和最终用户，解决了可访问性和可用性方面的关键问题。最后，[37]将其范围缩小到依赖性意识的解释性用户界面，综合了次要研究以强调在XAI辅助决策中促进适当依赖性的设计方案。

我们SLR的新颖之处在于，与其他研究不同，我们的综述不仅考察了算法基础，还借鉴了以用户为中心的设计原则。具体来说，当前的研究考察了三个方面：(i)指导XUI解决方案设计的上下文元素；(ii)在XUI开发中常用的AI和XAI方法；(iii)由人机交互原则驱动的有效评估方法。此外，我们还讨论了文献中出现的设计原则。与以往孤立考虑这些方面的工作不同，我们的综述试图整合这些维度，通过综合来自IEEE、ACM和Scopus的146篇论文的见解，来识别以用户为中心的XUIs和XAI算法之间的设计趋势。我们的贡献在于提供了一个全面的概述，通过统一的方式连接技术、设计和评估组件，满足了现实世界XAI应用中对集成解决方案的需求。

3. 系统性文献综述的规划和实施
我们采用了一种严谨且可复制的方法论来进行SLR。根据Kitchenham的说法，进行SLR涉及三个主要阶段：规划、执行和报告[87]。本节详细介绍了前两个阶段，第三个阶段将在第4.3节中讨论。

3.1 SLR的规划
规划SLR是一个多步骤的过程，包括以下活动[87]：(i) 制定研究问题；(ii) 定义搜索字符串；(iii) 选择数据源；(iv) 定义纳入和排除标准。在本节中，我们报告了每个活动的细节，并讨论了每个选择背后的动机。

3.1.1 制定研究问题
我们SLR的主要目标是评估当前关于解释用户界面的研究现状，以及AI模型、任务、不同领域和用户如何影响XUIs的设计和评估。基于这一目标，我们制定了以下研究问题：
(RQ1) 什么因素影响了XUIs的设计？
(RQ2) 使用了哪些XAI解决方案（例如工具、框架、AI模型）来开发XUIs？
(RQ3) 使用了哪些解决方案来评估XUIs？
(RQ4) 什么可以指导XUIs的设计？

3.1.2 定义搜索字符串
我们通过从两个主要来源提取关键词来制定搜索字符串：(i) 对一些引用率最高的XUIs论文的初步评估；(ii) 作者在该主题上的专业知识。搜索字符串围绕与我们研究问题相一致的三个核心概念进行设计。每个概念及其同义词和变体都被包括在内，以确保文献的全面覆盖。

可解释人工智能（XAI） 包括所有提供黑盒模型内部工作原理洞察或涉及设计本质上可解释（白盒）模型的技术[62]。为了捕获相关研究，我们包括了“XAI”和“eXplainable Artificial Intelligence”等术语的变体。使用了“expla*”这个词根来包含后者，以及“解释性”、“解释”等相关术语。

以用户为中心的设计 高质量的用户界面需要采用以用户为中心的方法。为了涵盖这一方面，我们确保包括了能够包含“human-centered”、“user-centered”等术语的关键词，同时考虑了英式和美式的拼写。因此使用了更广泛的术语“human”和“user”以确保包容性。

交互式用户界面 由于XUIs本质上涉及用户界面，相关文献必须涉及这一方面。因此包括了“interface”和“interact*”这样的词根，以涵盖“交互性”、“interaction”和“interactive”等术语。

最终确定的搜索字符串如下：
(“xai” OR “expla*”) AND (“user” OR “human”) AND (“interface” OR “interact*”) 这种表达方式确保了相关研究的全面而精确的检索，与我们SLR的范围一致。特别是，我们的目标是识别同时涉及可解释人工智能、以用户为中心的设计和交互式用户界面的论文，而不是孤立地关注每个方面。这三个维度根据第3.2.2节中描述的贡献类型进行了进一步操作化和分析。

3.1.3 数据源的选择
我们从科学数字图书馆开始了这项SLR。研究的图书馆包括ACM Digital Library、IEEE Xplore和Scopus。在定义搜索字符串时，我们注意到根据不同的图书馆，同样的搜索需要使用不同的语法。每个图书馆提供了不同的搜索选项：例如，它们允许在文章标题、摘要、全文或上述所有内容中搜索。我们对每个数字图书馆都选择了最全面的搜索选项。由于XUIs应用的跨学科性质，所有搜索都在整个数据库中进行。Google Scholar被排除在外，因为它不符合基于同行评审出版物和场所质量的纳入标准。此外，由于所选的数据库已经涵盖了Google Scholar索引的大多数高质量来源，其包含只会增加重复项的数量而不会提高覆盖率。

3.1.4 纳入和排除标准的定义
这一步涉及最终选择相关出版物。Kitchenham [87]区分了实际的纳入和排除标准，前者处理 logistical constraints，后者基于研究问题来细化相关研究的筛选。表1概述了本研究中应用的实际标准。特别是，我们只考虑用英语写成的经过同行评审的手稿，即通过了高质量同行评审过程的手稿。为了定义质量，我们区分了两种情况：如果手稿发表在期刊上，只有当该期刊在SCImajo4中的排名是Q2或Q1时才会被纳入；如果手稿发表在会议论文集中，只有当会议在Core Conference Ranking Portal中的排名是A*、A或B时才会被纳入；如果手稿发表在C级会议论文集中，则需要仔细评估。边缘手稿（即Q3级期刊文章和C级会议论文）只有在符合本SLR的主题的情况下才会被纳入（通过仔细阅读标题和摘要进行手动评估）。值得注意的是，我们主要关注了2013年以后的出版物，因为可解释人工智能（XAI）直到2017年才被正式定义[63]，但对偏见和解释需求的关注其实更早开始，如[116]中所讨论的。此外，我们制定了纳入标准以确保所选论文与研究目标一致。这些标准侧重于研究问题的内容，并要求研究：（i）在其评估中包含用户研究；（ii）采用解释算法；（iii）基于人工智能模型，或者如果人工智能系统没有明确定义，则是在考虑人工智能的情况下设计的（例如，“奥兹巫师”研究）。这种方法确保了只有那些有助于推动XAI和用户解释接口（XUI）发展的研究才会被纳入分析。

表1. 纳入标准
排除标准
发布日期：2013年或之后
发布日期：2013年之前
语言：英文撰写
非英文撰写
出版物类型：完整论文和简短论文
书籍章节、扩展摘要、研讨会提案、海报和演示论文
同行评审：发表于A*、A或B级别的会议，或Q1/Q2级别期刊；C级别会议或Q3级别期刊经过仔细评估
发表于Q4级别期刊、未排名会议或全国性活动

3.2 文献综述的进行
在计划之后，我们进行了文献综述。正如Kitchenham所建议的，综述包括两个主要活动[87]：文献综述的执行和数据综合。以下小节将详细说明这两个步骤。

3.2.1 文献综述的执行
这项工作从2024年6月持续到2024年12月，遵循图1中描述的过程，该过程主要分为两个阶段：
图1. PRISMA [133]流程图，展示了系统文献综述中研究的识别、筛选、资格评估和纳入过程。
（1）第一阶段 – 数字图书馆搜索：我们使用之前描述的搜索字符串检索了已识别的来源。
（2）第二阶段 – 反向和正向滚雪球搜索：我们检查了第一阶段产生的出版物的参考文献和引用，以及引用第一阶段出版物的出版物[178]。

最初的数字图书馆搜索共发现了7084篇可能相关的出版物。经过重复检查后，获得了6095篇出版物的数据集。根据之前定义的纳入标准进行筛选后，有1023篇出版物因不符合质量标准而被排除，最终剩下5072篇候选出版物。在这一初步筛选步骤之后，我们分析了标题和摘要，进一步排除了4658篇出版物，使数量减少到414篇。筛选工作由三位研究人员独立完成；任何分歧都在下一步中报告并解决。如果一名研究人员与其他两名研究人员意见不一致，则通过多数投票来决定。研究者之间在纳入/排除决策上的一致性很高，Cohen’s κ值为0.81。通过持续的讨论，最终达到了完全的一致性。然后通过访问全文仔细分析了这些出版物，最终确定了142篇有效的出版物用于综述。经过反向和正向滚雪球搜索后，又找到了148篇候选出版物，并根据相同的纳入标准筛选出4篇。综上所述，最终的数据集共包含146篇出版物。

3.2.2 数据综合
我们将贡献类型分为三个不同的类别：
类型1 - 用户界面（UI）出版物，专注于为特定应用设计XUI。
类型2 - 框架方法论文，介绍XUI的设计指南或提出支持解释过程的框架。
类型3 - 结合了这两个方面的论文，既介绍了XUI，又提出了一套设计指南或框架以支持其开发或评估。

对于每篇论文，我们收集了多个分类维度进行分析，这些维度与已建立的分类法相对应，以便对结果进行结构化的评估。此外，对于那些报告了XUI系统设计见解的论文（如原则、建议、经验教训等），我们还收集了设计指南和框架。从选定的文献中提取的知识在第4节中报告。

4. 结果
文献综述中确定的13个维度主要反映了以用户为中心或以算法为中心的视角。例如，与用户验证相关的方面（如视觉模式、研究类型）属于前者类别，而与人工智能模型相关的方面（如人工智能任务、数据类型）则属于后者类别。唯一的例外是评估构建维度，它同样适用于这两种视角。此外，每个维度的数据都被用来回答一个或多个研究问题。提取的维度及其相应的研究问题在表2中进行了完整描述。

表2. 维度 | 视角 | 研究问题 | 描述
------------|---------|-------------|-------------------
应用领域 | 以用户为中心 | RQ1 | 指的是可解释人工智能（XAI）系统应用的具体领域或行业，如医疗保健、金融或教育。 |
数据类型 | 以算法为中心 | RQ1 | 指的是人工智能系统使用的数据类型，如表格数据、图像数据、文本数据或音频数据。 |
人工智能 | 以算法为中心 | RQ2 | 使用的具体人工智能模型或架构，如神经网络、决策树或集成方法。 |
人工智能任务 | 以算法为中心 | RQ2 | 描述人工智能系统的目标，如分类、回归、聚类或预测。 |
输出类型 | 以算法为中心 | RQ2 | 指的是人工智能模型输出的格式，如概率、标签和排名。 |
XAI技术 | 以算法为中心 | RQ2 | 用于生成解释的方法，如反事实推理、特征重要性和Shapley值。 |
解释模式 | 以用户为中心 | RQ2 | 解释的呈现方式，如文本、视觉、自然语言或这些方式的组合。 |
交互性 | 以用户为中心 | RQ2 | 指的是XUI系统是否实现了增强用户参与度和理解的交互元素。 |
视觉模式 | 以用户为中心 | RQ2 | 界面中使用的视觉表示类型，如热图、趋势线或其他视觉模型。 |
研究类型 | 以用户为中心 | RQ3 | 用于评估解释用户界面的方法论方法，如访谈、控制实验或用户观察。 |
用户类型 | 以用户为中心 | RQ1, RQ3 | 系统的目标受众，如领域专家、最终用户或人工智能专家。 |
参与者数量 | 以用户为中心 | RQ3 | 参与评估系统的用户样本数量。 |
评估构建 | 两者都涉及 | RQ3 | 用于评估XAI系统有效性的标准，如信任度、可用性、理解度或任务表现。 |

4.1 RQ1. 什么影响了XUI的设计？
这个研究问题探讨了影响XUI设计的因素，确定了指导设计的关键元素（如约束条件和考虑因素）。我们的分析从两个角度审视了问题空间。从以用户为中心的角度来看，我们关注应用的领域和界面设计的目标用户。从以算法为中心的角度来看，我们分析了底层人工智能层使用的数据类型。

4.1.1 应用领域
表4中的应用领域分析显示，XUI在高风险领域（如医疗保健和金融）中尤为突出[14, 18, 45, 67, 85, 113, 139, 176]。这些领域以其关键的决策需求为特点，与XAI非常有用的一般领域高度契合[35]。然而，像移动性[11, 152]、网络安全[38, 165, 179]和教育[157, 159]等尚未充分探索的领域表明，XUI有可能扩展到新的应用场景中。领域数量的多样性强调了XUI解决方案在各个行业的广泛应用性。

4.1.2 用户类型
表3显示了XUI设计的目标用户类型分布。结果显示，大多数研究关注领域专家，这反映了在医疗保健和金融等专业行业中需要可解释性工具的必要性[17, 49, 181]。非专家构成了第二大群体，这表明了普及人工智能并使其更易于广大用户使用的努力[20, 176]。相比之下，针对人工智能专家的界面较少见[11, 159]，这可能是由于他们已经熟悉人工智能系统。被标记为“未指定”的研究比例较大，强调了未来研究中需要更明确地识别用户角色。此外，用户研究经常使用Prolific6和Amazon Mechanical Turk等平台[7, 41, 61, 64, 122]，表明评估依赖于在线参与者招募。

4.1.3 数据类型
表5显示了XUI设计中数据类型的分布。表格数据和图像数据占主导地位，反映了结构化数据集的普遍性以及图像在最常研究的领域（即医学）中的重要性[59, 73]。这也强调了视觉表示在可解释性中的重要性。其他类型的数据，如文本[142]和时间序列[171]，显示出对不同数据模式的日益兴趣。然而，对多模态和基于媒体的数据[174]的关注相对较少，这为未来的探索提供了潜力，特别是在需要整合多种数据类型的复杂情境中。

4.1.4 应用领域、用户类型和数据类型之间的相互作用
图2进一步证实了用户类型与应用领域之间强烈的关联。医疗领域与领域专家和表格数据及图像数据都有很强的关联，这反映了在高风险情境（如医疗诊断和医疗决策）中精确可靠解释的重要性[35]。在这里，XUI通常旨在与专业人士的专业知识相匹配，确保这些工具支持准确性、信任度和明智的决策[92, 124, 132, 187]。类似地，金融和经济领域同时关注领域专家（如财务分析师）和非专家（如金融服务的一般用户）[55, 139]。大多数情况下，该领域的XUI系统关注时间序列和表格数据。这反映了需要XUI为专家提供清晰、可解释的见解，同时也确保普通用户的可访问性和可用性。媒体和通信领域在普通用户和领域专家之间实现了平衡的代表性（没有特别侧重于某种数据类型[9, 81, 180]，强调了设计能够使人工智能驱动的解释易于不同受众理解的界面的必要性。然而，人工智能和机器人系统主要与人工智能专家相关[13, 117, 131, 138]。这一趋势与开发、理解和评估此类系统所需的技术专长相符。对于通用应用程序，研究结果表明对人工智能专家有明显的重视，表明这类界面通常优先考虑技术深度和灵活性。这些系统通常是基础工具或框架，设计为可在各种领域中适应，吸引具有高级人工智能知识的用户进行定制。

4.2 RQ2. 什么XAI解决方案（如工具、框架、人工智能模型）被用于开发XUI？
这个研究问题具有更以算法为中心的视角，探讨了用于生成解释的算法与这些解释如何通过XUI传达之间的联系。为了结构化分析，我们使用了Guidotti等人提出的分类法[62]，如第2.1节所述，该分类法根据方法论特征及其在人工智能模型中的应用对XAI技术进行了分类。此外，我们还考虑了Gunning和Aha[63]描述的框架来分类解释模式（即解释如何通过不同媒介传达给用户）。在这种情况下，“解决方案”一词被广泛使用，指的是任何符合DARPA XAI定义的XUI组件或方法，它促进了用户与XAI系统提供的解释之间的交互（见第2.3节）。

总结而言，XUI中最常见的XAI解决方案是特征重要性、反事实解释和Shapley值，而最常见的AI模型是神经网络、集成模型和透明模型。某些XAI解决方案更特定于某些AI模型（例如，神经激活技术用于神经网络，解释决策树用于强化学习模型）。大多数XUI使用基于视觉的解释，最常见的是热图、条形图和趋势线。文本解释也被广泛使用。XUI系统通常包含交互式用户界面。

4.2.1 人工智能系统与可解释性技术之间的关系
表6总结了调查研究中使用的人工智能算法。神经网络在其他技术中占主导地位，其次是集成方法和白盒模型。这些结果突出了像神经网络这样复杂且不透明的模型的普遍性，这些模型需要XAI技术来提高可解释性。表7显示的XAI方法分布表明，特征重要性方法是使用最频繁的，其次是反事实解释和Shapley值。这些技术主要旨在提供对个别模型预测的局部洞察。神经网络的主导地位以及这些解释技术的频繁使用强调了在这种复杂系统中需要某种形式的可解释性。特征重要性、反事实解释和Shapley值是弥合黑箱模型与可操作、用户友好型解释之间差距的宝贵工具。正如Miller所强调的，有效的解释应该关注相关性和可理解性，而不是详尽描述模型结构[114]。仍然需要注意的是，尽管文献中采用了这些技术来为黑箱模型提供某种形式的解释，但这具有一定的争议性，因为有些人认为实际上这不是最佳做法，而是更倾向于使用白箱模型[146]。

表7. 解释技术及使用频率
- 特征重要性：32
- 反事实/示例：28
- Shapley值：27
- 基于示例/原型：19
- 决策规则：14
- 显著性掩码：12
- 神经元激活：7
- 决策树：4
- 部分依赖图：4
- 敏感性分析：1
- 其他：12

图3. 热图显示了在分析的文献中识别出的AI模型与XAI技术之间的使用频率对比。

一些不太常见的技术，如显著性掩码[73, 78]、神经元激活[175]、决策树[81]和部分依赖图，表明它们在XUI中有专门的应用。这些方法通常针对独特的需求或特定的用户群体，强调了XUI设计空间内的多样化需求。关于XAI技术与AI算法之间的关系，可以观察到几个反复出现的模式。特征重要性与神经网络[68, 69, 96, 97, 117, 144, 159]、集成方法[18, 67, 109]和概率方法[142]有显著关联，反映了其在不同AI模型中的适应性。反事实解释广泛应用于集成方法[21, 24, 108, 109]和神经网络设置[45, 65, 163, 187]中。Shapley值与神经网络[67, 85, 106, 113, 174]和概率模型[25, 109, 139]密切相关，利用了它们在复杂系统中量化特征贡献的效用。像神经元激活这样的技术几乎专用于神经网络[3, 73, 130, 175, 179]，因为它们与这种架构具有特定的相关性。决策规则与基于规则的[138, 156]、集成[18, 173]和神经网络[88, 113, 115]相关联，而决策树则与强化学习技术[81, 90]一起使用。总体而言，XAI技术的选择往往取决于所要解释的AI算法类型。虽然某些XAI技术是为特定模型架构设计的，例如神经网络的神经元激活分析[73, 130, 175]或强化学习中的决策树分析[81, 90]，但规则提取技术可以有效地应用于各种预测模型，以生成可解释的洞察，无论底层算法是什么[59, 111, 113, 115, 148]。另一方面，与模型无关的方法包括特征重要性、Shapley值和反事实示例。这些方法因其适应各种上下文和模型架构的能力而被广泛采用[109, 132, 142, 165]。

4.2.2 解释方式
向用户呈现解释方式对于确定XUI的有效性和可用性至关重要。表8分类了调查研究中观察到的解释方式。视觉解释占主导地位，这可能是因为它们直观且易于理解。图表、热图和图示等格式将复杂的AI推理转化为用户可理解的见解。文本解释也被广泛采用，反映了简洁描述对于清晰度的价值。自然语言解释、音频和有形格式则相对较少使用，可能反映了它们更专业化的用例或更高的开发成本。视频解释较为罕见，可能是由于其制作时间较长，以及许多XUI需要即时交互性。图4详细说明了XUI中使用的可视化类型。热图是最常用的可视化方式，这可能是因为它们能够快速传达模式或特征属性，并且通常用于图像解释。条形图和趋势线也很常见，反映了它们在比较和时间数据分析中的实用性。混合方法结合了文本和视觉元素，在文献中似乎更受欢迎，表明结合多种方式可以通过互补图形清晰度和文本上下文提供最有效的解释。

4.2.3 交互性
交互性是XUI的一个基本方面，影响用户如何与AI解释交互和理解。在调查的研究中，我们发现了95个交互式UI和47个非交互式UI。交互式UI允许用户操纵解释参数、探索不同视角或请求更多细节，从而可能提高理解和信任度[59, 177]。这些界面通常采用动态可视化技术、可调整的特征重要性排名或交互式反事实解释，使用户能够根据自己的需求定制解释。相比之下，非交互式UI提供静态解释，不接受用户输入[142, 171]。虽然这些解释仍能提供有价值的见解，但它们往往缺乏适应性，可能在复杂的决策场景中限制其有效性。数据集中交互式系统的普遍存在表明，XAI研究越来越重视用户参与，突出了设计支持探索性和用户驱动交互的解释的重要性。

4.3 用于评估XUI的解决方案
这个问题是从以人为中心的角度出发的，因为它探讨了用户、进行的用户研究类型以及所采用的评估指标（例如，可用性、信任度）之间的关系，将人机交互视角与算法方法结合起来，以全面理解XUI环境。在开发XUI时，评估用户如何与这些系统交互和感知它们对于确保其有效性、可用性和可信度至关重要[1]。评估用户的方式和观察到的指标在理解AI系统提供的解释是否符合用户需求和期望方面起着核心作用。通过研究方法和关键性能指标，研究人员可以识别XUI设计中的优势和不足，确保这些系统在技术上稳健且以用户为中心。这种分析对于推进XAI领域的发展以及在透明度和信任度至关重要的实际应用中促进AI系统的更广泛应用至关重要。

总结发现：与XUI一起使用的最常用评估方法是控制实验（通常与领域专家和非专家一起使用），其次是访谈（通常与领域专家一起使用，收集定性数据）和可用性研究。领域专家通常参与高风险领域（如健康和金融）的XUI评估，而AI专家也参与可用性研究、交互反馈和共同设计会议。评估研究通常测量信任度、可用性、工作负载、感知效果和满意度。诸如有帮助性这样的指标通常与领域专家一起测量，而AI专家通常参与测量任务性能、可用性和信心度的研究。

4.3.1 XUI研究中的评估方法和指标
表9分类了用于评估XUI的各种研究方法。控制实验是最常见的方法，突出强调了在受控条件下进行严格、系统化评估的重要性。这种方法允许研究人员隔离特定因素并测量它们对用户与XUI交互的影响。此外，访谈和可用性研究也经常被使用，强调了对用户视角的关注，并确保界面实用且易于访问。

接着来看评估指标，如表10所示，信任度是核心指标，表明增强用户对AI系统的信心是XUI开发者的关键重点。可用性和工作负载紧随其后，强调了确保界面易于使用且不会让用户负担过重的必要性。感知效果和满意度表明了对用户如何看待系统支持其需求的感知的兴趣。表11显示了三个最受欢迎的评估指标。这些指标共同强调了设计不仅提高可解释性，还能鼓励在现实世界应用中实际采用的XUI的重要性。事实上，XUI应该旨在激发信任、保持用户友好，并避免因过度复杂而让用户感到困惑。值得注意的是，尽管在可解释性研究中透明度很重要，但只有八项研究明确对其进行了评估，这表明当前的XUI研究应该更加重视将透明度指标纳入评估中。

表10. 评估指标及其使用频率
| 评估指标 | 使用频率 |
| -------- | -------- |
| 信任度 | 33 |
| 可理解性 | 30 |
| 可用性 | 24 |
| 满意度 | 20 |
| 有用性 | 15 |
| 工作负载 | 15 |
| 感知效果 | 14 |
| 任务性能 | 14 |
| 透明度 | 8 |
| 有帮助性 | 8 |
| 信心度 | 7 |
| 易用性 | 6 |

表11. 最受欢迎的14个评估指标

参考文献：
[12, 15, 17, 18, 38, 60, 61, 64, 68, 69, 77, 80, 82, 83, 84, 96, 97, 98, 105, 106, 113, 124, 129, 134, 135, 136, 139, 144, 165, 177, 181, 191]

4.3.2 根据用户群体定制XUI评估方法
图5. 用于评估不同用户类型的解释界面的方法。热图显示了按用户类型（例如，AI专家、领域专家、非专家）分类的评估方法分布。该图提供了一些关于如何针对不同用户群体以及用于评估他们与界面交互和理解的方法的见解。研究方法的选择受到目标用户群体的影响：控制实验由于结构严谨而受到领域专家和普通用户的青睐。然而，在涉及领域专家的研究中，访谈特别突出，因为它们通常能够捕捉定性见解。领域专家通常参与高风险领域（如健康[17, 18, 25, 73, 83, 85, 93, 102, 124, 132, 187]和金融[55, 139]）以及教育[106]、自然语言处理[174]和天气预报[84]中XUI技术的应用访谈。交互式反馈会议、共同设计、可用性研究和调查等方法也被用于评估各种领域的AI专家，例如健康[71]与AI[13]、教育[159]和金融经济[71, 113]。虽然这些方法通常与评估非专家用户相关，但它们应用于AI专家表明了收集来自技术熟练个体的定性和可用性重点见解的兴趣。

值得注意的是，某些研究类型，如巫师之家[70, 77]实验，显示了大量未指定的用户角色，表明这些评估通常优先考虑AI行为模拟而不是明确定义的用户类别。

4.3.3 用户群体与评估指标
研究中涉及的用户类型与评估指标之间的关系提供了XUI设计者在评估应用程序是否适合实际应用时优先考虑的关键方面。图6揭示了几个关键趋势。领域专家是评估有帮助性的主要群体[73, 104, 131, 191]；这可能表明XUI的设计考虑到了专家决策支持，其中可解释性旨在提高任务性能而不仅仅是提供技术见解。由于领域专家是高风险应用（如医疗保健、金融）中AI系统的最终用户，他们对有帮助性的评估对于确定解释是否有效辅助决策至关重要。有趣的是，尽管AI专家在技术上非常精通，但在评估透明度的研究中几乎不存在。这表明透明度主要是从用户角度而不是从算法可解释性的角度进行评估的。这一指标经常出现在对话式AI领域[70, 82]和推荐系统[61, 69, 96, 135]中，强调了它在确保领域专家和普通用户理解系统决策和交互中的重要性。AI专家更多地参与评估任务性能、可用性和信心的研究：任务性能通常在计算机科学特定领域（如网络[54, 183]和机器学习[138]）的应用中进行评估。涉及人工智能专家的可用性研究涵盖了广泛的领域，包括移动性[11]、教育[186]、经济学[71, 139]和通用应用[26, 65]，这反映了一种总体需求，即确保XUI（交互式用户界面）应用程序的实用性。置信度构建[13, 80, 190]相比于其他方面被测量的频率要低得多，这表明人们对系统对其输出结果的信任程度有所关注，确保解释不仅在技术上是准确的，而且还能在实际应用中促进可靠性和接受度。图6显示了不同用户类型所使用的评估标准。该图展示了哪些用户群体与用于评估解释界面的各种评估标准相关联。诸如信任性、可理解性、可用性和感知有效性等标准在所有用户类型中都得到了评估，突出了以用户为中心的可解释系统的多维度评估特性。值得注意的是，在涉及人工智能专家的研究中并没有评估透明度。

4.4 RQ4. 什么可以指导XUI的设计？
我们综述中的几篇论文提出了XUI设计的指南。这些指南要么是从用户研究中对XUI的评估中得出的经验教训，要么是更广泛框架的指示。通过对检索到的论文进行手动分析，其中80篇论文提出了XUI并明确指出了设计指南，而另外10篇论文仅提出了理论或概念框架，可以用来指导XUI的设计。

表12. 人工智能模型与论文数量的关系
- 神经网络：29篇[28, 41, 45, 54, 56, 60, 65, 68, 69, 72, 73, 80, 84, 85, 88, 96, 97, 102, 109, 113, 115, 117, 131, 174, 175, 176, 177, 187]
- 集成方法：9篇[18, 21, 24, 25, 31, 79, 108, 173, 181]
- 强化学习：3篇[81, 117, 135]
- 透明模型：5篇[17, 64, 71, 97, 126]
- 通用/模型不可知模型：30篇[12, 22, 26, 33, 49, 50, 51, 55, 76, 82, 86, 91, 93, 98, 104, 112, 120, 124, 125, 132, 140, 150, 151, 152, 162, 166, 167, 168, 180, 191]
- 其他人工智能模型：4篇[20, 38, 138, 142]

表12列出了提出设计指南的论文列表。我们根据系统使用的人工智能模型对这些论文进行了分组。这种分类旨在为读者提供快速参考，以便为使用特定技术的系统（例如神经网络、集成方法、强化学习、透明模型、通用人工智能模型、其他模型）设计XUI。同时，也列出了仅提出XUI设计框架的论文列表。

研究结果表明，XUI的设计应采用以用户为中心的方法，考虑到用户的心理模型，并倾向于透明度和信任度。提供交互性和对解释的控制、多级别的可视化以及上下文信息以帮助用户更好地理解，同时允许用户根据自己的 profile 个性化解释。最后，流行的框架可以通过定义解释应如何构建（例如，它们应该回答哪些问题）、XUI系统应具备哪些价值（例如，透明度、互动性控制）、用户如何参与设计过程以及如何使用户目标与系统解释保持一致来指导XUI的设计。

4.4.1 XUI的核心设计原则
我们对包括神经网络、集成方法、强化学习、透明模型、通用方法和其他人工智能模型在内的各种人工智能模型的XUI设计指南的回顾揭示了几个跨领域的原则。这些核心原则是有效XUI设计的基础，尽管特定模型的要求需要量身定制的适应。下面我们将讨论这些原则，并在不同的人工智能方法中举例说明。
- **以用户为中心的设计**：任何有效的XUI的核心都应基于用户的需求、上下文和专业知识。在高层次上，XUI中的解释应使用清晰、无术语的语言，适应用户的上下文，减少认知负担，使人工智能行为更易于理解[76, 82, 132, 168]。应利用以用户为中心的框架（如[14]）来定义解释的目的、内容和呈现方式，例如在临床决策支持等情境中[73]。基于集成的XUI强调需要考虑用户的心理模型并最小化认知负担[31, 181]，而通用系统则提倡为新手和专家用户量身定制解释[76, 82]。研究人员应在这方面付出特别的努力（例如，使用参与式设计，进行可用性研究），因为对开发人员有效的解决方案可能并不适合最终用户[64]。
- **交互性和控制**：有效的XUI通过支持用户与系统的积极互动来赋予用户权力。例如，允许选择、过滤、并列和在不同视图之间平滑过渡等功能对用户非常有用[65, 176]。此外，诸如探索引导、导航和实时更新等功能被发现能够增强用户的参与度和理解力[33, 104]。交互性也是白盒模型迭代改进解释理解的核心要求[64, 126]。对于强化学习系统而言，如询问模型和在解释空间中导航等交互方式有助于用户澄清为何采取特定行动，从而增加对系统的信任和理解[117]。
- **透明度和信任**：人工智能决策过程的高度透明度有助于建立用户的信任。为了建立信任，应该通过确保用户获得关于模型置信度和可靠性的准确提示来恰当地传达人工智能系统的潜力和局限性[132, 191]。对于神经网络等黑盒模型，可以通过显示详细的洞察（如模型不确定性、置信度分数和错误指标）来实现透明度[96, 109, 131, 187]。提供模型的描述性统计信息和性能总结可以帮助用户评估系统的整体可靠性[96, 109]。特别是白盒系统，强调解释应准确反映底层模型的工作方式，包括局部和全局的洞察[64, 126]，可能有助于增加对模型决策背后风险的理解[17]。为了增加信任，解释应使用易于理解的语言，避免技术术语[132]，或者根据用户的领域和文化背景进行定制[168]。解释还应类似于人类的推理方式和解释方式[86]。最后，在选择解释中要处理的特征时也需特别小心，因为并非每个特征都对最终用户来说都是可理解且有意义的[38]。
- **多级可视化**：有效的XUI中的可视化表示对于帮助用户理解复杂的人工智能行为至关重要。通过多级相邻的解释可视化提供可视化摘要被发现可以提高用户的信心[80]。不同可视化之间的过渡和动画有助于导航XUI，提高对底层人工智能模型的理解，并增加学习参与度和乐趣[176]。在强化学习中，有效的状态空间可视化应提供高层次的概览和对特定状态的详细洞察[117]。XUI还可以从诸如颜色编码的风险因素、特征重要性图表和图形比较等可视化中受益，这些可视化可以澄清实例特定和整体的模型行为，同时展示反事实情况和相似实例[17, 71, 97]。
- **上下文信息**：将解释与额外的上下文信息一起提供可以提高其对领域专家用户（例如医生[25, 73]、人工智能工程师[18, 54]等）的相关性和可解释性。此外，解释中的信息深度应能够适应用户的专业知识，确保提供详细和总结信息而不使用户感到不知所措[98, 124, 173]。
- **解释的个性化和适应性**：文献中的结果强调了需要文化敏感性和用户定制的内容，以确保解释对多样化的受众来说既可访问又有意义[12, 132]。设计应根据用户的背景、认知能力和文化背景来定制内容。这包括逐步披露信息和使用文本和视觉元素来匹配不同的学习风格等策略[86, 124]。

4.4.2 框架
文献回顾中提出的10个框架涵盖了XUI设计的不同方面，可以分为三类：
- **交互和内容设计框架**：这些框架关注工件（即解释本身），并提供操作指南，指导将用户查询映射到特定的界面组件和解释技术；
- **价值论和关系设计框架**：这些框架关注人类价值观以及用户与人工智能之间的关系，指导系统的高层次伦理定位，并优先考虑信任/置信度校准、用户参与度和情境意识；
- **认知和学习对齐框架**：这些框架关注用户的认知方面，借鉴认知心理学和学习理论，使XUI与人类的信息处理能力、读写能力和学习目标保持一致。

- **交互和内容设计框架**：在[112]中，Meyer和Zhu研究了28个XUI，并将特定的UI组件与解释类型联系起来。虽然“为什么”和“如果”之类的问题经常被讨论，但针对“如何”或“输入”解释的工具很少，滑块、按钮和图标等元素在解释中扮演了关键角色。Liao等人[100]通过与20位实践者的访谈，发现了XAI研究和设计实践之间的差距，并基于典型的用户查询建立了一个XAI问题库。这些问题由用户上下文塑造，并映射到适当的解释技术，如全局或反事实方法。Su等人[166]分析了40个移动健康应用程序，发现用户希望人工智能功能（如推荐或预测）以清晰、吸引人的方式得到解释。该研究强调将解释与用户的认知水平对齐，并提供有意义的反馈循环来改进人工智能行为。

- **价值论和关系设计框架**：Value Sensitive Design方法论[125]强调将人类价值观（如透明度、自主性和包容性）嵌入到可解释的人工智能系统中。同样，Raees等人[140]提倡用户参与和透明度，以提高对交互式人工智能的信任。Sanneman和Shah[151]提出了SAFE-AI框架，通过解释人工智能做了什么、为什么这样做以及它将做什么来增强用户的情境意识。它还包括信任校准和工作量管理，以优化用户与人工智能的互动。Pieters[137]区分了为建立信任的解释和为增强信任的解释，指出解释的深度必须与其意图相匹配：太少的细节可能会妨碍信任，而过多的细节可能会降低信任。

- **认知和教学对齐框架**：在教育领域，Fiok等人[51]提倡在XAI工具中使用参与式、以用户为中心的设计。他们的工作强调了将设计基于心理学理论的重要性，并利用HCI专业知识来使技术系统与学习者的需求和信任建立目标保持一致。Simkute等人[162]提出了基于认知心理学的教育XUI设计原则；有效的学习支持包括认知强迫、类比、对比推理和交互式反馈等技术[162]。Abstracted Explanation Space[22]提供了一个结构化框架，将用户目标与适当的解释类型联系起来，涵盖感知、理解和预测。该框架提倡跨学科合作，帮助设计师定制解释，以避免认知过载并增强相关性。

5 讨论
本节通过关联我们在RQs中分析的维度来讨论结果。此外，为了使我们的讨论具有可操作性，我们提出了一个支持实践者构建有效XUI的平台：HERMES。我们研究了每个维度在所有RQs中的相互作用，以识别重复的模式。这种方法使我们能够提炼出见解，以帮助实践者在更广泛的发现领域中导航。
如图7所示，视觉和文本解释是传达解释的主要手段，该图显示了不同领域、数据类型和用户类型中解释方式的使用情况。在大多数情境中，视觉解释占主导地位，而其他解释方式（如自然语言、非语言或有形解释）则根据领域和目标用户群体的不同而有所不同。可视化揭示了根据数据的性质和目标用户的专业知识来定制解释的明显偏好和趋势。
这种偏好在处理表格数据和图像时尤为明显，因为图形表示可以使模式和关系更加清晰。然而，视觉解释不仅限于这些数据类型；它们也应用于文本和时间序列数据，而文本解释对于表格数据仍然很常见。值得注意的是，在移动性领域[152]，音频解释也很常见。
某些解释方法在各个领域中被广泛使用。在医疗保健领域，SHAP[14, 25, 85, 181, 190]、特征重要性[97, 98, 117, 144]和反事实解释[92, 187]经常被用来解释模型决策。这些技术在金融和经济学领域也很常见，其中反事实推理[19, 24, 45, 49, 71, 108, 163]和SHAP值[29, 113, 139]帮助从业者评估风险和建模公平性。由于这些方法非常适合表格数据，它们自然会在结构化数据集普遍存在的领域中得到应用。解释技术的选择通常取决于受众。当与非专家用户合作时，SHAP[29, 67, 76, 108, 109]解释因其直观的特征贡献可视化而更受欢迎。然而，示例（即说明模型行为的具体实例）和显著性掩码（突出最具影响力的输入区域）也常被用来帮助理解[72, 93, 126, 172, 184]。在设计用户界面（XUIs）的用户研究时，方法的选择应与目标用户群体保持一致。对于领域专家，尤其是在医疗和金融等高风险领域，访谈是最常用的方法，因为定性洞察对于理解决策需求至关重要。相比之下，在AI专家中，调查和可用性研究更为普遍，它们强调技术背景下的实用性和效率。关于评估框架，高风险应用领域的专家倾向于优先考虑有用性[73, 104, 131, 191]而不是透明度[156]。他们主要关心的是解释是否支持他们的决策过程，而不仅仅是揭示模型内部机制。对于XUI设计者来说，这意味着解释应该能够披露系统行为，并无缝整合到专家的工作流程中，确保提供有意义、可操作的见解。本文介绍的SLR借鉴了多个学科的研究成果，汇集了来自不同专业领域的知识。这些方法根据应用领域、AI系统的基础技术以及用户类型等多种因素而有很大差异。因此，获取这些发现并将其整合到特定的设计背景中可能会很繁琐，需要广泛的知识（例如，设计者应该了解AI技术）。为了使这些发现更易于获取，我们开发了一个名为HERMES的网页平台，具体内容将在下文中介绍。

5.1 浏览结果：介绍HERMES平台
HERMES（用于人类中心化可解释用户界面开发的框架）是一个旨在支持从业者构建有效XUI的网页平台。它提供了一组从SLR结果中得出的设计指南，这些指南以交互式卡片的形式呈现，综合了参考论文中的见解。每张卡片包含对指南的简要描述、反映相关论文关键维度的相关标签以及直接链接到原始来源。用户可以通过两种互补的方式探索这些指南：一种是浏览所有卡片集合，另一种是通过六个入口点进行过滤（见图8），这六个入口点对应于该调查的十三个维度中的六个：（i）应用领域，（ii）用户类型，（iii）AI模型，（iv）AI任务，（v）XAI模型，以及（vi）解释方式。HERMES使用Jekyll8开发，使设计者能够根据上述维度将其XUI与现有使用场景对齐，或在特定项目约束下探索潜在的设计方向，从而在设计过程中促进一致性和创造性。并非所有输入维度都必须由设计者定义。此外，该平台的输出还包括用于评估XUI的技术数据（即要进行的研究类型和评估框架）。该平台可在以下地址访问：https://ivu-laboratory.github.io/HERMES/。图9展示了该网页平台的屏幕截图。

图8. 我们分析中观察到的HERMES框架的六个维度。
图9. HERMES平台的屏幕截图，显示了针对特定定义标准的指南：（AI模型 = “神经网络”，AI任务 = “二元分类”，应用领域 = “医疗”，用户类型 = “领域专家”。

5.2 使用案例：一个医疗应用
假设一家医疗技术公司正在为现有的基于AI的系统开发一个XUI，该系统旨在帮助临床医生。目前帮助用户的软件是一个基于神经网络的系统，它可以判断患者的血液检测是否符合糖尿病的临床标准。然而，AI模型只给出一个二元结果（是/否），而不提供解释。因此，开发团队的任务是实现一个XAI模型，并为临床医生可视化输出结果，他们需要透明且可解释的AI输出来支持他们的诊断决策。
为了指导这个XUI的设计，开发团队使用HERMES通过设置六个入口点中的四个作为项目约束来确定最合适的解释和UI设计策略：应用领域为医疗，AI模型为神经网络，AI任务为二元分类，用户类型为领域专家（即临床医生）。由于没有其他设计约束，其他两个入口点（XAI模型和解释方式）保持空白，因此成为HERMES的建议。根据提供的参数，HERMES建议了一些在类似医疗应用中有效的解释方法。系统推荐了几种适合的XAI技术，包括反例/事实说明和决策规则，以及自然语言、文本和视觉解释作为解释方式。HERMES还确定了设计指南“提供上下文信息”，指出将解释与额外上下文信息一起放置可以提高领域专家（如医生）的相关性和可解释性，并根据用户需求调整解释的深度。为了支持这一建议，HERMES提供了相关学术来源的参考，包括Cheng等人的具体论文[25]。在论文中，开发者可以找到更多的实现细节，并获取一个视觉示例来指导新XUI的设计。为了确保XUI满足临床医生的需求，HERMES建议设计和评估此类界面的用户研究应包括访谈和用户观察研究。这可以理解为在设计初期与临床医生进行访谈，然后使用观察研究来迭代测试和 refining XUI，遵循以人为中心的设计方法[75]。利用HERMES，设计团队高效地选择了适合医疗领域专家的适当解释方法。该平台为选择XAI模型和解释方式提供了信息，并建议采用以人为中心的方法让最终用户参与XUI的设计和评估。这种结构化的方法确实可以加速设计过程，减少试错工作，并确保最终界面符合学术文献中的最佳实践。

6 未来挑战
这项SLR识别出的未来挑战之一是，在HCXAI系统的开发中，共同设计实践和焦点小组方法的采用有限。这些方法对于加强用户与XAI系统之间的真正共创动态至关重要，确保用户需求、心理模型和期望能够有意义地整合到设计过程中。同样，收集定量数据和执行涉及AI和领域专家的可用性研究对于提高这些工具的实际适用性和可靠性也是至关重要的。最近的研究承认了大型语言模型（LLMs）在XAI中的重要作用。Lei等人建议，随着LLMs的日益普及，非专家用户对XAI的需求将增加。他们提出了一套XUI的设计原则[98]。LLMs也开始被纳入可解释对话界面（XUIs）中。例如，Joshi等人进行了一项Wizard of Oz用户研究，比较了两个版本的度假计划聊天机器人，一个解释性较低，另一个解释性较高，涉及60名参与者。他们的研究发现，提供解释可以提高对基于LLM的系统的信任和接受度[77]，LLMs既带来了新的挑战，也为XUI的发展带来了有希望的机会。它们正在重塑用户与解释的互动，并推进更加自然、类似人类的解释，正如Miller所设想的[114]。然而，LLMs本身仍然不透明，容易产生幻觉，并且由于缺乏透明度和可控性可能会损害用户信任。解决这些问题对于未来有效和负责任的XUI设计至关重要。
HERMES平台的一个重大未来挑战在于开发和验证更加具体和情境感知的设计指南，特别是那些跨越多个设计维度的指南。目前，许多指南仍然过于宽泛或通用，限制了它们在复杂或高度专业化的用例中的适用性。因此，改进HERMES需要针对特定的应用领域、用户类型、AI任务和解释方式的组合制定更加细致的推荐。为此，整合众包机制可能会起到关键作用。通过涉及多样的从业者和研究社区，不仅可以丰富指南库的真实世界见解，还可以通过集体评估来验证现有指南。这种参与式方法可以显著提高平台的相关性、可靠性和适应性，使其成为在不同背景下设计XUI的更强大的决策支持工具。

7 有效性的限制和威胁
一般来说，几种威胁可能会削弱系统文献综述（SLR）的结果。在以下部分，我们将报告最常见的威胁，并详细说明我们是如何缓解它们的。
选择偏差：当综述中包含的研究不能代表该主题的所有研究时，就会发生这种情况。我们通过以下方式缓解了这一问题：（i）手动审查出版物以确保它们符合SLR的目标；（ii）进行两阶段搜索，即在数字图书馆中进行搜索和滚雪球式搜索。然而，我们的搜索仅限于完整出版的出版物；因此，我们承认这一定SLR没有涵盖演示文稿、海报和在工作坊中展示的工作论文。
发表偏差：当显示统计显著结果的研究比那些没有结果显示的研究更有可能发表时，就会发生这种情况。我们通过手动阅读那些仅报告技术解决方案而没有结果的出版物来缓解这一问题，同时考虑这些出版物对我们SLR的相关性，例如引用数量和解决方案的新颖性。
时间滞后偏差：当综述没有包括所有相关研究时，因为这些研究在综述进行之后才发表，就会出现这种情况。在这种情况下，我们可以安全地假设在我们的研究中这种威胁并不明显，因为SLR是在提交前5个月进行的。
出版物质量：当质量较差的研究被纳入综述时，就会发生这种情况。为了缓解这一问题，我们根据出版物举办场所的质量定义了纳入标准，将那些发表在较低质量场所的出版物的纳入留给SLR作者的手动评估。
未考虑灰色文献：这包括预印本和工具，如商业工具和平台，尽管它们很受欢迎或与我们的研究问题相关，但并未在学术期刊上发表。
本SLR采用的组织和导航标准不应被视为详尽或最终的，因为它们来自作者的设计选择。其他分类方案或额外的维度可能同样有效，并可能提供互补的见解，特别是对于特定领域或实践导向的用例。此外，这些导航标准的有效性和适当性尚未经过最终用户的实证评估。为了缓解这一限制并使利益相关者能够自定义他们的导航并获得对我们结果的洞察，我们提供了一个用于人类中心化可解释用户界面开发（HERMES）的框架。此外，虽然我们承认基于用户的HERMES验证的重要性，但我们将其视为这项工作的辅助和探索性工具，它综合和结构化了现有的XUI知识，而不是作为一个独立、完全验证的系统。事实上，HERMES的设计目的是为了补充这一贡献，提供一种交互式和可操作的方式来导航SLR的结果，便于研究人员、设计者和从业者进行探索。因此，对HERMES进行全面以用户为中心的评估（特别是评估可用性、有用性和对研究和设计实践的影响）是未来工作的一个重要方向。最后，为了保持情境特异性并避免在多个领域背景下的过度概括，发现结果被分为几个群组进行报告。这种方法确实限制了结果解释的边界，因为跨领域的可转移性需要专门的用户研究，从而增强了SLR的方法论严谨性，并防止了误导性结论的得出。

**8 结论**

本研究探讨了XUI的设计与评估。尽管XUI被广泛认为是解释过程的一个基本组成部分，但其实现仍面临着重大的研究挑战。我们从多维度的角度来探讨这个问题。一方面，我们研究了HCI需求，分析了来自用户研究的用户类型和评估框架；另一方面，我们探讨了算法方面的内容，并通过界面层将这两个维度联系起来。我们的分析为设计者制定了指导方针，结合了自上而下和自下而上的方法。自上而下的方法涉及回顾提出指导和框架的研究，而自下而上的方法则侧重于从案例研究中提取设计原则和需求。这些指导方针旨在弥合可解释界面的可用性与仅关注算法透明度的做法之间的差距。通过提供一个关于XUI设计和实现生态系统的全面视图，本研究有助于识别创建符合新兴法规的可解释过程中的关键挑战。最终，我们的发现不仅使XAI成为一个研究概念，还使其成为可实际应用于现实世界解决方案的一部分。事实上，在这项工作中，我们还介绍了HERMES平台，该平台用于指导XUI的设计和评估。尽管需要通过用户研究来评估和验证该平台，但借助这个平台，我们试图弥合学术文献中的研究成果与设计师和开发者实际应用之间的差距。

**作者贡献声明**

*概念化：EC*
*数据整理：EC, AE, FG*
*形式分析：EC, AE, FG*
*资金获取：GD, RL, SR*
*调查：EC, AE, FG*
*方法论：EC, AE, FG*
*项目管理：GD, RL, SR*
*监督：GD, RL, SR*
*验证：EC, AE, FG*
*可视化：EC, AE, FG*
*写作 - 初稿：EC, AE, FG*
*写作 - 审查与编辑：EC, AE, FG, SR*