《Systems》：X-AI Techniques for Human–AI Teams: The Implementation-Design Framework
编辑推荐：
可解释人工智能（X-AI）技术旨在使自主系统的行动和决策对于与这些系统交互的人类而言是可理解的。在人机团队中，可解释性支持个体理解与协调、共享心智模型以及人类与AI智能体之间的集体决策。研究表明，X-AI增强了对自主系统的信任，提高了人机团队绩效，并支持了包括
可解释人工智能（X-AI）技术旨在使自主系统的行动和决策对于与这些系统交互的人类而言是可理解的。在人机团队中，可解释性支持个体理解与协调、共享心智模型以及人类与AI智能体之间的集体决策。研究表明，X-AI增强了对自主系统的信任，提高了人机团队绩效，并支持了包括航空、金融、医疗保健、酒店和体育在内的跨领域协作。然而，X-AI技术面临严峻挑战，包括由于复杂的底层模型（即AI系统的“黑箱”性质）导致缺乏透明度和可解释性。这些技术还缺乏普遍接受的评估指标，并且跨应用的可泛化性有限。X-AI文献中的一个不足是，大多数框架关注个体层面的结果，而对团队层面过程的关注有限。该研究遵循PRISMA指南和SALSA框架进行了系统文献综述。该研究引入了实现-设计（I-D）框架，该框架沿两个维度组织X-AI方法：实现维度，从视觉方法到交互方法；设计维度，从孤立解释到工作流集成系统。该框架捕捉了从涉及个体用户的低层次参与，到团队和集体所需的高层次理解。研究结果表明，视觉解释方法支持用户参与，而交互式工作流方法促进了人机团队中的更深层次理解、适当依赖和分布式认知。启示强调了基于共享心智模型、交互记忆系统和协作性X-AI人工制品的团队导向可解释性的必要性。文中包含了实践指南，以支持研究人员和从业者根据其上下文和分析层次选择合适的X-AI技术。I-D框架被提出作为一个概念性组织模型，以指导研究和实践，并确定实证验证为未来工作的优先事项。
1. Introduction
引言部分指出，可解释人工智能（X-AI）技术旨在使自主系统的行动和决策可被人类理解。在人机团队中，可解释性不仅支持个体理解，还促进协调、共享理解和集体决策。研究表明，X-AI能增强信任、提升绩效，并应用于航空、金融、医疗、酒店和体育等领域。然而，X-AI面临挑战，包括复杂模型导致的“黑箱”问题、缺乏统一评估指标和泛化能力有限。现有文献多聚焦个体层面，忽视团队过程。为弥补这一不足，该研究引入实现-设计（I-D）框架，沿实现（从视觉到交互）和设计（从孤立解释到工作流集成）两个维度组织X-AI方法，旨在促进人机团队中的理解、协调与协作。
2. Methodology
该研究采用系统文献综述方法，遵循PRISMA 2020指南和SALSA框架。搜索涵盖多个数据库，包括ERIC、Education Source Ultimate、APA PsycInfo、Computer Source、Human Resources Abstracts、Business Source Ultimate、Academic Search Ultimate (EBSCO)、Web of Science (Clarivate)和ProQuest Dissertations & Theses Global，以及灰色文献。搜索策略围绕两个核心概念：可解释AI（X-AI）和人机团队。筛选过程包括标题/摘要筛选和全文筛选，最终纳入70篇研究。数据提取使用结构化矩阵，记录出版年份、领域、可解释性概念、团队背景、方法论、理论框架和关键发现。编码通过预定义模式（表1）由至少两名研究人员独立完成，并通过共识会议解决分歧，未计算正式信度系数。
3. Review of the Literature
3.1 Definitions
文献中X-AI被定义为AI系统提供可理解解释的能力，涉及提供解释、揭示“黑箱”过程、增强理解。在机器学习（ML）中，X-AI被视为ML子领域，提供实例级解释。部分研究强调人本中心X-AI，区分低层（决策过程信息）和高层（整体流程解释）。透明性和可解释性被强调与准确性同等重要。
3.2 Explainable Approaches
X-AI技术分为四类：先验（内在）与后验、模型特定与模型无关、替代方法、全局与局部解释。先验方法依赖内在可解释模型，后验方法对不透明模型提供解释。模型特定解释聚焦模型内部结构，模型无关解释基于输入输出关系。替代模型用简单表示近似复杂模型。全局解释描述模型整体行为，局部解释关注特定预测。
3.3 Explainable Techniques
3.3.1 X-AI at the Individual Level
在个体层面，大量研究（n=14/38）强调可解释性依赖受众，通过本地实例级解释支持决策者（如灾难评估、医疗患者、临床医生）。常用后验方法，如Shapley Additive Explanations（SHAP），提供特征贡献。个体层面X-AI优先考虑个性化界面设计和可视化，信任被测量为主观态度，效果通过任务绩效、认知负荷和个体决策质量评估。
3.3.2 X-AI Team/Group Level
在团队层面，X-AI关注共享心智模型、集体理解和团队绩效提升（n=18）。尽管尚未完全建立理论框架，但概念化为人因与AI可解释性之间的共享基础。团队层面X-AI设计用于支持沟通、协调和工作流集成，而非仅个体界面可用性。信任校准和适当依赖优先于个体信任建立。
3.3.3 Techniques at the Individual Level
个体层面常用SHAP，基于合作博弈论的Shapley值量化特征贡献，提供全局和局部重要性。SHAP用于体育绩效预测识别影响因素，为教练提供可视化洞察。表2概述了不同技术及其方法。
3.4 The Implementation-Design (I-D) Framework
该研究围绕I-D框架组织，该框架沿实现和设计两个维度概念化可解释AI。实现维度从视觉方法到交互方法，设计维度从孤立解释到工作流集成系统。这些维度形成连续体，视觉解释技术支持低层参与，交互式工作流方法促进高层理解。框架从编码中归纳得出，与现有计算分类（如先验/后验、局部/全局）正交，补充而非替代它们。
3.4.1 Implementations
实现维度区分视觉和交互方法。视觉方法使用图表、图等图形表示使AI输出可理解，包括显著性图、SHAP可视化、LIME可视化、决策树、特征重要性图、不确定性显示和部分依赖图（PDPs）。显著性图通过梯度或注意力机制突出输入区域，支持感知但保持描述性和回顾性，属于低层实现。交互式X-AI通过用户操作、临时解释和迭代意义建构实现参与，包括决策支持、策略反馈和协作交互。交互式X-AI支持用户查询、修改输入、测试反事实，嵌入工作流，促进共享情境意识和适当依赖，属于高层实现。
3.4.2 Design
设计维度将X-AI视为社会技术过程，包括界面设计、交互结构和环境条件。团队导向设计将AI视为队友，可解释性支持协调和共享心智模型。人机界面设计采用多模态解释策略（如视觉面板、高亮、例子、不确定性显示），并考虑自主性感知设计。负责任和包容性设计将公平性、问责制、透明性和可访问性嵌入核心约束。解释方面，常用后验模型无关方法（如SHAP特征归因）和基于示例的解释，格式作为设计变量。工作流方面，强调可解释性与决策过程的时间对齐，包括任务需求分析、迭代设计-评估循环和组织治理。工作流将可解释性从静态输出转化为随时间嵌入的持续过程。
3.5 The Four Quadrants
I-D框架分为四个象限：第一象限（视觉解释）通过视觉决策期望提供参与；第二象限（视觉工作流）通过视觉设计提供系统级理解；第三象限（交互式解释）通过交互探索提供深层理解；第四象限（交互式工作流）通过交互式系统设计提供全面理解。维度是连续轴，系统可跨多个区域。分类规则基于主导解释功能，系统可表示为向量。提供策略指导（表3）而非固定技术列表，以保持可持续性。
3.5.1 X-AI Strategies for the Four Quadrants
为每个象限提供策略：Q1（视觉解释）聚焦特征重要性可视化；Q2（视觉工作流）使用不确定性感知显示支持多学科团队；Q3（交互式解释）采用交互式决策树和反事实教练；Q4（交互式工作流）采用团队导向、生命周期嵌入的解释过程。示例包括体育绩效反馈、团队简报、用户探索和共享心智模型支持。
3.5.2 Positioning the I-D Framework Among Existing Frameworks
通过与现有框架（SAFE-AI、Endsley的情境感知框架、Mohseni等人多学科框架）比较，I-D框架强调如何和为何组织可解释性，聚焦个体与团队水平的参与 vs 理解，是互补而非替代的。
4. Discussion
4.1 The I-D Framework to Support the Team Level of Analysis
可解释性需求随分析水平从个体到团队转移。个体层面视觉和后验解释支持解释和证明，团队层面需要促进沟通、协调和相互预测。I-D框架捕捉这一转变，低层视觉技术支持个体参与，但不足以满足团队需求。共享心智模型、互补绩效和分布式认知是关键，可解释性作为形成和维持共享理解的机制。
4.2 From Individual Interpretability to Team Coordination
个体层面X-AI支持理解、信任和事后证明，常用SHAP提供特征归因。团队层面，可解释性角色扩展，如SHAP系统提供三层情境感知（XAI-1感知、XAI-2理解、XAI-3反事实），XAI-3更适合团队跨学科对话。交互式决策支持在团队层面帮助缓解知识不平衡，支持协作性用户参与。评估应关注团队心理模型、过度信任和信任不足，而非仅主观信任。
4.3 Explainability as an Interactional and Temporal Process
可解释性应被概念化为交互性和时间性过程，而非静态输出。交互方法支持迭代意义建构，工作流维度强调可解释性与决策时间对齐（行动前、中、后）。共享心智模型是通过感知、沟通、推理和同步持续维持的，可解释性在团队生命周期中需持续更新和同步。静态解释在时间不匹配时可能失败，导致认知负担或忽略。
4.4 Designing for Human–AI Team Performance and Appropriate Reliance
可解释性应根据其对团队绩效的贡献评估，而非仅个体理解。有效人机团队以互补绩效为特征，可解释性支持协调、适应协作和集体绩效。设计目标不是最大化信任，而是支持适当依赖。交互式和工作流集成方法通过允许用户质询输出、比较替代方案和测试假设促进主动参与，支持分布式认知。
4.5 Implications for Theory and Future Research
4.5.1 Team-Oriented Explainability
现有X-AI框架在团队层面发展不足，需要理论明确解释X-AI如何在团队中作为协调资源。未来研究应关注协作性X-AI（C-XAI）人工制品，支持团队认知（分布式认知），并基于团队认知、角色互依和集体行动发展团队层面可解释性理论。
4.5.2 Distributed Cognition
未来研究应探讨共享心智模型、交互记忆系统和分布式认知在团队中的实证测试。相关建构缺乏实证检验，需研究解释是否帮助构建准确且相似的共享认知结构。新兴研究方向包括认知数字孪生，扩展传统数字孪生以推理和学习，使AI理解人类合作者，与I-D框架的交互式工作流象限对应。
4.5.3 Limitations and Status of the Framework
I-D框架是概念性组织模型，尚未通过案例研究、专家评估、德尔菲法或实验验证。分类基于结构化共识而非独立双编码，未计算信度系数。搜索范围限于两个核心构念，可能遗漏相邻术语研究。团队层面意涵依赖仍在实证不充分的建构（如共享心智模型）。因此，框架需进一步验证和测试。
