《Behaviour & Information Technology》：Leveraging generative AI for human understanding: meta-requirements and design principles for Explanatory AI as an emerging paradigm
编辑推荐：
人工智能系统日益在关键领域支持决策制定，然而可解释AI方法优先考虑算法透明度而非人类理解。虽然XAI揭示计算过程用于模型验证，最终用户需要的是整合领域知识、情境推理和专业框架的解释。这一脱节揭示了一个设计挑战：现有方法未能解决实践者如何理解和采纳AI推荐的问题
人工智能系统日益在关键领域支持决策制定，然而可解释AI方法优先考虑算法透明度而非人类理解。虽然XAI揭示计算过程用于模型验证，最终用户需要的是整合领域知识、情境推理和专业框架的解释。这一脱节揭示了一个设计挑战：现有方法未能解决实践者如何理解和采纳AI推荐的问题。本文引入解释性AI作为新兴互补范式——其中AI系统利用生成式和多模态能力充当人类理解的解释伙伴。不同于传统XAI回答“算法如何决定？”以用于验证目的，解释性AI针对实践者在做出知情决策时的“这为什么合理？”这一问题。通过理论指导的设计，研究人员综合了来自认知科学、传播研究和教育学的多学科视角，以及在医疗和AI专家访谈中的实证证据。分析识别出区分解释性AI与XAI的五个维度：解释目的、沟通模式、认识立场、适应性和认知设计。研究人员推导出五项元需求并制定了十项设计原则，规定了如何构建此类系统，并通过五个UI原型示例展示实现。解释性AI可独立运行或与XAI结合使用，服务于创建真正支持人类推理和决策系统的不同目的。
一、研究背景与问题提出
随着人工智能系统在医疗等关键领域的决策支持应用日益广泛，一个根本性的鸿沟逐渐显现：现有可解释AI方法侧重于算法的技术透明性，却忽视了人类实际的理解需求。传统的XAI方法，如SHAP和LIME，主要通过特征归因分数等静态技术输出来揭示算法决策过程，服务于模型验证、调试和监管合规。然而，对于需要在自身专业背景下理解并采纳AI推荐的最终用户而言，这些技术抽象的输出往往难以消化。研究表明，特征重要性评分和统计归因虽然技术上准确，却无法满足用户在决策过程中对深层理解的需求。这一脱节暴露了关键的设计缺陷：现有方法未能解决实践者如何真正理解并基于AI建议采取行动的问题。与此同时，生成式AI的出现开辟了新的可能性——大型语言模型能够生成上下文相关的叙事驱动型解释，适应不同用户的背景，将决策嵌入熟悉的概念框架，并支持交互式对话。基于此，本研究提出了“解释性AI”这一新兴补充范式，旨在通过生成式和多模态能力，使AI系统成为人类理解的解释伙伴，从而弥合算法透明度与人类理解之间的鸿沟。
二、研究方法与技术路线
研究人员采用理论指导的设计方法，分三个阶段展开研究：第一阶段，通过整合性文献综述，融合认知科学、传播学和教育学等多学科的人类解释理论，以及AI解释能力的演变脉络，识别出五大设计维度。第二阶段，在德国居家护理场景中开展快速情境化设计研究，对六名护理人员进行情境访谈和观察，同时对六位AI专家进行半结构化访谈。第三阶段，综合理论基础与实证证据，为每个维度推导出元需求，并进一步分解为设计原则。具体的关键技术方法包括：整合性文献综述法（用于建立理论框架）、快速情境化设计（用于收集护理人员的实证需求）、演绎编码法（用于分析AI专家访谈数据）、亲和图映射（用于聚类观察结果）、以及理论指导的综合分析法（用于从理论与实证的三角互证中推导元需求和设计原则）。
三、研究结果
3.1 解释目的：从诊断性到解释性意义建构
研究发现，传统XAI服务于诊断目的，回答“算法如何决定？”，而用户需要的是解释性理解，即“这在专业背景下为什么合理？”。通过护理人员访谈发现，他们需要的不是算法特征重要性，而是能够支持实际推理和文档记录的表述辅助工具。AI专家也强调解释应帮助用户“理解AI产生的最终结果”。据此推导出元需求1：解释性AI系统必须优先考虑解释性意义建构，整合领域知识和情境推理，并根据用户情境调整解释目的。
3.2 沟通模式：从静态技术抽象到动态叙事互动
传统XAI采用静态技术输出（如可视化、特征重要性分数），要求用户具备统计素养。实证表明，用户偏好“像人类一样说话”的系统，希望获得视频、语音转文字等多模态支持，以及像同事建议一样的自然语言解释。AI专家指出，自然语言解释对普通消费者至关重要，对话式交互是人类习得的行为模式。由此形成元需求2：系统必须采用动态叙事沟通，运用自然语言、对比框架和多模态呈现，同时管理过度解释和过度迎合的风险。
3.3 认识立场：从严格算法对应到情境合理性
传统XAI优先保证对算法过程的忠实度，而用户可能从优先考虑情境合理性而非详尽算法细节的解释中获益。护理人员从未表达过了解算法机制的需求，而是关注“对当前任务或患者有意义”的指令。AI专家区分了明确的幻觉与合理的上下文信息补充，指出在超关键应用中错误解释的致命风险。研究明确了忠实度、真实性、领域有效性、完整性和合理性五个独立的质量标准。元需求3：系统必须在服务理解的前提下优先考虑情境合理性，同时将忠实度、真实性和领域有效性作为不可替代的独立要求，并根据应用关键性校准验证机制。
3.4 适应性：从统一专家导向设计到个性化普适可访问性
传统XAI产生统一输出，主要面向具备统计素养的用户。实证显示，护理人员需要系统根据个人技能水平、偏好和日常节奏进行调整，尤其强调了语言和文化多样性带来的挑战（如外籍护理人员的语言障碍）。AI专家指出XAI输出的个性化几乎不存在，而生成式AI提供了灵活性，但也面临“不了解我的知识水平”的问题。元需求4：系统必须动态适应用户特征，包括专业知识水平、语言能力和文化背景，并提供包容性的多模态访问选项。
3.5 认知设计：从信息过载到渐进式理解
传统XAI一次性呈现全面信息，容易造成认知负荷。护理人员在忙碌时段只想要“底线结论”，而在安静时段可以接受更详细的解释。AI专家讨论了信息架构的重要性，认为应根据用户角色和情境过滤相关信息。元需求5：系统必须实施渐进式信息架构，允许用户控制信息深度，并优先过滤和呈现最相关的信息，以避免认知过载。
四、讨论与结论
讨论部分指出，解释性AI作为新兴设计范式，并非取代XAI，而是与之互补，各自服务于不同的解释目的。两者的区别在于功能目的而非技术边界：XAI的输出以模型内部计算为评价基准，而解释性AI则以用户理解为导向。在实际系统中，两者可以共存，例如放射科医生使用XAI热力图验证异常检测，同时使用解释性AI理解临床推理。研究还强调了治理与问责问题，特别是在高利害场景下如何确保解释的忠实性和领域有效性，以及如何在可理解但不完美的解释影响决策时分配责任。
研究结论总结了三方面贡献：第一，概念化了解释性AI作为XAI的互补设计范式，建立了包含五个关键维度的理论框架；第二，提供了来自医疗专业人员和AI专家的实证证据，推导出五项指定系统必须实现的元需求；第三，制定了十项规定如何构建满足这些元需求系统的设计原则，为实践者提供可操作的指导。研究局限包括样本量有限（六名护理人员、六名AI专家）、地理范围限于德国、以及尚未在实际系统中进行实证评估。未来研究方向包括在更多样化的专业环境中验证设计原则、开发评估解释质量的工具、以及探索解释性AI在不同文化和语言背景下的适用性。
