《Data and Information Management》：Explainable AI for trustworthy automated data-driven decision making: Recent developments and future directions
编辑推荐：
提出了一种分层框架LeX，旨在提升自动化数据驱动决策（ADDM）中的可解释性与信任度。LeX整合了三个互补的解释层面：外行层面（Layperson）、情境层面（Contextual）与模型中心层面（Model-Centric）。研究对XAI在ADDM各领域的应
提出了一种分层框架LeX，旨在提升自动化数据驱动决策（ADDM）中的可解释性与信任度。LeX整合了三个互补的解释层面：外行层面（Layperson）、情境层面（Contextual）与模型中心层面（Model-Centric）。研究对XAI在ADDM各领域的应用及分类体系进行了广泛综述，识别出现代机器学习（ML）与深度学习（DL）系统中XAI所面临的局限、挑战与空白，并强调了未来改进XAI与ADDM整合的研究方向。
一、研究背景与问题
随着人工智能（AI）在各领域的快速普及，自动化数据驱动决策（ADDM）系统被越来越多地应用于医疗、金融、人力资源、保险、社会服务及交通等高风险领域。这类系统直接向受影响个体或操作用户输出决策结果，缺乏专家中介解释，导致用户难以理解决策依据。澳大利亚的Robodebt福利追偿系统因算法不透明而被判定违法，美国的COMPAS累犯风险评估算法也因偏见问题饱受批评，这些案例凸显了不透明自动化系统对公平性与问责制的严重威胁。尽管可解释人工智能（XAI）领域已涌现大量方法，但现有系统性文献综述（SLR）多局限于医疗、金融等单一领域，缺乏专门针对ADDM场景的跨领域综合分析。此外，现有XAI方法在公平性度量、用户差异化需求适配及跨领域可复用框架方面存在明显不足。因此，开展一项聚焦XAI在ADDM中应用的系统综述，对于整合碎片化证据、评估现有方法的适用性并引导未来研究方向具有迫切需求。
二、研究内容与结论
研究人员基于PRISMA框架，对2018年至2025年间发表的101篇同行评审论文进行了系统综述，提出三个研究问题：其一，XAI在各类ADDM领域中的最新应用现状及领域特定方法；其二，如何设计适应不同AI熟悉度用户的XAI框架以增强可解释性与信任；其三，当代机器学习（ML）与深度学习（DL）语境下哪些XAI技术最为有效，以及嵌入ADDM时存在的挑战与空白。研究结果表明，医疗与工业自动化是XAI应用最集中的领域，SHAP与LIME是最常用的解释技术，分别出现在31%和22%的研究中，GradCAM（13%）与显著性图（5%）主要应用于图像数据。桑基图分析显示，SHAP、GradCAM等技术最常与深度学习模型结合使用，反映出对复杂黑箱模型解释的偏好。研究还识别出教育、法律政策决策、计算机视觉及自动驾驶等XAI应用不足的领域，为未来研究提供了方向。
三、关键技术方法
研究人员主要采用了以下关键技术方法：一是基于PRISMA指南的系统文献综述方法，从Google Scholar、IEEE Xplore和ACM Digital Library三个数据库检索文献，经去重、筛选后最终纳入101篇研究；二是关键词分析与词云可视化，用于识别ADDM领域分布；三是热力图与桑基图（Sankey diagram）可视化，用于展示XAI技术、ADDM领域与黑箱模型之间的关联模式；四是提出了LeX分层解释框架，整合外行层面（Layperson）、情境层面（Contextual）与模型中心层面（Model-Centric）三个互补解释维度，以适应不同AI熟悉度用户的需求。
四、研究结果
4.1 XAI模型使用趋势
分析显示，SHAP与其他XAI技术在31%的研究中被采用，LIME占22%，GradCAM占13%，显著性图占5%。热力图表明，SHAP与GradCAM在医疗与医学诊断领域应用最为广泛，反映了该领域对可解释ADDM系统的强烈需求。医疗领域主要采用SHAP和LIME解释电子健康记录（EHR）模型的特征重要性，而GradCAM等可视化方法主要用于医学影像任务。工业过程自动化与跨领域ADDM则主要使用LIME、SHAP及其他技术。
4.2 其他XAI技术
除主流方法外，研究还识别出多种其他XAI技术，包括排列特征重要性（Permutation Feature Importance）、逐层相关性传播（LRP）、部分依赖图（PDP）、反事实与对比解释（如DICE、CEM）、可解释提升机（EBM）、规则提取、基于案例推理（CBR）以及对话式XAI接口等。混合XAI方法（如LIME-SHAP混合框架）在自动驾驶等实时场景中展现出平衡解释保真度与计算效率的潜力。评估指标方面，研究采用案例研究、保真度指标、信任度量、软最大信息曲线（SIC）等多种方法，强调解释应帮助用户理解、质疑和审计决策，而非仅关注模型内部机制。
五、讨论与结论
讨论部分指出，现有XAI评估实践尚不成熟，多数研究聚焦于技术保真度或模型性能，而非解释对实际决策的影响。许多研究基于专有数据集且缺乏开源代码，限制了跨机构验证与泛化性。研究强调，推进医疗等领域的ADDM需要超越技术层面的忠实性，转向以临床医生为中心、对比式及用户导向的解释，并建立可复现的流水线。研究结论认为，LeX框架为ADDM中XAI的设计与选择提供了结构化指导，有助于研究者系统识别、比较和定位最适合特定ADDM领域的XAI技术。该综述填补了XAI在ADDM领域缺乏专门系统综述的研究空白，为构建透明、可信、可问责的自动化决策系统奠定了方法论基础。
