《Computational Materials Science》：From prediction to understanding: A review of XAI applications and innovations in materials science
编辑推荐：
本文系统分析XAI在材料科学中的应用，提出包含自我解释和后解释方法的分类体系，揭示SHAP成为主流方法的原因，探讨可解释性评价与信任机制等挑战。
作者：Fiorella Cravero、Ignacio Ponzoni、Mónica F. Diaz、Gustavo E. Vazquez
所属机构：乌拉圭天主教大学（UCU）计算机科学系，地址：Av. 8 de Octubre 2738, Montevideo, 11600, Montevideo, Uruguay
摘要
虽然机器学习有望加速材料发现过程，但其不透明的特性可能削弱科学研究的严谨性以及人们对预测结果的信任。这促使人们开发并使用可解释人工智能（XAI）方法，以阐明这些智能系统背后的决策逻辑。在本文中，我们基于对140多篇相关文献的系统性分析，对应用于材料科学的XAI最新进展进行了批判性回顾。我们的研究指出了XAI术语中存在的概念模糊之处，并明确了自解释方法和事后解释方法之间的区别。为此，我们提出了一种分类体系，用于整理当前的XAI方法，并重点介绍了该领域中的关键方法创新。分析结果显示，SHAP方法占据主导地位，已成为材料科学领域XAI的标准工具。然而，随着基于图谱和扰动的方法不断涌现，这一工具也带来了新的机遇与挑战。最后，我们探讨了XAI在该领域应用中的现有局限性和亟待解决的问题，尤其是如何评估和信任这些解释结果。
引言
近年来，人工智能（AI）发展势头强劲，许多行业、公司和组织积极将其融入工作流程，因为AI在众多领域和任务中的表现优于人类[1]。然而，学术界在采用这项技术时往往持谨慎态度，因为某些AI模型类似于“黑箱”系统。因此，除了实现高性能的预测外，还需要能够用用户自身的知识和经验来可靠地解释模型决策过程。在这一背景下，可解释人工智能（XAI）技术在解释机器学习（ML）模型及其结果方面发挥着重要作用[2]、[3]、[4]、[5]。尽管人们可能认为仅关注性能会导致系统变得更加不可解释，但这只有在模型性能与透明度之间存在权衡时才成立[6]。然而，对系统的深入理解有助于纠正其缺陷[7]。
在化学信息学中，AI模型被应用于与药物或材料合理设计相关的各种计算问题，例如开发定量结构-活性/性质关系（QSAR/QSPR）模型[8]、[9]、[10]、[11]、[12]、[13]，以及药物的从头设计[15]、[16]、[17]或材料[18]、[19]、[20]。AI驱动系统的复杂性已达到几乎无需人工干预的程度[7]。除了必须符合监管机构（如FDA对医疗应用的监管要求[21]）外，还需要理解这些模型的工作原理。当AI做出的决策最终影响人类生命或危及数百万美元的投资时，就需要了解这些决策的生成机制[22]、[23]、[24]。从预测转向理解是将机器学习应用于材料科学的核心挑战。
介绍
近年来，人工智能（AI）取得了显著进展，许多行业、公司和组织都在积极将其融入工作流程，因为AI在众多领域和任务中的表现优于人类[1]。然而，学术界在采用这项技术时往往持谨慎态度，因为某些AI模型类似于“黑箱”系统。因此，除了实现高性能的预测外，还需要能够用用户自身的知识和经验来可靠地解释模型决策过程。在这种情况下，可解释人工智能（XAI）技术在解释机器学习（ML）模型及其结果方面发挥着重要作用[2]、[3]、[4]、[5]。尽管人们可能认为仅关注性能会导致系统变得更加不可解释，但这只有在模型性能与透明度之间存在权衡时才成立[6]。然而，对系统的深入理解有助于纠正其缺陷[7]。
在化学信息学中，AI模型被应用于与药物或材料合理设计相关的各种计算问题，例如开发定量结构-活性/性质关系（QSAR/QSPR）模型[8]、[9]、[10]、[11]、[12]、[13]，以及药物的
从头设计[15]、[16]、[17]或材料[18]、[19]、[20]。AI驱动系统的复杂性已达到几乎无需人工干预的程度[7]。除了必须符合监管机构（如FDA对医疗应用的监管要求[21]）外，还需要理解这些模型的工作原理。当AI做出的决策最终影响人类生命或危及数百万美元的投资时，就需要了解这些决策的生成机制[22]、[23]、[24]。这种理解不仅确保了安全性和问责性，还有助于用户、监管机构和投资者更加自信和透明地采用这些技术。
不透明性和透明性的概念可以看作是一个连续体，从完全不可解释的系统（“黑箱”）到完全透明的系统（“玻璃箱”）。介于两者之间的是“灰箱”系统，这类系统的可解释性介于两者之间[25]。早期的AI方法，如专家系统和基于规则的模型，易于解释。同样，线性回归（LR）或决策树（DT）等ML模型也具有自解释性[26]、[27]。尽管这些模型依赖于促进可解释性的数学框架，但它们往往无法捕捉独立变量和因变量之间的复杂关系[28]。例如，线性回归假设变量之间存在线性关系，而实际情况往往并非如此[29]。因此，现在常用更强大的模型，如支持向量机（SVM）、随机森林（RF）、提升方法（如XGBoost）或深度神经网络（如图神经网络）[30]。这些高级模型能够捕捉复杂的非线性关系，从而提高预测准确性。然而，它们的黑箱特性使得解释变得困难，从而限制了其广泛应用。因此，过去十年间，XAI技术应运而生，旨在平衡准确性和可解释性[7]。
尽管可解释性和准确性常被视为相互竞争的目标，但研究表明这种矛盾并非不可避免。实际上，模型性能与可解释性之间的关系很大程度上取决于建模策略以及学习过程中融入的领域知识程度。在材料科学中，基于物理原理的混合模型通过嵌入物理意义上的约束或描述符，不仅提高了可解释性，还能通过引导模型朝向物理上合理的解决方案来提高预测准确性[30]、[31]。这种视角重新定义了权衡标准，促进了既准确又可解释的模型开发。
当模型具有合理的预测性能时，可解释性最具价值，因为来自不可靠模型的解释可能无法反映真实的结构-性质关系。然而，可解释性在性能评估之外也有其内在价值。了解模型为何失败、哪些模式被错误捕捉或哪些特征被过度强调，可以为数据整理、特征工程和模型优化提供宝贵见解[7]。
以往的两篇综述论文探讨了XAI在材料科学中预测材料性质的应用。Oviedo等人[32]对XAI领域进行了全面介绍，并定义了关键概念。该论文概述了应用于材料科学和化学的可解释性和解释性技术，涵盖了经典ML模型和深度神经网络。文中介绍了两种主要的XAI方法：本质可解释模型和事后解释模型（本文分别称为模型无关方法和模型特定方法）。前者包括基于物理描述符的模型和线性模型；作者指出了线性模型的局限性，并强调了使模型行为与物理现象保持一致的重要性。后者则介绍了几种事后解释方法，包括“假设情景”分析、特征重要性分析以及针对深度神经网络的技术。
类似地，Zhong等人[33]专门研究了XAI在深度神经网络中的应用。他们将方法分为两类：事前方法和事后方法。事前方法对应于所谓的“玻璃箱”模型。文中讨论了两种可解释的深度神经网络示例：SchNet架构[34]（将物理特性整合到模型设计中）和CrabNet[35]（一种基于Transformer的网络，通过自注意力机制和位置编码提供特征重要性热图）。事后方法通常应用于“黑箱”模型，包括基于热图的方法（可视化输入特征对预测的贡献）、基于实例的解释方法、传统替代模型，以及分析DNN的权重和激活值以了解学习模式，还有迁移性测试。
在本文中，我们对材料科学领域的XAI文献进行了全面回顾，分析了450多篇相关论文，以整理和澄清当前的研究现状（见图1）。
我们的目标是深入探讨当前材料信息学领域的趋势和XAI技术的空白之处。与以往的综述不同，本文提出了一种新的结构化映射方法，将不同知名的XAI方法应用于材料科学，并涵盖了专为材料信息学问题设计的新XAI策略。通过建立这些对应关系，我们旨在弥合两个领域之间的差距：帮助AI从业者更好地理解材料科学中的实际挑战和机遇，并帮助材料科学家更有效地利用现有的XAI工具来提高模型的透明度和可解释性。
术语说明
本综述的基本术语和范围
尽管XAI的相关性日益增强，但不同学科之间的术语使用仍存在不一致性，常常导致混淆。本节旨在澄清材料科学背景下的关键术语，并明确本研究的范围。首先，我们探讨了“可解释性”和“可解释性”这两个术语为何经常被互换使用，尽管它们具有不同的含义。接下来，我们界定了材料科学领域中XAI应用的范围。
提出的XAI方法分类体系
本节旨在提出一个高层次的XAI方法分类体系，帮助从业者选择最适合他们需求的方法。该分类体系围绕可解释性的关键方面进行组织，包括解释的范围、与基础学习模型的独立性（见图3），以及将方法划分为不同的方法学类别。
材料类别和应用领域
材料科学涵盖了一系列广泛且不断发展的领域。本节探讨了XAI在这些领域中用于解释ML模型的应用情况。
XAI分类体系及其在材料科学中的应用
本节全面回顾了XAI在材料科学中的应用，按方法学类别和子类别进行分类。对于每种方法，都给出了其在材料科学中的相关应用实例。表格2总结了不同材料类型中XAI技术的应用情况。
材料科学中的创新XAI策略
本节回顾并强调了专门为解决材料科学挑战而设计的创新XAI应用。
讨论与未来方向
XAI在材料科学中已开始发挥重要作用，但其整合到科学工作流程中仍面临概念、技术和实践方面的挑战。本节讨论了跨学科的贡献、当前的限制以及围绕XAI应用的关键问题，特别是如何定义、评估和信任解释结果。
结论
近几十年来，人类与技术的关系发生了显著变化。虽然技术系统中的因果关系曾经是清晰可追踪的，但如今这种清晰性已不复存在。这一现象与当前使用机器学习模型（尤其是材料科学领域）所面临的挑战相吻合。机器学习的预测能力不容否认，但其内部运作机制难以解释。
作者贡献声明
Fiorella Cravero：撰写与编辑、初稿撰写、监督、研究设计、资金获取、数据分析、概念构建。
Ignacio Ponzoni：撰写与编辑、监督、方法设计、资金获取。
Mónica F. Diaz：撰写与编辑、监督、研究设计、资金获取。
Gustavo E. Vazquez：撰写与编辑、验证、监督、资金获取。
利益冲突声明
作者声明没有已知的财务利益冲突或个人关系可能影响本文的研究结果。
致谢
本工作部分得到了阿根廷国家科学技术研究委员会（CONICET）（项目编号：PIP 112-2021-0100600和PIP 112-2021-0100683）、阿根廷南大学（UNS，巴伊亚布兰卡）（项目编号：PGI 24/N061和PGI 24/M179）、阿根廷国家科学技术促进局（项目编号：PICT 2019-3350和PICT-2021-I-INVI-00783）以及乌拉圭国家研究与创新局（ANII）的支持。
