《Journal of Chemometrics》：Improving AI Explainability Through Design of Experiments
编辑推荐：
在人工智能（AI）领域，许多模型与过程的复杂性超出人类理解范围，使判断特定预测为何产生变得困难。这种透明度不足在医疗健康等关键领域尤为突出，因为对模型预测的信任至关重要。因此，机器学习（ML）模型以及其他复杂模型的可解释性已成为重点研究方向。提升模型可解释性的
在人工智能（AI）领域，许多模型与过程的复杂性超出人类理解范围，使判断特定预测为何产生变得困难。这种透明度不足在医疗健康等关键领域尤为突出，因为对模型预测的信任至关重要。因此，机器学习（ML）模型以及其他复杂模型的可解释性已成为重点研究方向。提升模型可解释性的工作通常涉及对AI系统开展试验，并通过可解释的代理机制近似其行为。然而，这些流程可能具有较高的资源消耗。最优试验设计（OED）旨在使有限观测获得最大信息量，为提升此类可解释性技术的效率提供了有前景的方法。
为展示这一潜力，研究人员探讨了局部可解释模型无关解释（LIME），这是2016年提出的一种广泛使用的方法。LIME通过围绕目标实例生成新数据点并将这些数据点输入模型来提供解释。该方法虽然有效，但当预测代价高昂或需要大量样本时，其计算成本可能较高。LIME具有高度通用性，可应用于广泛的模型与数据集。在本研究中，研究人员聚焦于涉及表格数据、回归任务以及以线性模型作为可解释局部近似的模型。
通过利用最优试验设计技术，研究人员减少了复杂模型的函数评估次数，从而大幅降低LIME的计算负担。研究人员将该改进版LIME视为具有能效优势的方法，因而更受青睐。
一、研究背景与问题
人工智能（AI）模型和过程的复杂性常超出人类理解范围，难以说明模型推理依据。在医疗健康等关键场景，仅有高准确率并不充分，对模型决策的信任以及相关法律考量均十分重要。因此，可解释人工智能（XAI）成为重要方向，并在化学计量学等领域受到关注。LIME是一种广泛使用的局部事后解释方法：它在目标实例附近生成新样本，拟合可解释的简单次模型，并以该次模型近似复杂主模型的局部行为。LIME虽通用，但存在明显问题：随机采样导致多次运行结果不稳定，甚至出现系数符号反转；核宽（带宽）难以合理设定；大量远离参考点的样本局部权重接近零，对解释贡献很小，却仍要调用可能昂贵的主模型，造成计算与能源浪费。已有研究虽从样本子选、聚类、嵌入距离、自适应样本量和核宽优化等方面改进LIME，但仍可能依赖大量重复计算。为此，研究人员将OED引入LIME采样步骤，希望在保持解释质量的同时显著减少主模型调用次数，并服务于更“绿色”的AI计算。
二、研究内容、结论与意义
研究人员针对局部线性模型建立OED方法，重点发展D-准则，并将其用于LIME的新样本生成；研究对象限定为表格数据、回归任务和线性次模型，且不对输入变量作离散化。通过一维和二维模拟示例，研究人员将标准LIME与基于OED的采样方案进行比较。结论表明，该方法可减少复杂主模型的函数评估次数，从而大幅降低LIME计算负担，使解释过程更具能效；在示例中，OED方案对几乎所有参考点的平均解释评价与LIME相近，但稳定性更高、离群结果更少，并避免小样本下线性拟合矩阵病态的问题。该研究为XAI中的高效数据采集提供了初步策略，对降低多用户并发预测时的系统负载以及减少能源和计算资源消耗具有重要意义。
三、主要关键技术方法
主要方法包括：以LIME为基线，将次模型限定为表格数据回归任务中的局部线性模型；采用OED的D-最优设计准则，结合径向基函数（RBF）核和欧氏距离推导最优设计点，并以中心点权重正则化、按设计权重分配样本及围绕支撑点施加小方差高斯扰动（jittering）生成样本；用归一化加权积分平方误差（NWISE）和加权相关系数（CORR）评价解释，在一维与二维模拟示例中与标准LIME比较；研究未使用真实样本队列。
四、研究结果
（一）对LIME的修改
通过梳理LIME相关研究并分析其采样与邻域设定，研究人员指出：随机采样是结果不稳定的主要来源；核宽选择缺乏明确依据；远离参考点的样本几乎不提供局部信息。据此，该研究不采用输入离散化，聚焦表格数据、回归任务及线性局部近似，以保留解释信息并突出采样优化问题。
（二）用于LIME采样步骤的OED
通过为局部线性模型推导D-最优设计，研究人员在参考点分配少量正则化权重，在一维情形得到围绕中心点对称的三点设计，在高维情形采用含中心点的全因子设计，并以“抖动”方式将设计扩展为任意样本。结论是：该设计可锚定采样区域、减少无效主模型调用，并提高重复运行下的稳定性；由于主模型预测函数通常为确定性函数，设计点不以重复真实试验点处理，而通过加入小高斯扰动生成样本。
（三）两个示例上的解释
通过构建一维五次多项式模拟示例，以及包含光谱坐标与pH非线性交互的二维吸光度模拟示例，研究人员设定多个参考点并实施OED采样。结果表明，所提流程可在局部邻域内生成围绕参考点的设计样本，并与标准LIME流程衔接，为后续稳定性与解释质量比较提供基础。
（四）评价指标
通过分析XAI中解释质量评价的困难，研究人员提出NWISE和加权CORR，分别衡量次模型与主模型预测的局部加权差异及相似性，并给出其概率解释。结论是：这两类指标可在缺少统一解释质量标准的背景下，用于比较LIME与OED方案在参考点邻域内的局部保真度和预测一致性。
（五）重访示例
通过对每个参考点重复100次运行并比较标准LIME与OED，研究人员发现：两者在几乎所有单元上的平均NWISE和CORR相近；OED方案的主要优势是估计更稳定、方差更小、受离群值影响更少；LIME在部分情形出现较大波动甚至系数符号变化，并可能在小样本或500个样本时出现病态矩阵，而OED方案即使样本更小也较可靠地获得可逆矩阵。对参考点0的示例解释显示，两种方法得到的系数和贡献方向总体一致，可用于说明光谱输入与pH的局部影响。
（六）带宽参数选择
通过考察不同核宽对一维示例邻域的影响，研究人员指出默认核宽1并不适合该示例，过大的核宽会使邻域内仍呈现明显非线性；而通过反复运行LIME来优化核宽效率较低，在预测函数昂贵时并不合适。
五、讨论与结论
讨论部分指出，该研究是OED用于提升LIME效率的初步策略，可减少主模型查询并降低并发预测时的系统负载。该方法目前限于表格数据和回归任务，但可推广至图像超像素的哑变量采样；变量选择尚未处理，未来可结合lasso等惩罚模型；对于可能通过识别输入来源而隐藏偏差的分类器，可考虑从接近训练数据分布的分布中采样，或在建模该分布后应用OED；还可扩展至多参考点的联合设计。研究也强调，其意义不限于LIME，而是例示OED如何促进高效数据采集并减少存储空间和能源等稀缺资源消耗。研究结论可译为：总之，研究人员提出了一种将OED用于提升LIME效率的初步策略。该方法基于稀疏样本采集的理论考虑，此处即对复杂主模型的调用。当模型评估计算代价高昂时，该方法通过减少提交给主模型的查询次数来提高效率；此外，当多个用户同时请求预测时，它也有助于通过降低系统负载来缓解需求。该工作局限于OED在LIME解释中的应用，但总体上例示了OED可用于高效数据收集，从而减少存储空间和能源等稀缺资源消耗；研究人员预期，随着ML在现代社会中的应用增加，资源将变得稀缺，开发高效方法的动力将增强，而OED可能提供一种低成本释放资源的方式。
