分类器决策面的可微性用于评估其在局部解释方面的准确性

《IFAC Journal of Systems and Control》：Differentiability of classifier decision surface for evaluating faithfulness in local explanations

　　摘要
机器学习（ML）模型如今被广泛应用于医疗保健、金融和自动驾驶系统等领域，但它们的决策过程往往难以理解。这种缺乏透明度的特性使得人们难以信任这些模型，特别是在它们被用于关键应用时。可解释人工智能（XAI）提供了工具，使得ML模型更加易于理解，并通过LIME和SHAP等流行算法为预测结果提供解释。然而，这些解释的可靠性并不总是显而易见的。在多种评估标准中，忠实度是最重要的一个，它衡量了解释结果是否准确反映了模型的决策过程。在本文中，我们探讨了这一指标，并发现忠实度定义的缺失往往源于分类器本身的内在属性，尤其是其决策表面的平滑度，而非解释方法的局限性。为了研究这一点，我们引入了一种用于分类器的平滑度度量方法，提出了三种新的忠实度评估基线，并提供了一个扩展了现有库的综合性实现。这些贡献为解释质量提供了基于模型的视角，并强调了需要考虑XAI方法和底层分类器的评估指标。

引言
机器学习（ML）模型的日益广泛应用在预测性能和可解释性之间产生了平衡。它们现在被用于自动驾驶、个性化推荐、能源应用、医疗诊断和金融风险评估等关键领域（Jin和Xu，2024；Jin和Xu，2025）。深度学习架构的广泛应用显著提高了预测性能，但也使得底层决策过程变得难以理解。由于这些模型像黑盒子一样运行，用户和从业者常常无法了解具体结果是如何产生的。这种缺乏透明度的情况在医疗保健、金融和执法等关键领域部署ML系统时构成了重大障碍，因为错误的预测可能会带来严重后果。因此，仅仅实现高精度是不够的，理解和信任模型的推理同样重要（Dwivedi等，2023）。

可解释人工智能（XAI）应运而生，旨在为复杂模型提供可解释的解释（Doran等，2017）。特别是事后解释技术试图通过分配重要性分数来揭示哪些输入特征影响了预测结果。例如DeepLIFT（Shrikumar等，2017）通过将激活值与参考基线进行比较，以及分层相关性传播（LRP）（Bach等，2015）通过反向传播预测分数来提供不同的模型可解释性视角。其中最广泛使用的解释技术包括：
- **局部可解释模型-不可知解释（LIME）**：使用一个更简单、更易解释的替代模型g来近似复杂黑盒模型f:R^d→R的行为。局部度量πx(z)定义了实例z与目标实例x之间的相似性。优化问题定义为（Ribeiro等，2016）：ξ(x) = argmin_{m∈GL(f,g,πx) + Ω(g)，其中L(f,g,πx)衡量g在x附近对f的不忠实程度，Ω(g)惩罚g的复杂性，G是可解释模型的集合（通常是稀疏线性模型）。通过扰动x生成合成样本，并在这些样本上拟合g（权重为πx），LIME生成解释x预测结果的特征归因。
- **Shapley加性解释（SHAP）**：基于合作博弈论为每个特征分配一个称为Shapley值的归因分数，代表其在所有特征子集上的平均边际贡献。形式上，对于特征i∈F（Lundberg & Lee，2017）：?_i = ∑_{S?F?{i}}|S|!(|F|?|S|?1)!|F|!×(f_S∪{i}(x_S∪{i})?f_S(x_S))，其中S是不包含i的特征子集，f_S是在S上训练或近似的模型，x_S是x在子集S上的限制。这确保了贡献的公平分配，但精确计算成本较高。

随着多种解释算法的提出，自然会产生一个问题：我们如何评估这些解释的质量和可靠性？已经引入了许多评估标准，包括准确性（解释模型模仿原始模型行为的程度）、忠实度（识别出的重要特征是否确实影响预测）、一致性（确保相似实例获得相似的解释）、单调性（特征排序是否反映了它们的真实贡献）以及鲁棒性（在小输入扰动下解释的稳定性）（Kaya等，2026；Zhou等，2021）。

在这里，我们分析了忠实度，它关注解释归因是否准确反映了模型的内部决策过程。我们强调忠实度的主要动机是，它是唯一一个明确设计来评估解释在多大程度上反映了模型决策过程的指标，而在考虑鲁棒性或敏感性等方面之前（Bhatt等，2020）。在AI决策具有重大后果的领域（如医疗保健、能源、自动驾驶系统和其他安全关键应用），评估解释者的忠实度尤为重要。在这种情况下，对模型预测的信任不仅取决于准确性，还取决于模型推理过程的透明度。然而，解释往往是根据其与专家直觉的一致性来评价的，而不是它们在多大程度上忠实反映了模型的内部逻辑，这是一个经常被忽视的基本方面（Han等，2023）。因此，确保解释的忠实性对于负责任的人工智能采用至关重要，正如临床医学中所见，专家在采取模型建议前要求可解释、可信赖的见解（Wood-Doughty等，2021）。第二个动机是，先前的研究表明，在某些情况下，这是唯一一个定义不明确或在某些类型的解释中不适用的指标（Kalakoti等，2025）。根据其定义（Bhatt等，2020；Hollig等，2023；Oblizanov等，2023），对于输入x、预测器f、解释函数g和特征子集S?{1,…,d}，忠实度定义为：μ_F(f,g;x) = corr_{S∈([d]}|S|) ∑_{i∈S}g(f,x)_i, f(x)?f(x[xs=x?s])，其中x[xs=x?s]表示用基线x?s替换了子集xs的输入。基线的选择很重要，可以是零值、数据集平均值或使用生成模型学习得到的值。高相关性表明解释函数忠实地捕捉了预测器使用的特征。由于这个公式关注每个特征对单个预测的贡献，我们使用了LIME和SHAP，它们为每个特征和每个输入提供了特征重要性值。

在这项工作中，我们将忠实度作为评估不同XAI方法捕捉黑盒机器学习模型决策过程效果的关键指标。我们的分析指出了该指标失效的情景，揭示了一些限制源于分类器本身的固有特性，这是之前研究中未强调的方面。我们总结的主要贡献包括：
- 形式化了一种分类器平滑度度量方法，用于表征忠实度度量在何种条件下变得不确定，将解释的可靠性与模型的内在属性联系起来。
- 引入了三种基线值，用于探索模型决策区域的不同结构特性，从而实现更具信息量和模型意识的忠实度评估。
- 开发了一个支持更全面解释行为分析的忠实度计算框架。

符号说明：
D?R^d表示数据集，D_v?D表示验证集。输入为x∈D_v，b∈R^d是一个固定的基线向量。概率分类器f(x) = (f_1(x),…,f_K(x))将输入映射到类后验概率，其中f_k(x) = P(Y=k|x)且预测类c=argmax_k f_k(x)；fc(x)表示预测类后验。?_i(x,b)表示用bi替换x的第i个特征，?_S(x,b)表示替换子集S?{1,…,d}中的所有特征。g(f,x)_i是由解释方法g为特征i分配的归因。Δf表示扰动后分类器输出的变化。S(x,?)={y: ||y?x||
实验设置
设d_v?d?r^d，其中d是原始数据集，d维；d_v是验证数据集；x∈d_v是一个测试输入；b是一个固定的基线向量。设f是一个概率分类器，f_k(x) = p(y=k|x)，c=argmax_k f_k(x)，fc(x)∈[0,1]表示预测类及其后验（bishop，2006）。对于i∈{1,…,d}，定义单特征替换操作符为：x′??_i(x,b) = (x_1,…,x_{i?1}, bi, x_{i+1,…,xd)。因此，忠实度公式可以写为：μ_f(f,g;x) = corr_{s∈([d]}|s|) ∑_{i∈s} g(f,x)_i, f(x)?f(?_i(x,b))。

分类器中的决策表面类型
定义2.1

所有实验都在一台hp elitebook 840 g11笔记本电脑上进行，该笔记本配备了intel? core? ultra 5 125u ×14处理器、32 gib内存和intel?集成显卡（mtl）。我们评估了七种分类器，包括基于rbf核和概率输出的支撑向量分类器（svc）、决策树分类器、k最近邻算法、高斯朴素贝叶斯、逻辑回归、极端梯度提升（xgbclassifier）以及具有100个估计器和固定随机种子的随机森林。

讨论
这项工作有助于深入理解解释方法的评估指标应如何设计，特别是在与底层分类器的结构特性相关的情况下。这一见解突显了在评估解释可靠性时采取基于模型的视角的重要性。当前的忠实度定义本质上依赖于测量特征扰动下分类器输出概率的变化。

结论
随着机器学习系统在重要领域的应用越来越广泛，解释方法提供关于模型如何做出决策的忠实和可信的解释变得至关重要。在这项工作中，我们将忠实度作为评估可解释人工智能（xai）方法的关键指标，并指出了当前方法不足的情景。我们研究的一个核心贡献是观察到忠实度的局限性往往源于分类器本身的内在特性。

作者贡献声明
kimia soroush：撰写-原始草稿、可视化、验证、方法论、调查、形式分析、概念化。
sven nomm：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。
juri belikov：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

kimia soroush | sven nomm | yuri belikov 实验设置 设d_v?d?r^d，其中d是原始数据集，d维；d_v是验证数据集；x∈d_v是一个测试输入；b是一个固定的基线向量。设f是一个概率分类器，f_k(x)=P(Y=k|x)，c=argmax_k f_k(x)，fc(x)∈[0,1]表示预测类及其后验（bishop，2006）。对于i∈{1,…,d}，定义单特征替换操作符为：x′??_i(x,b)=(x_1,…,x_{i?1}, bi, x_{i+1,…,xd)。因此，忠实度公式可以写为：μ_f(f,g;x)=corr_{S∈([d]}|S|) ∑_{i∈s} g(f,x)_i, f(x)?f(?_i(x,b))。 分类器中的决策表面类型 定义2.1 所有实验都在一台hp elitebook 840 g11笔记本电脑上进行，该笔记本配备了intel? core? ultra 5 125u ×14处理器、32 gib内存和intel?集成显卡（mtl）。我们评估了七种分类器，包括基于rbf核和概率输出的支撑向量分类器（svc）、决策树分类器、k最近邻算法、高斯朴素贝叶斯、逻辑回归、极端梯度提升（xgbclassifier）以及具有100个估计器和固定随机种子的随机森林。 讨论 这项工作有助于深入理解解释方法的评估指标应如何设计，特别是在与底层分类器的结构特性相关的情况下。这一见解突显了在评估解释可靠性时采取基于模型的视角的重要性。当前的忠实度定义本质上依赖于测量特征扰动下分类器输出概率的变化。 结论 随着机器学习系统在重要领域的应用越来越广泛，解释方法提供关于模型如何做出决策的忠实和可信的解释变得至关重要。在这项工作中，我们将忠实度作为评估可解释人工智能（xai）方法的关键指标，并指出了当前方法不足的情景。我们研究的一个核心贡献是观察到忠实度的局限性往往源于分类器本身的内在特性。 作者贡献声明 kimia soroush：撰写-原始草稿、可视化、验证、方法论、调查、形式分析、概念化。 sven nomm：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。 juri belikov：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。 利益冲突声明 作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。 kimia soroush | sven nomm | yuri>
实验设置
设d_v?d?r^d，其中d是原始数据集，d维；d_v是验证数据集；x∈d_v是一个测试输入；b是一个固定的基线向量。设f是一个概率分类器，f_k(x) = p(y=k|x)，c=argmax_k f_k(x)，fc(x)∈[0,1]表示预测类及其后验（bishop，2006）。对于i∈{1,…,d}，定义单特征替换操作符为：x′??_i(x,b) = (x_1,…,x_{i?1}, bi, x_{i+1,…,xd)。因此，忠实度公式可以写为：μ_f(f,g;x) = corr_{s∈([d]}|s|) ∑_{i∈s} g(f,x)_i, f(x)?f(?_i(x,b))。

分类器中的决策表面类型
定义2.1

所有实验都在一台hp elitebook 840 g11笔记本电脑上进行，该笔记本配备了intel? core? ultra 5 125u ×14处理器、32 gib内存和intel?集成显卡（mtl）。我们评估了七种分类器，包括基于rbf核和概率输出的支撑向量分类器（svc）、决策树分类器、k最近邻算法、高斯朴素贝叶斯、逻辑回归、极端梯度提升（xgbclassifier）以及具有100个估计器和固定随机种子的随机森林。

讨论
这项工作有助于深入理解解释方法的评估指标应如何设计，特别是在与底层分类器的结构特性相关的情况下。这一见解突显了在评估解释可靠性时采取基于模型的视角的重要性。当前的忠实度定义本质上依赖于测量特征扰动下分类器输出概率的变化。

结论
随着机器学习系统在重要领域的应用越来越广泛，解释方法提供关于模型如何做出决策的忠实和可信的解释变得至关重要。在这项工作中，我们将忠实度作为评估可解释人工智能（xai）方法的关键指标，并指出了当前方法不足的情景。我们研究的一个核心贡献是观察到忠实度的局限性往往源于分类器本身的内在特性。

作者贡献声明
kimia soroush：撰写-原始草稿、可视化、验证、方法论、调查、形式分析、概念化。
sven nomm：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。
juri belikov：撰写-审稿与编辑、监督、项目管理、资金获取、概念化。

利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争财务利益或个人关系。

kimia soroush | sven nomm | yuri belikov>