“近失分析”(Near Miss Analysis,NMA):一种新型的可解释人工智能方法,用于模型理解、模型比较、模型调试以及对抗性攻击检测

《Neurocomputing》:Near misses analysis (NMA): A new explainable AI approach for model understanding, comparison, debugging and adversarial attack detection

【字体: 大 中 小 】 时间:2026年05月13日 来源:Neurocomputing 6.5

编辑推荐:

  埃兰·考夫曼(Eran Kaufman)| 阿维维特·莱维(Avivit Levy)| 雅斯敏·阿德勒(Yasmin Adler)| 阿迪·莱维(Adi Levi)| 莫兰·西奈(Moran Sinai) Shenkar Engineering. Design. Art

  埃兰·考夫曼(Eran Kaufman)| 阿维维特·莱维(Avivit Levy)| 雅斯敏·阿德勒(Yasmin Adler)| 阿迪·莱维(Adi Levi)| 莫兰·西奈(Moran Sinai)
Shenkar Engineering. Design. Art

地址:安娜·弗兰克街12号,拉马特-甘(Ramat-Gan),52526,以色列

**摘要**
本文介绍了一种基于近似错误分析(Near-Miss Analysis, NMA)的新型可解释人工智能(Explainable Artificial Intelligence, XAI)方法。该方法利用神经网络(Neural Network, NN)中紧密相关的预测结果,揭示出从网络潜在决策过程中推断出的逻辑概念层次结构,而无需深入研究其显式结构。本文报告了几种使用NMA的可能性。首先,它可以通过逐步扩展的显式关联概念来创建解释,结合适当的词典,提供一种评分方法,用于区分哪些模型在提供类似人类的概念解释方面表现更好。此外,NMA还可以用于根据模型的解释结果来指出如何对其进行改进。最后,该方法能够检测到攻击性行为。提出的XAI方法在不同规模和形状的网络架构(如ResNet、VGG、EfficientNet、MobileNet)以及已经组织成层次结构的数据集(如ImageNet、CIFAR100)上进行了测试。结果表明,NMA可以反映NN的潜在概念生成过程。而且,使用所开发的评分方法,即使是一些使用较少神经元的高效架构,也可能在可解释性和鲁棒性方面付出代价。

**1. 引言**
可解释人工智能(XAI)是一种使用户能够理解和解释AI模型预测和决策的人工智能方法。由于许多AI模型,特别是神经网络(NN),通常被构建为“黑箱”,即使其设计者也无法解释模型在特定场景下的决策,因此需要可解释的AI模型。
XAI相对于“黑箱”AI模型具有多项优势。首先,在高风险决策应用中(如医疗程序或大型金融交易),理解决策过程对于建立信心至关重要。其次,在决策不是孤立进行,而是作为更大行为组合的一部分的情况下,XAI也非常有用。例如,被拒绝信贷的申请者可能希望了解如何改善其申请条件。此外,XAI还可以揭示外部社会问题,例如避免基于性别或少数群体的歧视。与传统的深度神经网络(DNN)相比,XAI在准确性和鲁棒性方面也表现出更好的性能。

**2. 层次概念学习**
层次概念学习是XAI的一种形式,它对决策施加了一种正式的层次结构。最终决策是层次树路径中的叶子节点,该路径表达了越来越具体的特征,例如:“实体-生物-动物-脊椎动物-哺乳动物-猫”。人们认为,在“少样本”学习和鲁棒性等任务中,层次学习方法优于传统方法。

**3. 新方法:NMA**
本文提出的XAI方法受到层次学习和语言学对人类概念形成方式的启发。该方法受到维特根斯坦(Wittgenstein)思想的启发,他通过家庭相似性的类比探讨了语言概念的形成。根据维特根斯坦的观点,这种相似性并非基于单一共享特征,而是基于多种不同特征的重叠相似性网络,这些相似性在所有家庭成员之间建立了间接联系,形成了家庭相似性的概念。类似地,概念可以被视为一个“家族”中的标签集合。所提出的方法通过检查标签之间的关系结构来描述神经网络内部的表示方式。有时,它可以不通过最显著的视觉特征直接连接类别A和C,而是通过中间标签B间接连接它们。标签B可能与A共享足够的视觉属性,以证明它们之间的聚合合理性,同时展现出使其与C对齐的其他视觉特征,从而将A、B和C连接成一个“家族”。

基于此,NMA方法构建了一个图,其边代表标签之间的相似性,并应用层次聚类来逐步推导出更高级的“概念”。这些新兴的“家族”最终可以通过一系列中间聚合步骤连接语义上或视觉上相距较远的类别。与传统方法不同,NMA不是主要在原始图像或其内部低级模式层面寻找相似性,而是利用NN生成的输出概率向量的近似错误结构。这些概率输出更真实地编码了NN的内部“推理”及其参数中嵌入的潜在高维关系。这些关系在检查像素或简单的卷积核时并不明显。

我们的假设是,具有大量相似物理特征的标签会促使网络在给定图像来自标签B的情况下给出较高的分数来预测标签A,反之亦然。通常,NN模型生成的预测向量包含多个标签的概率,但通常只有最高概率被使用来进行预测和计算准确率、召回率等指标。我们认为该向量包含了对NN潜在决策过程的重要洞察,因此利用该向量中的更多信息是有益的。特别是,我们利用预测向量来揭示NN在标签对之间强加的相似性,然后通过层次聚类建立间接相似性。

上述推理被形式化为近似错误分析(NMA),能够揭示从NN的紧密相关预测中推断出的逻辑概念层次结构,而无需深入研究NN的显式结构。如2.1节中对XAI方法的比较分析所示,不同的XAI方法强调了不同的可解释性方面,它们通常是互补的而非竞争的。因此,将新方法(如本文提出的NMA)纳入XAI工具箱中非常有价值。此外,我们还展示了NMA如何作为调试工具用于NN和检测攻击性行为,这些都是有用且新颖的应用。此外,我们引入了一种度量标准,可以对基于NMA的解释进行定量评估和比较,这在其他XAI工具中并不存在。

**4. 论文组织**
本文的结构如下:第2节我们简要概述了与我们领域相关的现有可解释AI方法。2.1节我们对XAI方法进行了比较分析,强调了所提出方法的独特性、重要性和在该研究领域中的定位。第3节描述了所提出的方法及其算法步骤的详细内容。第4节描述了用于评估我们方法的实验平台及用于演示所提出XAI方法的实验设计。第5节报告并讨论了其有希望的实证表现。最后,第6节给出了结论和未来的工作方向。

**5. 相关工作**
XAI方法可以根据多种方式进行分类。一种分类方式是该方法是否与特定模型相关,即生成的解释是与特定模型或模型家族交织构建的。另一种分类方式是方法的类型:即在模型学习阶段构建解释的临时方法,或在事后构建解释的设计方法。解释方法可以是局部的(针对每个数据点的决策),也可以是全局的(针对整个决策过程)。

许多针对计算机视觉NN的可解释方法都是为了解决这一挑战而设计的,包括基于梯度的临时方法(如引导反向传播[27]、集成梯度[29]、SmoothGrad显著性图[26]、对比梯度显著性图[25]、激发反向传播[37]和Grad-CAM[24])。其他类型的临时特定模型解释方法包括知识蒸馏,它通过使用树状正则化[10]、[36]将复杂模型压缩为更简单的模型,或将NN蒸馏为软决策树[5]。还有多种针对图卷积神经网络(CNN)的可解释方法[20]、CNN的可解释和细粒度视觉解释[33]、通过决策树解释CNN[38]以及通过补充示例学习解释[12]。

模型无关的XAI提供了一种与模型无关(黑箱)的临时解释。其中最著名的方法包括特征重要性[14]、Shapley值估计(SHAP)[16]和局部可解释模型无关解释(LIME)[21]。在这些方法中,可以通过运行一组滑动窗口或使用局部特征描述符(如SIFT)从图像中提取特征,然后使用模型无关的解释为不同图像部分分配重要性。

在层次学习领域开发了许多特定模型的可解释方法,包括结构化学习[1]、[8]、[9]、[28],这些都是特定模型的XAI方法。在结构化学习中,训练样本的特征与预定义或学习到的结构一起输入到模型中。例如,图像的像素与表示样本间相似性的图一起输入。输入结构作为NN训练的正则化手段。每个训练样本都被增强,以包含其图邻居的信息作为NN输入。样本与其图邻居之间的差异被计算并作为正则化参数加入到最终损失函数中。这种正则化项使NN能够学习保持样本与其同一“概念”邻居之间的相似性。

这种方法有一些局限性。首先,特征的易懂性并不总是用户友好的,因为单个像素的重要性通常不会传达太多有意义的解释。其次,解释的表达能力受到检查特征数量的限制。另一种基于概念的方法解决了这些局限性。这种方法可以检测到概念是否嵌入在网络学习的潜在空间中,即使NN可能并未明确训练该概念。此外,基于概念的方法生成的解释不受NN特征空间的限制。

在这种情况下,“概念”一词有些误导,因为它并不指代自然语言和其他部分常用的“桌子”或“动物”等语义类别。相反,它表示一组选定的模式(例如条纹、圆形或椭圆形模式),用户假设这些模式对于识别某些对象(如斑马)是相关的。然后测试NN是否确实认为这些假设的模式对内部识别过程很重要。因此,我们使用“基于模式的方法”来区分这些方法和所提出的基于概念的NMA方法。

基于模式的方法的一个代表是使用概念激活向量(Testing with Concept Activation Vectors, TCAV)[13]的方法。对于任何给定的模式,TCAV衡量其对模型预测某个类别的影响程度。例如,TCAV可以回答诸如“条纹”如何影响模型将图像分类为“斑马”的问题。TCAV描述了模式与类别之间的关系,而不仅仅解释单个预测,从而提供了对模型行为的全局解释。

这种方法的其他代表包括ProtoPNet[3],它学习了每个类别的特定原型。ProtoPNet通过计算每个类别的原型响应并使用全连接层总结这些响应来进行分类。解释作为所有原型的加权和得出。为了优化原型数量,ProtoShare[23]合并了相似的原型,而ProtoPool[22]采用了一种跨类别共享原型的软分配方法。ProtoTree[18]利用二叉决策树使原型能够在所有类别之间共享,从而减少原型数量。MCPNet[34]利用中心核对齐和基于能量的加权PCA机制在多个特征级别上学习模式原型。他们通过类感知的概念分布损失(Class-aware Concept Distribution loss)学习了用于分类目的的多层次模式原型分布。在下一节中,我们将比较各种XAI方法,并将它们整理成分类表格,以便强调所提出的NMA方法在这一研究领域的区别、重要性和定位。2.1 XAI方法的比较分析在本节中,我们对XAI方法进行了比较分析。定量分析需要一个适用于所有这些方法的统一评估指标。这样的指标将能够量化这些方法在各种场景下的解释质量,并比较所得分数。然而,如下所述,这些方法不仅在流程上存在很大差异,在输入或产生的解释和解释方式上也有所不同。因此,这样的统一XAI评估指标似乎并不适用。因此,本节的重点是定性比较。第2节的文献回顾确定了三种主要的XAI方法:基于像素的方法、基于模式的方法和基于概念的方法。此外,不同的方法还利用了各种技术和工具,例如基于遮挡或基于梯度的技术。接下来将突出这些方法和工具的主要区别、特点、优势和局限性。基于像素的归因方法识别出对神经网络生成的给定图像分类最相关的像素。基于遮挡或扰动的工具,如SHAP和LIME,通过系统地修改(例如,屏蔽或扰动)输入图像的部分并观察模型输出的变化来提供与模型无关的解释。另一方面,基于梯度的工具计算模型预测相对于输入特征的梯度。基于遮挡和基于梯度的工具的一个共同特点是,产生的解释与输入图像具有相同的维度。这些方法为每个像素分配一个标量值,可以解释为该像素对模型对给定图像预测的相关性。像素级别的解释通常需要大量的解释工作,因为可能不清楚为什么某个特定的像素被认为是重要的,以及模型实际上利用了哪些更高层次的模式。此外,这些方法通常仅限于从单个图像实例中提取信息。基于模式的方法,如TCAV和ProtoPNet,被训练用于检测图像中的高级、语义上有意义的模式(例如斑马的条纹),以验证这些模式对神经网络的决策过程是否重要。与基于像素的方法不同,它们可以确定被标记为重要的像素集合确实是模型识别为一个连贯模式的。这样的模式对人类也可能有意义,但它们应在模型决策过程中发挥实质性作用,而不仅仅是由人类观察者强加的解释。另一方面,基于模式的XAI方法要求人类手动提出、指定和整理要检查的模式集,并训练相关的模式检测器来识别它们。那些事先没有被假设为有趣的模式不会出现在解释集中。基于像素的归因方法可能相反地揭示出人类事先没有预料到的新兴模式,方法是直接在单个像素层面操作的。请注意,上述所有方法都适用于单个图像。为了进一步强调这些方法之间的区别,我们提供了一些示例。图1展示了不同的基于梯度的像素归因方法。如图所示,像素级别的解释通常需要大量的解释工作,因为可能不清楚为什么某个特定的像素被认为是重要的,以及模型实际上利用了哪些更高层次的模式。此外,这些方法通常仅限于从单个图像实例中提取信息。图2展示了TCAV解释的结果。以“斑马”类别为例,该图显示了预定义的选择模式“条纹”、“之字形”和“点状”的TCAV分数。下载:下载高分辨率图像(657KB)下载:下载全尺寸图像图1. 像素属性梯度方法解释。下载:下载高分辨率图像(121KB)下载:下载全尺寸图像图2. 基于模式的TCAV解释。与上述基于像素和基于模式的方法相比,本文中提出的NMA概念树代表了一种模型解释方式,其中不同的标签被层次化地聚类成更高级的概念。这诱导了结构的概念形成,这是一种基于标签的模型认知表示,不是从单个图像中得出的,而是从整个数据集中学到的。NMA方法为神经网络的决策过程提供了一种替代视角。它不直接识别模型为了在特定图像上产生特定标签而识别的精确像素模式。它不依赖于单个图像和最强的梯度信号,而是从许多图像中得出结论,并利用整个分类输出向量,包括密切相关但不太可能的预测。这种方法通过构建从更模糊到越来越独特的标签组连续体,提供了对模型分类行为的新视角,这些标签可能构成了最终决策的基础。这些组可以以直观易懂的方式传达给人类,因为它们与人类将相似对象分组并赋予它们独特名称的倾向一致。作为示例性比较,考虑使用Grad-CAM尝试将学习到的概念分组在一起。例如,基于图1中显示的狗的可视化,人们可能会认为对于某些方法和图像,神经网络一致地突出显示与细长的鼻子和耳朵相对应的区域。如果在多张图像和不同品种的狗中观察到这种行为,可以假设神经网络能够根据这些独特特征识别“狗”。然而,严格证明这一说法需要付出大量努力。特别是,必须证明特定的卷积核组合确实会产生“狗”的掩码,并且神经网络在不同品种的狗中一致地表示和利用这一概念。尝试仅从像素空间解释中推断出这样的潜在概念结构在计算和方法上都是极其具有挑战性的。相比之下,NMA分析为探测这种潜在表示提供了更自然且计算效率更高的框架。这解释了为什么使用现有的解释技术无法令人信服地建立网络内逐渐出现、可被人解释的概念单元的概念。因此,使用这些方法无法直接对这些神经网络的直观概念能力进行定量比较。相反,如第5节所示,所提出的公式不仅捕捉到了这些潜在的概念结构,还揭示了它们随着神经网络架构的不同而有很大的差异。表1总结了每种XAI方法的属性。某个属性在一种情境下可能被视为优势,在另一种情境下可能被视为缺点。因此,拥有多种可用于不同目的的可解释性方法是很重要的。表2总结了上述讨论的XAI方法,按XAI方法、主要分析工具和可解释性方式进行分类。这些总结表格展示了所提出的NMA方法相对于其他方法的附加价值,并强调不同方法突出了多样化的可解释性方面,它们是互补的,而不是相互竞争的。表1. XAI方法属性比较的总结。方法单一定义可理解结构人工注释可解释性基于像素的VVVVX基于模式的VVVX基于概念的XXVVVV表2. XAI方法的分类和比较总结。XAI方法主要可解释性方法分析工具方式LIME基于遮挡的分析特征重要性SHAP基于像素的遮挡分析特征重要性Grad CAM基于像素的梯度分析特征重要性平滑Grad基于像素的梯度分析特征重要性TCAV基于模式的梯度分析特征重要性ProtoShare基于模式的梯度分析特征重要性ProtoTree基于模式的梯度分析特征重要性ProtoShare基于模式的梯度分析特征重要性ProtoTree基于模式的梯度分析决策树MCPNet基于模式的梯度分析PCANMA基于概念的概率向量分析层次聚类3. 所提出的方法在本节中,我们将详细描述所提出的XAI方法,其基本阶段、使用可能性以及评估方法。我们从第3.1节中给出的接近错误分析及其三个阶段开始,用于建立神经网络模型解释。然后我们继续描述其使用方法:对特定查询的模型决策进行解释、模型解释评估、模型调试和模型对抗性攻击检测(见第3.2节)。3.1 NMA形式主义和构建我们的方法基于对给定神经网络进行的图像分类所产生的概率向量的分析。给定集合,其中是图像,是标签,训练有素的神经网络在某种概率损失函数上返回一个向量,在该向量中,对于标签,我们有概率。然后选择概率向量中概率最高的标签作为该图像的分类结果。给定按概率降序排列的向量和一个常数,我们定义-接近错误为排序中的前标签。此外,给定一个阈值,我们定义-cutoff-接近错误为具有的标签。分析概率向量中的接近错误揭示了给定模型在标签之间建立的连接,并提供了对其潜在决策过程的一瞥。图3展示了MobileNetV2对黑天鹅图像分类的NMA示例。标签“黑天鹅”的图像在概率向量中以最高的概率被正确分类。尽管如此,接下来的两个最高概率的标签是“美洲骨顶鸡”和“鹅”,它们与“黑天鹅”在概念上有相似性,因为它们都是水鸟。请注意,尽管“美洲骨顶鸡”和“鹅”之间没有通过接近错误联系起来,但它们通过“黑天鹅”联系在一起。通过连接这些标签,可以创建一个图,然后将其层次化地聚类成逐渐增长的群组,形成独特且更抽象的概念。下载:下载高分辨率图像(383KB)下载:下载全尺寸图像图3. 接近错误分析过程使用分类向量创建连接图。从图中我们推导出用于层次聚类的接近度量,以形成概念树。具体来说,我们的方法包括以下阶段:1. 连接图构建:给定一个模型,对一组图像的每个分类的概率向量进行NMA,以创建连接图。2. 层次聚类构建:根据创建的连接图构建层次聚类。在此阶段,生成描述标签簇层次结构的分支图。3. 概念树生成:使用逐渐增长的下义词组织字典来识别新概念建立的关键点,然后将所有相关标签整合到一个节点中。此外,我们将这个组的最近公共祖先指定为更高层次(见图4)。下载:下载高分辨率图像(135KB)下载:下载全尺寸图像图4. 概念树生成。接下来我们详细解释这些阶段。3.1.1 连接图构建给定一个用于图像分类的模型,我们通过对测试集中每个图像的进行NMA来分析其决策过程,创建一个加权连接图,权重函数如下。设是一个多集,其中是所有标签为的图像集合,是其基数。设是由模型计算的经验损失。表示:此外,表示所有不属于标签的图像的总体预期损失,这些图像可能被误判为。表示属于标签的图像的预期经验损失,这些图像可能被误判为标签。由于作为标签之间相似性的度量(标签之间的错误概率越高,连接越强),我们取互补概率作为标签之间不相似性的度量。对于每个标签,我们创建一个节点。此外,对于每一对标签,我们创建一个(无向)边,权重如下:换句话说,边的权重反映了标签和之间的累积联合不相似性,同时考虑了标签为的图像的接近错误以及反之亦然。没有接近错误的顶点对之间的不相似性为。3.1.2 层次聚类构建给定上述连接图,如下构建层次聚类。通过应用Floyd-Warshall算法计算给定图中的所有 pair 最短路径来计算最短路径度量。由于连接图是无向的并且基于不相似性度量,因此该算法的输出距离矩阵是一个度量。然后,在距离度量上运行层次自下而上的聚类算法。生成一个描述创建的层次聚类的分支图。这个分支图提供了模型分类决策过程的高层视图。3.1.3。概念树构建
最后一步是使用一个基于下位词组织的字典,将模型的NMA层次聚类树状图转换为概念树。为了便于解释,请考虑图4中给出的示例。在右侧展示了两个基于NMA的层次聚类结果,而在左侧展示了它们对应的概念树的生成过程。我们使用LCA()函数来表示字典下位词树中的最小公共祖先(LCA)概念。在图4的上一个示例中,树状图首先将“猫”这一类别聚合起来,使得LCA(tabby, pug) = cat 和 LCA(cat, Persian) = cat,从而将所有“猫”归类到“猫”这一单独的概念下。最终形成的树具有2度,并保持了平衡的结构。它将三种猫归类到“猫”标签下,两种狗归类到“狗”标签下,并将它们整合到更广泛的概念“宠物”中。在下面的示例中,LCA(kuvasz, Persian) = pet 接着是 LCA(pet, boxer) = pet,导致最终的结构相当不平衡,“宠物”包含四个子节点,显示出较少的聚合。显然,上面的示例模型可以提供更清晰的解释,人类可以追踪模型所构建的一致的概念逻辑。用于从给定模型生成的字状图层次结构创建概念树的算法在算法1中有所描述。

算法1 为给定的基于NMA的模型层次结构创建概念树

3.2 NMA的使用
在创建了层次结构和概念树之后,该方法可以提供以下功能:
1. 查询解释:给定一个特定模型的查询图像,XAI可以通过从概念树的叶子节点到根节点逐步泛化的概念,为该图像的分类模型创建口头解释。
2. 模型评分:给定一个模型后,会为其分配一个分数,以便将其与Wordnet进行比较,作为人类层次概念表达的代表。这种评分使得可以比较不同模型在概念泛化和鲁棒性方面的表现。
3. 模型调试:给定一个训练好的模型及其训练数据集,XAI可以自动识别出造成错误连接的图像(这些连接过早形成),并帮助建议如何通过重新训练模型来改进模型的性能。
4. 对抗性攻击检测:给定一个分类模型和一组真实与伪造的图像,我们可以训练一个分类器来检测给定图像是否是对抗性攻击的结果。

3.2.1 查询解释
概念树可以通过沿着创建好的层次概念树中的路径从分类标签到根节点进行导航,提供可视化解释,并指定遇到的节点名称。请参见图8中的实现用户界面示例。
下载:下载高分辨率图像(108KB)
下载:下载全尺寸图像
图5. 左侧是原始导弹图像,右侧是经过Projected Gradient Descent(PGD)攻击后的对抗性图像。
下载:下载高分辨率图像(168KB)
下载:下载全尺寸图像
图6. 用户界面,用于选择要在生成的字状图中展示的解释模型和标签数据集子集。
下载:下载高分辨率图像(217KB)
下载:下载全尺寸图像
图7. 上传新模型后的用户界面,用于控制解释参数的选择。
下载:下载高分辨率图像(189KB)
下载:下载全尺寸图像
图8. ResNet模型对查询图像进行分类的口头解释的用户界面。
口头解释的结构如下:“我感知到……,它是……的一部分”,其中……、……和……是从叶子节点到根节点的节点。例如:“我感知到一只哈士奇狗,它是狗的一部分,而狗又是动物的一部分。”这种表述展示了网络的认知过程,证明了它区分不同特征的能力。具体来说,它可以识别出动物的显著特征,然后利用更多特征来识别狗,再利用更多特征来识别哈士奇。然而,如果缺少这些确切的属性,尽管实体仍属于同一父类别,仍可能发生错误。
相反,考虑这样的陈述:“我感知到一只哈士奇狗,它是白色事物的一部分。”后一种表述的解释性得分可能低于前者。这种差异有助于理解神经网络的认知过程,并突显其分类系统中的潜在不准确性和弱点。

3.2.2 模型评分
为了量化给定模型的查询解释性能,我们设计了一种基于概念树与给定下位词字典之间比较的评分方法。Wordnet就是一个这样的字典例子,它根据人类推理将对象组织成逐步扩展的概念,例如哈士奇->狗->宠物->动物->生物。由于我们通过概念的形成来解释和衡量模型的决策过程,这样的字典非常适合反映人类推理。所提出的指标对于识别在给定模型集中最能与人类认知过程相匹配的模型非常有用。即使模型在准确性得分上可能相同,但在解释性得分上可能存在差异,这在选择适合特定任务的模型时是一个重要的考虑因素。
可以通过评估所有标签对来给概念树打分,如果一对标签在字典中具有相同的LCA,则分配一分,并对所有标签对取平均值。此外,Sackin指数(表示所有叶子节点的平均深度)也可以作为衡量标准,因为更连贯的模型能够以更平衡的形式组织概念,并随着抽象层次的提高而变得更加有序。例如,在图4中,上面的模型表现出更高的聚合度,因此具有更高的Sackin指数,因为所有标签都位于第2层;而下面的模型过早地进行了聚合,导致指数较低。

3.2.3 模型调试
我们设计了一种利用NMA的机制来检查模型形成的连接并进行调试。假设模型在将“人类”与“灵长类动物”连接之前,先创建了“树木”与“人类”之间的连接。这种异常可能源于数据集中的错误图像,例如将人类标记在树木背景上的图像或图像不清晰导致错误的关联。利用NMA定位负责这些错误连接的训练图像,开发者可以通过移除这些问题图像并添加更具代表性的图像来识别和纠正数据集中的问题。这种迭代调试过程可以带来性能更好的训练模型,如实验部分所示。

3.2.4 对抗性攻击检测
图5展示了来自Imagenet数据集的两张导弹图像。一张是原始图像,另一张经过了Projected Gradient Descent(PGD)攻击,导致神经网络将其重新分类为巴比伦犬。尽管这些图像对人类眼睛来说无法区分,但模型的预测结果发生了显著变化。这引发了如何确定神经网络何时被骗的挑战。之前已有报告指出XAI在基于梯度的方法和像素级解释方面检测对抗性攻击的效用。在本文中,我们探讨了是否可以通过采用更广泛的视角来洞察这种网络漏洞,即检查网络中概念生成的宏观层次结构。
在使用NMA分析图5的原始图像时,紧跟在“导弹”之后的最可能预测包括“投射物”、“航天飞机”和“战斗机”。这些类别都属于NMA概念树中的“投射物”和“飞行器”下位词。相反,由于对抗性攻击导致的错误预测“巴比伦犬”、“投射物”、“导弹”和“博尔佐伊”则与狗和投射物相关联,位于概念树的较远分支上。检查NMA概念树中 top-K 预测对的最低公共祖先(LCA)处的最大树层级,发现这些类别的高度相对较低。这表明网络倾向于在相同概念下的标签之间出错,而不是在较远分类下的标签之间出错。将图像错误分类到树中关系较远的类别(如LCA处的最大高度较大所示),表明存在攻击,这破坏了网络的标准逻辑过程。
用于对抗性检测的得分是通过考虑给定图像的前几个预测,并计算所有与之对应的LCA之间的距离平均值来得出的。因此,真实图像的错误通常发生在同一概念下的标签附近,其得分较低;而伪造图像的错误则发生在概念树的不同分支上,如上述导弹示例所示。

4. 实验
在本节中,我们描述了为评估所提出的XAI方法而设计的实验。我们首先在4.1节描述了实验设置,然后在4.2节描述了使用该设置进行的特定实验设计,以展示所提出方法的能力。

4.1 实验设置
所提出的XAI方法是通过在基准数据集上测试不同的神经网络来评估的。
实验使用的数据集
ImageNet包含来自1000个类别的160万张图像,这些图像聚焦于物体。ImageNet按照WordNet层次结构组织,其中每个层次节点都有成百上千张图像。WordNet是一个大型词汇数据库,它将更一般的概念(如“家具”)与越来越具体的概念(如“床”)联系起来。因此,WordNet表示“家具”包含“床”;反过来,“床”也是“家具”的一部分。
CIFAR100数据集包含100个类别,每个类别有600张图像。每个类别有500张训练图像和100张测试图像。CIFAR100的100个类别被分为20个超类。每张图像都有一个“细粒度”标签(它所属的类别)和一个“粗粒度”标签(它所属的超类)。需要注意的是,CIFAR100的图像分辨率很低,因此在其上训练的神经网络更容易混淆标签。我们选择这两个数据集是因为它们已经按照概念树的形式组织好了。

实验使用的神经网络
我们测试了几种不同大小和形状的神经网络。用于比较解释的主要神经网络包括:ResNet50、EfficientNetB0、VGG16、MobileNetV2。我们还使用我们的解释方法测试了GoogLeNet和NasNetLarge。表3总结了用于比较的神经网络的特性。
表3显示,这些网络在ImageNet上的Top-5准确率相似,但VGG的规模非常大,而EfficientNet和MobileNet相对较小。另一方面,VGG相对较浅,而其他模型则更深。ResNet既是一个深度神经网络,同时在参数规模上也较为复杂。我们的假设是,更复杂的神经网络将能够处理更复杂和微妙的概念。

表3. 实验使用的神经网络特性总结
模型 大小(MB) Top-5准确率 参数深度
ResNet50 98 92.1% 25.6M
EfficientNetB0 29 93.3% 5.3M
VGG16 52 89.0% 138.4M
MobileNetV2 14 90.1% 3.5M

这些模型最初是在ImageNet上训练的,在处理CIFAR100数据集时使用了它们公开可用的权重。对于CIFAR100,模型通过迁移学习进行了重新训练,保留了原始模型的权重,仅重新训练了模型的全连接层。

图形用户界面与口头解释
我们为研究人员实现了一个用户界面。该界面提供了三个主要选项。第一个选项用于模型解释,用户可以上传带有有序分类标签的黑盒模型。系统使用NMA创建一个可解释性模型,然后用户可以上传图像并获取模型的预测及其口头解释(默认使用WordNet字典,但任何基于层次-下位词的字典都可以)。第二个选项支持通过解释进行模型调试,用户可以上传训练数据集并查看可能导致冲突的标签。通过选择标签,用户可以看到数据集中可能引起冲突的图像(见第5.5节)。第三个选项支持模型对抗性攻击的检查和检测,用户可以上传真实和伪造图像的数据集(标记为真实和伪造),系统使用NMA计算它们的防御分数。此外,用户可以上传一张图片,并获得其PGD深度伪造版本的图像,这会导致图片被错误标记,同时还会显示NMA防御系统预测的图片为伪造的概率(见第5.6节)。图6展示了用户界面的主页。在主页上,系统要求用户上传一个预训练模型和相应标签的数据集以用于构建NMA。上传后,用户需要设置预测的置信度阈值(参数-cutoff),并通过图7中的用户界面确定要在分析中包含多少个接近错误的预测(参数top-)。在我们的实验中,使用的-near-misses和-cutoff值(有关top-的分析和选择,请参见第4.1节)。在模型解释标签页,用户需要上传一张图片。图8展示了一张上传的图片以及ResNet模型对该图片的文字解释。

对于top-和-cutoff参数的敏感性分析,与其他超参数一样,必须通过验证集来调整以确定合适的值。从理论上讲,当值较小时,标签之间的连接较少,生成的图相对于底层神经网络的表示能力来说表达力较弱。在极端情况下,基本上不会形成横向连接,结构会退化为一个度为1的概念树。相反,当值等于整个标签集的大小时,所有可能的连接都会形成,但结果仍然是相对较浅的树形结构。因此,确定一个最优的值(这个值不一定是唯一的,并且来自一个非凸搜索空间)需要通过实验来探索。此外,还必须考虑计算上的限制,包括运行时间和内存消耗。

图9、图10和图11展示了特定标签子集的结果。结果表明,随着值的增加,生成的概念树的表达能力增强:每个标签可以跨越更多的抽象层次。例如,标签“pug”映射到概念“dogs”,进而映射到“carnivore”,再进一步映射到“vertebrate”,依此类推。因此,较大的值通常会产生更深的概念树,并且Sackin指数更高,意味着更多的标签可以达到更多的抽象层次,更多的叶子会经过更多的中间节点,每条路径也会变得更长。图12展示了Sackin指数与参数之间的关系。

类似的敏感性分析也适用于-cutoff参数。在这种情况下,我们不是选择固定数量的顶级预测,而是保留每张图片中置信度超过某个阈值的全部预测。因此,每张图片选中的标签数量是变化的,可以根据输入图片的独特性或清晰度进行调整。

4.2. NMA使用实验
由于显示全部1000个ImageNet标签的结果是不可行的,因此选择了41个标签作为子集,以合理地展示模型创建新概念的原理。这些标签来自4个不同的示例概念:动物、厨房用具、车辆和植物,选择它们是为了能够展示直观的语义概念以及更复杂的微妙概念。例如,我们选择了几种猫,预计它们会被归类为“cats”。对于狗也是如此,它们预计会被归类为“house animals”,并且与几种其他类型的灵长类动物一起被归类为“animals”。另一方面,我们选择了在语义树中位于动物较远位置的车辆。从这个分支中,我们选择了几种汽车、船只和其他水上交通工具以及航空器,以检验网络提取的一些共同视觉特征是否可以将它们全部归类为“transportation vehicles”。对表3中描述的所有神经网络在ImageNet和CIFAR100数据集上生成的概念树进行了实验,以计算模型得分并进行比较分析。

为了定量评估基于NMA的解释方法是否符合常见的XAI评估协议,我们使用了基于扰动的指标计算方法,即Most Relevant First (MoRF)和Least Relevant First (LeRF)协议。MoRF协议从归因方法排名最重要的特征开始移除或屏蔽输入特征(如图像中的像素或句子中的单词),而LeRF协议则从排名最不重要的特征开始移除特征。结合使用这两种指标可以更全面地了解解释的质量。MoRF和LeRF曲线之间的较大差距表明,解释器能够成功区分相关和不相关的特征。我们将我们提出的解释方法与Grad-CAM进行了比较。尽管我们的方法本质上不是基于像素和特征的,但我们将分析限制在Grad-CAM识别的相同显著像素上,以展示底层推理过程的鲁棒性。一个有效的推理网络应该能够通过利用图像其他区域的信息来补偿局部遮挡,至少推断出高层次的类别和概念。即使模型对精确类别标签的置信度显著下降,这种能力也能够保持。

为了说明NMA作为调试工具的机制,我们使用了包含低分辨率图像的CIFAR100数据集进行了以下实验,这些图像对神经网络的性能提出了挑战。对模型进行了NMA分析并生成了一个概念树。然后将生成的概念树与WordNet字典中的最小共同祖先(LCA)进行比较。在WordNet的LCA与模型提出的LCA显著偏离的情况下,相应的图像被识别为问题图像。随后,模型在排除了这些图像后重新训练,并对模型的准确性和解释性能进行了评估。

对抗性攻击检测实验
评估防御对抗性攻击机制的实验框架包括创建了一个包含100张图像的数据集,这些图像来自ImageNet和CIFAR-100,其中50张是原始图像,50张是使用Projected Gradient Descent (PGD)攻击方法生成的对抗性示例。采用了70-30%的比例进行分层训练-测试划分。最初在ImageNet上训练的ResNet模型使用ImageNet数据集进行评估,而在CIFAR-100上训练的调整后的ResNet模型用于评估CIFAR-100数据集。每张图像根据第3.2节中描述的评分方法获得了分数。随后使用NMA对抗性分数训练了一个逻辑回归分类器,二元分类标签为“real”和“fake”。

5. 结果与讨论
在本节中,我们介绍了第4节中描述的关于模型解释、模型解释评分以及防御对抗性攻击的实验结果。

5.1. ImageNet上的解释及比较评估
图15展示了ResNet NMA的层次聚类结果。如图所示,生成了不同的概念,如“air transport”、“vans”、“sea transport”、“watercraft”、“land transport”等,这些概念被聚合为由WordNet定义的更一般的概念“vehicles”。此外,还形成了“primates”、“cats”和“dogs”等不同概念,这些概念又被聚合为更一般的概念“land animals”。同样,“kitchen utensils”、“fruits and vegetables”和“water birds”等概念也成功形成了。有趣的是,“water birds”这一组在聚合到“animals”之前先与“fruits and vegetables”合并,从而降低了ResNet的解释分数。

图15表明,除了“water birds”这一组(人类通常会将其视为“animals”而不是与“fruits and vegetables”更接近之外,从图15中的视觉解释来看,ResNet具有发展出类似人类认知的抽象概念的能力。它逐步构建了一个逻辑上扩展的独特特征集,最终得出结论。注意,蔬菜和厨房用具被合理地聚在一起,因为蔬菜通常位于厨房和锅碗瓢盆中。

图16展示了EfficientNet形成聚类的方式不同。波斯猫和库瓦兹犬(kuvasz)被归为一组,尽管前者是猫而后者是狗。显然,EfficientNet无法像ResNet那样很好地区分“cats”和“dogs”这两个不同的概念。此外,“cats”、“dogs”和“hairy pets”这三个聚类被合并为更一般的“pets”概念,然而这个聚类在所有对象最终合并之前并没有与“primates”合并。显然,EfficientNet也无法像ResNet那样很好地识别“land animals”这一抽象概念。同时,它也无法区分“kitchen utensils”和“fruits and vegetables”,而是依赖于视觉上的相似性(可能基于圆形或毛发等特征)。因此,尽管EfficientNet声称使用更少的参数就能达到类似的准确率,但其效率是以无法“感知”更复杂和微妙的概念为代价的。因此,即使它可以正确分类测试集,模糊的图像或对抗性图像也可能导致它混淆不同的对象。

图17表明,VGG能够创建“land vehicles”、“kitchen utensils”和“fruits and vegetables”等概念,以及“air and sea transport”这一概念。同样,它也能创建“water birds”、“dogs”和“cats”等概念。显然,VGG能够更好地形成“cats”和“dogs”这两个独立的抽象概念,而ResNet则未能将诺里奇梗(Norwich terrier)归入“dogs”类别。

此外,VGG还能够创建“primates”这一概念,并将其与“cats”和“dogs”以及“water birds”合并为更一般的“animals”概念。然而,VGG未能像ResNet那样将“primates”与“vehicles”合并。注意,VGG也没有将“air and sea transport”从“land vehicles”中分离出来,并首先将其与“animals”合并。

图18显示,MobileNet形成的聚类方式完全不同。这里创建了一个代表“kitchen utensils”的单一聚类,但MobileNet未能像ResNet或VGG那样为“kitchen utensils”和“fruits and vegetables”创建不同的聚类。显然,MobileNet创建的聚类可以被表示为“primates”、“cats”、“dogs”、“land vehicles”、“water birds”、“air transport”和“sea transport”。此外,“air transport”和“sea transport”被合并为一个“air and sea transport”聚类。MobileNet树状图。然而,很明显,MobileNet无法很好地识别“车辆”(如ResNet所识别的)或“动物”(如VGG所识别的)这些抽象概念。请注意,所有的“狗”首先与“陆上车辆”聚类,然后与“猫”聚类,最后与“灵长类动物”聚类,形成了一个由“陆上物体”表示的概念。同样,“水鸟”和“空中和海上运输”的簇被聚类到一个单独的簇中,该簇可以由“空中和海上物体”这一抽象概念表示。5.2. 关于CIFAR100的解释图19展示了ResNet在CIFAR100的一组示例标签上生成的层次聚类。显然,ResNet能够创建一些抽象概念,但似乎不如在ImageNet上成功。请注意,在CIFAR100上训练的神经网络更容易在标签之间犯错,因为这个数据集的图像分辨率非常低。尽管如此,图19显示,即使在这些条件下,我们的方法也足够强大,能够提供有表达力的解释。下载:下载高分辨率图像(122KB)下载:下载全尺寸图像图19. ResNet在CIFAR100上的视觉解释。图20、图21和图22展示了其他神经网络在CIFAR100上的树状图。它们说明了测试的神经网络模型在CIFAR100数据集上的概念生成能力/能力,这些能力与在ImageNet数据集上报告的能力进行了比较。这些补充结果支持了结果和结论部分下报告的趋势。下载:下载高分辨率图像(114KB)下载:下载全尺寸图像图20. EfficientNet在CIFAR100上的视觉解释。下载:下载高分辨率图像(103KB)下载:下载全尺寸图像图21. VGG在CIFAR100上的视觉解释。下载:下载高分辨率图像(115KB)下载:下载全尺寸图像图22. MobileNet在CIFAR100上的视觉解释。这些对模型概念生成目的的详细描述旨在说明模型确实倾向于再现与人类相似的逻辑概念(某些模型比其他模型更接近),并有助于理解后续的评分结果。5.3. 模型解释性评分表4报告了第3.2.2节中提出的模型LCA解释性评分的结果。这些结果从数值上支持了第5.1节中提出的解释性分析,显示出类似的趋势。特别是,ResNet的总分解释性测量比其他较简单的模型表现更好,并在子组查询中取得了相对较高的分数。相反,MobileNet在各个方面都比ResNet和EfficientNet更简单,但其总分解释性测量以及子组查询的分数都较低。这一结果与先前的假设一致,即更复杂的模型将表现出更好的概念生成能力。令人惊讶的是,参数集较大的相对较浅的VGG,在某些子组查询中得分与ResNet相当,甚至超过了更深的MobileNet。这表明,在决定是使用更深的神经网络还是更浅的神经网络,或者在具有相当准确率的模型之间选择使用大量全连接层与全CNN时,模型架构师可以考虑这些因素。表4. ImageNet上的解释性测量评分。模型 动物 车辆 植物 器具 ResNet 500.89 0.90 0.98 0.751 EfficientNet 0.61 0.27 10.7 0.5 VGG 0.82 10.6 0.751 MobileNet V2 0.52 0.5 0.51 0.6 20.4 5.4. 解释评估结果图23和图24展示了分别为MoRF和LeRF协议的每个扰动阶段构建的基于NMA的树状图。这些可视化图表显示了MoRF和LeRF程序行为之间的显著差异,在10%的扰动水平上就已经可以观察到。NMA解释的稳健性体现在即使在对LeRF协议的80%扰动阶段,对应于扰动图像的前四个预测始终属于同一语义类别(鸟类)。因此,NMA的分数在所有LeRF扰动阶段都保持较低。下载:下载高分辨率图像(181KB)下载:下载全尺寸图像图23. MoRF协议每个扰动阶段创建的NMA树。下载:下载高分辨率图像(164KB)下载:下载全尺寸图像图24. LeRF协议每个扰动阶段创建的NMA树。相比之下,MoRF协议突显了基于NMA的解释的敏感性和附加价值。虽然标准准确率指标在10%的扰动阶段就已经急剧下降,但NMA仍然将解释归类为鸟类概念。这种行为进一步说明了我们解释方法的稳定性:尽管当相对较小的图像区域被遮挡时,分类器的信心急剧下降,但底层的语义概念(鸟类)和模型的推理结果基本保持不变。图25展示了MoRF和LeRF曲线。值得注意的是,虽然MoRF曲线在扰动增加时性能迅速下降,但LeRF曲线即使在大幅度的像素级扰动下也基本保持平坦。总体而言,这些结果为基于NMA的解释及其在输入失真下的准确性和稳健性提供了定量证据。下载:下载高分辨率图像(248KB)下载:下载全尺寸图像图25. 基于NMA的解释质量的MoRF和LeRF曲线。5.5. 模型调试结果CIFAR100训练集中的大约4%的图像被检测为有问题图像,导致概念之间的错误连接或过早链接。图26展示了一个子树状图,演示了在移除图像之前(右侧)和之后(左侧)模型所形成的链接。移除之前形成的连接显示了人类和树木之间意想不到的关联,这种关联是在将人类与其他动物关联之前建立的。图27展示了两个被识别为导致这些连接的代表性图像。这些图像要么非常模糊,可能会生成幻觉特征,网络认为这些特征与人类和树木都有关联,要么确实同时包含这两种元素。在后一种情况下,它们经常被分类为人类,从而在人类形象和背景中的树状特征之间形成了关联。这些图像被移除后,模型被重新训练。下载:下载高分辨率图像(200KB)下载:下载全尺寸图像图26. 在数据集改进之前和之后,ResNet在CIFAR100上训练的视觉解释。下载:下载高分辨率图像(143KB)下载:下载全尺寸图像图27. 导致人类和树木链接的图像。除了产生改进的解释和评分外,这一过程还提高了神经网络的性能。考虑以下例子。图28的右侧表明,原始模型未能正确地将这张图像标记为人类,概率为28%;而优化后的模型正确地将这张图像标记为人类,概率为81%。此外,图28的左侧表明,原始模型正确地将这张图像标记为棕榈树,概率仅为35%,而优化后的模型标记为棕榈树的概率显著提高到了88%。模型的整体准确率从81%提高到了88%,同时解释评分也从0.62提高到了0.87。5.6. 对抗性攻击检测结果第4.2节描述的对抗性攻击检测器在ImageNet数据集上的检测准确率为85%,在CIFAR-100数据集上的准确率超过了73%,后者由于分辨率较低而更具挑战性。图29展示了实现的图形用户界面,该界面提供两个主要功能:用户可以加载图像,并使用训练好的检测模型来确定图像是否受到了对抗性攻击。如图所示,一旦加载了图像,界面就会使用上传的分类模型生成预测,并使用对抗性模型提供评分并验证图像。或者,用户可以上传包含真实图像和经过对抗性修改的图像及其标签的数据集,并使用界面来训练自己的对抗性防御模型。如图29所示,分类模型为右侧的图像生成了以下预测向量。预测按置信度水平从高到低排序为:老虎、埃及猫、虎斑猫、猞猁和老虎。值得注意的是,这些类别在概念层次结构中属于同一概念,导致对抗性得分明显较低。相反,左侧的图像除了包含猫之外,还包含屏幕和显示器,获得了显著更高的分数,超过了预先设定的阈值。6. 结论和未来工作本文介绍了一种新颖的基于NMA层次聚类和字典的XAI方法,该字典由人类生成的概念以层次结构组织起来。这种方法使我们能够提供对给定神经网络决策过程的人类可理解的解释。本文的理论贡献如下:1. 证明不同模型在构建日益独特的概念时表现出不同的“推理模式”。2. 证明这些新兴概念与底层神经网络架构有系统性的关系,并受到其约束。3. 使用多个数据集和模型架构来实证支持这些主张,从而确立了发现的稳健性和普遍性。与关于CNN的常见假设以及减少全连接层大小的普遍趋势[30]相反,我们的结果表明,概念形成和“高级推理”的大量部分发生在网络的全连接组件中。我们展示了当网络包含大型全连接层时,概念 tend to 更清晰和一致地形成。此外,我们还引入了一种评分方法,用于比较不同模型的解释并定量评估概念形成。据我们所知,没有现有的解释方法能够提供类似的定量评分和概念级解释的比较。我们通过实验表明,我们的方法使模型能够生成连贯的、可被人理解的口头解释,这些解释基于在推理过程中逐渐形成的越来越独特的概念。此外,我们的方法还可以作为实用的调试工具:它可以自动识别引入模型预测偏差的问题训练实例,并揭示网络中编码的虚假或不希望出现的关联。据我们所知,没有现有的解释技术能够在概念和方法论层面上实现这些特定的调试能力。我们还展示了我们的方法有助于开发有效的深度伪造检测系统。具体来说,当受到对抗性攻击时,模型的基于NMA的解释似乎与真实图像分类的决策过程有显著差异。因此,我们认为所提出的方法是XAI研究的一个有前景的新方向。未来的工作可能包括将这种方法推广到其他领域,如NLP,并结合基于本体论的方法来管理用于人类可理解解释的词汇表。CRediT作者贡献声明Eran Kaufman:写作 – 审阅与编辑,撰写 – 原稿,验证,监督,项目管理,方法论,调查,形式分析,概念化。Avivit Levy:写作 – 审阅与编辑,撰写 – 原稿,监督,方法论,调查,概念化。Yasmin Adler:写作 – 原稿,验证,软件。Adi Levi:写作 – 原稿,验证,软件。Moran Sinai:写作 – 原稿,验证,软件。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号