探究在同时进行图像增强时的卷积神经网络的专业化特性与敏感度

《Neural Networks》：Exploring specialization and sensitivity of convolutional neural networks in the context of simultaneous image augmentations

　　摘要：作者借鉴研究生物网络的方法，将处理-控制范式应用于可解释人工智能研究，并通过多参数输入调整来丰富这一研究。他们提出了一种框架，用于分析输入数据增强对内部推理的影响，以应对现实世界中同时应用多种处理方式而非仅观察单一效应的情况。网络运行的内部变化体现在激活值的变动上，可通过方差来衡量，进而利用索伯尔指数和沙普利值将方差分解为与各增强因素相关的成分。为区分模型固有特性与增强因素之间的相互作用，分析中引入了负责序列排列的辅助变量。由此得到的数值有助于可视化不同变量的敏感性，可作为进一步分析处理的特征，包括对激活值进行有针对性的屏蔽。此外，还通过一种流程实现了单类敏感性分析，该流程依据激活值在受针对性破坏后的预测偏差来选择类别。研究采用了AlexNet、VGG11、ResNet18三种卷积神经网络，并结合了ViT-b-16和Swin-t两种现代视觉变换模型。在图像领域，使用了5种和7种不同的输入变换同时施加的组合作为方差来源。基于所观察到的相似性，作者认为该框架有望应用于研究复杂环境中的生物神经网络，同时也有助于优化自主决策系统的设计。

引言：深度神经网络被广泛用于解决各个领域的诸多实际问题，如计算机视觉（Falk等人，2019；Levi和Hassner，2015；Ren等人，2016；Sadeghian等人，2017；Wang等人，2015）、信号与音频处理（Akbari等人，2021；Bai和Zhang，2021；Ren等人，2019；Rim等人，2020）、自然语言处理（Bahdanau等人，2015；Cho等人，2014；Young等人，2018）。作为非线性的多参数模型，它们虽性能优异，但往往被视为“黑箱”。为揭示这些网络的运作机制，人们开展了大量研究，推动了可解释人工智能这一新兴领域的发展（Belle和Papantonis，2021；Linardatos等人，2021）。此外，人工神经网络已超越最初为解决传统机器学习问题而设计的抽象生物启发模型，被用作其生物学起源对应的神经编码与解码的替代手段。例如，深度神经网络的内部激活值已被成功与听觉通路中的神经活动联系起来，体现了人工模型表征与神经生理活动之间的契合性（Li等人，2023）。随着人工模型能力的提升，可借助神经科学领域的方法和范式对其展开研究，尤其是处理-控制范式。具体而言，可通过输入特定数据或干扰推理过程，进而测量激活值的变化。不过，仅使用单一处理方式存在局限性，而同时考虑多种处理方式则更能反映现实条件。对输入数据的刻意修改被称为数据增强。由于视觉数据变换最容易被追踪和呈现，因此包括图像分类在内的经典计算机视觉任务，似乎是研究神经网络方法的理想工具。

在此背景下，数据增强可视为改变网络所感知的世界某些属性的因素——如颜色变化、旋转、镜像反射等。而计算机视觉的现实场景则包含各种相互关联且彼此依赖的环境变化。为区分外部（环境）与内部（模型特定）的相互作用，可先评估简单基准模型的效果，以此作为后续研究的参考。这类简化模型可以是标量值，也可以是功能极简的模型，这就引发了建模中的权衡问题：所选模型既要能够感知外部变化，又要比原始模型更为简单。同时，可通过引入额外变量来考虑可能的相互作用，尽管这会增加分析的维度。就复杂性而言，现代深度学习系统通常由多个相互连接的模块构成，其架构设计遵循声明式范式，即明确规定必要的功能限制（如输出维度、模块或层数量、超参数、稳定模块等），并设置高层需求来引导网络运行（例如，将信息从空间域逐步分配到不同通道）。研究这些内部模块及其在推理过程中产生的激活值，对于识别网络的稳定模式和运行状态具有重要意义，这类似于学习稳定性分析（例如，针对梯度消失或梯度爆炸问题，Pascanu等人，2013）。在这一领域，与对抗性攻击相关的研究尤为突出，这类攻击会扰乱网络的正常运行模式。从长远来看，此类研究有望消除冗余，从而开发出更为紧凑且高效运行的模型，因其具有更强的专业化特征。实际上，已有研究表明，经过训练的网络可通过量化方法（Dettmers等人，2022）或变分丢弃等统计方法（Molchanov等人，2017）进行压缩。

描述神经网络功能的合理指标是方差，既包括预测结果方面的方差，也包括内部激活值的方差。输入数据的调整可视为方差的来源；当需要考察多个同时作用的来源时，自然就要评估每个来源的贡献程度（Saltelli等人，2008）。将方差视为不确定性度量，便可通过敏感性值来分配各来源的贡献，从而开展敏感性分析。本研究采用基于索伯尔指数和沙普利值的敏感性分析方法，以识别对输入数据增强反应最显著的网络组件。由此，构建了一个用于筛选和研究对输入数据增强敏感的单元的框架（见图1）。分析中涉及的变量包括与数据增强相关的变量、与数据增强排序相关的变量，以及与分组和类别选择相关的变量。

研究共设计了三种主要实验方案：（1）计算并分析“原始”敏感性值；（2）通过有指导的屏蔽预测，将敏感性变量与单个数据增强因素联系起来；（3）探究网络各独立部分之间的相关性。在方案（1）中，通过视觉检查以及统计工具分析原始敏感性值，将这些值作为特征或变量，从不同角度识别和凸显其内部关联与趋势。基于敏感性值进行了线性判别分析（LDA）和斯皮尔曼相关性分析，这些分析提供了有关空间维度内聚合单元之间可能存在的关系的补充信息，同时通过相应的敏感性图展示敏感性变量的可区分性。空间图则是根据敏感性分析变量对敏感性值进行分组后，在保持输出空间结构的模块中形成的。根据不同的数据增强方式，这类图像会显示出与特定变换特征相关的空间结构（例如，随机水平翻转会形成以不同于背景值的点构成的中央垂直线）。单独计算的空间相关性则反映了敏感性值与作为模块性能指标的方差系数之间的关系。实验方案（2）利用预先计算出的敏感性值，在推理过程中屏蔽对应检查点的激活值。同时，仅在推理过程中施加数据增强因素所产生的噪声，以及由此产生的预测结果，可体现屏蔽操作和单个数据增强因素的综合影响。这部分研究同样探讨了模型的特异性，但采用完全不同的方法，即通过推理过程寻找由有指导的屏蔽操作引发的不稳定性。此外，还基于分类层的敏感性，推导出了单类敏感性分析方法，旨在了解整个网络的敏感性。这些输出层的敏感性值可能反映出与输入数据增强相关的预测不稳定性。为证明这些发现具有普遍性，所设计的分析流程通过分类层对易受数据增强影响的类别的预测频率变化，来寻找预测偏差。

在最后一个实验系列中，敏感性值被用来揭示彼此独立运行的网络各部分之间的内在联系。这项分析的初衷是检验从独立部分提取出的模式与正常运行网络中的相同模式之间的匹配程度。通过比较各部分敏感性值的相关性，可以揭示更高层次的模式，从而凸显它们之间的相似性与差异性。研究分别在AlexNet（Krizhevsky等人，2012）、VGG11（Simonyan和Zisserman，2015）以及ResNet18（He等人，2016）这三种模型上进行了实验，同时结合了ViT-b-16（Dosovitskiy等人，2021）和Swin-t（Liu等人，2021）这两种视觉变换模型的一些研究成果，以此验证不同分析模块之间的一致性，以及其与外部知识的一致性，包括在生物电路中观察到的模式。作者认为，这些发现也有助于研究复杂环境中的生物神经网络。

相关研究：如引言中所述，该研究的应用领域还包括深入分析深度学习模型预测的稳健性。Hendrycks和Dietterich（2019）提出了一个全面的基准测试方法，通过扰动ImageNet图像来分析预测的稳定性，他们发现了与当前研究类似的对抗性增强和无条件增强之间的关联（如像素化、高斯模糊、脉冲噪声、雪花噪点等），但他们的研究未涉及……

卷积神经网络：所谓人工神经网络，通常指具有分层结构的参数映射模型，每一层都是对输入数据的线性变换后再经过逐元素非线性处理。例如，前馈网络可表示为f(x)=lN[lN?1[…l1[x]]]，其中li[z]=gi(Wiz+bi)表示各层，Wi为大小相配的矩阵，bi为偏置向量，gi(?·?)为逐元素非线性函数，i=1,N?1。一层由多个独立的“神经元”组合而成。

结果：两组数据增强方案A1和A2的预测准确率，构成了与未进行数据增强时的数据A0的准确率进行比较的基准（见表1）。这些计算是在验证集上进行的；对于那些带有参数化的数据增强方案，每项数据都会抽取三组参数。所有被研究的模型都显示出，其准确率对不同变换方式的响应程度并不相同，下降幅度也各有差异。准确率下降最明显的情形与……

索伯尔指数与沙普利值分析：用于计算索伯尔指数的索伯尔-萨尔泰利方法，以及用于计算沙普利值的蒙特卡洛算法，虽然能给出近似结果，但这些结果可能会违背这些量所具有的理论性质。在所计算的索伯尔指数中，并未发现违反Si≤SiT这一不等式的现象。然而，有一阶索伯尔指数和沙普利值出现了负值，且总索伯尔指数超出了上限，因此有必要进行误差分析。由于每个检查点都会产生……

讨论：本研究旨在通过探索神经网络内部激活值对同时施加的数据增强的敏感性，并引入辅助变量，从而构建一个用于研究神经网络的框架。研究中主要采用了索伯尔指数和沙普利值作为计算工具，而这要求采用恰当的采样方案来实施数据增强操作。由此得到的敏感性图能够直观地显示检查点中各个单元的个体敏感性。

模型与结论：在本研究中发现，人工神经网络的功能与生物神经元存在诸多相似之处。通常，生物神经元的研究是建立在涉及单一感知模态的处理-控制范式之下的（Yang等人，2019）。而真实的生物系统则需同时处理多项任务，并在复杂的、包含多种多模态输入的环境中运作。通过调整采样方案并设定SA变量，所设计的框架有望帮助揭示……

代码可用性：所有的模型和计算实验均使用Python编程语言，在Conda包管理器Conda（2016）的支持下实现。本研究使用了以下软件包：pytorch，由Paszke等人于2019年开发；SALib，由Herman和Usher于2017年开发；h5py，由Collette于2013年开发；opencv，由Bradski于2000年开发；numpy，由Harris等人于2020年开发；scipy，由Virtanen等人于2020年开发；pandas，由McKinney于2010年开发，同时也有pandas开发团队在2020年的贡献；scikit-learn，由Pedregosa等人于2011年开发；seaborn，由Waskom于2021年开发；matplotlib，由Hunter于2007年开发。CRediT作者贡献说明：Pavel Kharyuk负责写作——审阅与编辑、写作——初稿撰写、可视化、验证、软件使用、方法设计、研究实施、数据整理以及概念构建；Sergey Matveev负责写作——审阅与编辑、资源准备以及概念构建；Ivan Oseledets负责资源准备、资金筹集以及概念构建。利益冲突声明：作者们声明自己不存在任何可能影响本文所述工作的已知财务利益或个人关系。致谢：与内部激活值的敏感性分析及其通过引导性掩码预测进行验证相关的工作得到了科学与高等教育部授予的编号为075-15-2020-801的资助；单类敏感性分析以及网络各部分的敏感性分析则得到了编号为075-10-2021-068的资助。Pavel Kharyuk|Sergey Matveev|Ivan Oseledets