当神经网络在严重受损的数据上进行训练时，它们会转变为质心分类器

《Physical Review Research》：Neural networks become centroid classifiers when trained on heavily corrupted inputs

　　从不完整的数据中学习是机器学习的核心主题，它将关于鲁棒性的实际问题与关于可学习性的基本问题联系在一起。在这里，我们研究了属性噪声：在保持标签完整的情况下从损坏的输入中学习，这种情况相比标签噪声的情况受到的分析关注要少得多。我们考虑了两种类型的损坏模型：加性噪声和替换噪声。通过对损坏的分类数据集使用多层感知器（MLP）进行实验，我们发现神经网络仍然具有鲁棒性，即使在输入损坏超过90%的情况下也能保持远高于偶然性的准确率——这超出了人类的识别能力。为了理解这种鲁棒性，我们使用了一种受平均场启发的方法来分析在高损坏程度下的无限宽度网络，并推导出一个用于分类结果的主要决策规则：网络实现了一个原型规则，即最近类均值，将每个测试点分配给与其训练集平均值最为相似的类别。这一主要决策规则适用于广泛的MLP架构，无论深度如何，以及各种激活函数和噪声分布。同样的质心机制也与我们实验中的有限宽度网络行为紧密匹配，并提供了一个可解释的、在分析上可行的解释，说明为什么即使在个别训练样本几乎不携带任何信号的情况下，学习仍能成功。

**引言**
机器学习正在从根本上重塑科学和技术，提出了关于其能力和局限性的深刻问题。在这种情况下，一个核心挑战是从不完整的数据中学习：当训练期间可用的样本被破坏时，模型如何进行泛化？典型的情况是标签噪声，即分类或回归任务中的目标标签被损坏[1–7]。另一个相关问题是属性噪声——标签保持正确，但输入特征本身被损坏——这种情况受到的分析关注要少得多。此外，属性噪声在实践中很常见：测量的属性常常因传感器噪声、采集错误、缺失的特征或其他不完美而退化，而相关的标签可能仍然可靠[8]。
属性噪声已经从多个角度进行了研究。早期研究表明，在训练期间向输入中注入噪声可以起到正则化作用，并提高泛化能力[9–16]。后续的工作更直接地处理了特征损坏和删除问题，开发了对缺失输入具有鲁棒性的分类器，并提出了明确对损坏特征进行边缘化的训练程序[17–19]。另一条研究路线考虑了测试时的损坏，探讨了在干净数据上训练的模型在损坏输入上进行评估时的性能下降情况[20]。这种鲁棒性通过诸如ImageNet-C [21]和MNIST-C [22]等基准测试进行了量化。这些研究共同探讨了损坏鲁棒性的几个重要方面。然而，它们留下一个基本问题：在严重损坏的属性上训练，但标签干净的神经网络，能否学习到一个连贯的分类规则，并很好地泛化到干净的测试数据上？
在本文中，我们展示了答案是令人惊讶的“可以”。通过实证研究，我们在标准图像数据集MNIST [23]、KMNIST [24]和Fashion-MNIST [25]的损坏版本上训练了多层感知器（MLP），使用了两种适合图像数据的损坏模型：像素替换噪声和加性噪声。在所有这三个数据集中，我们发现即使训练输入严重损坏（见图1），网络仍然表现出惊人的鲁棒性。在如此高的噪声水平下，图像对于人眼来说几乎无法区分，但网络仍然能够很好地学习分类干净的测试图像，准确率远高于偶然性。

**图1. 测试准确率与损坏概率**
对于宽度为128的三层ReLU MLP，使用交叉熵损失在具有独立同分布（i.i.d.）像素替换噪声的图像上进行训练（蓝色实线）。红色虚线显示了从质心分类器[Eq. (15)]计算出的数据集平均测试准确率——我们将其作为基准。展示了三个类别平衡的数据集：(a) MNIST，(b) Fashion-MNIST，和(c) KMNIST。在每个面板下方，我们通过展示在不同替换噪声水平下受影响的代表性图像样本来演示噪声模型。对于每个噪声水平，都在一个数据集上训练一个MLP，其中每个像素以固定概率被均匀噪声替换；测试集保持干净。准确率指标是在每个噪声水平上100个独立训练实现的平均值，围绕每条曲线的阴影带代表一个标准差（关于标准差的非单调行为的讨论见附录I）。即使替换噪声损坏了训练集中高达80%的图像，所有三个数据集的测试准确率仍然保持在或高于偶然性水平，只有在接近该水平时准确率才会降至均匀随机猜测（虚线）。此外，质心基线在接近该水平时与噪声测试准确率一致。

然后我们使用神经切线核（NTK）框架从分析上解释了这种鲁棒性[26]。对于在任何具有干净标签和通用独立同分布（i.i.d.）输入损坏的任意数据集上训练的宽MLP，我们推导出了在高噪声极限下学习到的预测器的显式分析形式。得到的高噪声决策规则很简单：预测器的分析形式是一个线性的最近类均值——或质心[27]——分类器，位于一个竞争性的随机背景之上。这一理论结果随后与有限宽度MLP的数值实验进行了比较，我们发现原始logit输出和-过滤后的测试准确率都非常吻合。这种与有限宽度网络的实证一致性表明，它们在此处考虑的图像数据集上的惊人鲁棒性并不是来自复杂的去噪或特征恢复过程，而是来自于将损坏后存活下来的弱类别信息聚合成一个基于原型的决策规则——质心规则。
此外，高噪声决策规则的主要形式不依赖于深度、激活函数和所选噪声分布的细节。这种普遍性的起源可以通过对称性和线性响应的视角来理解：在纯噪声下，训练样本变得可交换，而对少量存活下来的非交换信号的依赖性被迫依赖于居中的类别平均值。
这些结果将我们的工作与基于原型的分类观点联系起来，这些观点在经典和现代设置中都有出现，包括最近类均值方法、原型网络以及对深度表示中类别均值结构的最新分析[27–32]。我们的设置有所不同：我们并不是从一开始就假设一个基于原型的模型，也不是将原型几何学作为学习表示的实证趋势来研究。相反，我们从分析上推导出在高属性噪声环境下训练的广泛网络的有效预测器原型规则。更广泛地说，我们的结果揭示了一个罕见的情形，即神经网络可以用异常明确的术语来理解：尽管架构复杂，但学习到的规则本身变得简单、普遍且可解释。
本文的其余部分组织如下。在第二部分中，我们介绍了两种损坏模型，并提出了我们的实证发现：即使在训练时有严重的损坏，MLP也能很好地分类干净的测试数据。此外，我们还展示了在独立的测试时间和训练时间损坏情况下MLP分类的结果，发现当训练集的损坏强度与测试集的损坏强度匹配时，分类能力得到了优化。之后，我们在第三部分中使用NTK框架为高噪声环境下的训练网络输出推导出一个理论预测，并与有限宽度MLP的数值实验进行了比较。此外，我们在第四部分提出了决策规则起源及其在噪声MLP架构中普遍性的对称性论证。最后，第四部分讨论了我们结果的意义和展望。有关数值实验、技术推导和支持细节的详细信息收集在附录中。

**第二节：特征损坏模型和实证结果**
在本节中，我们提出了一个关于在特征损坏输入上训练的MLP进行多类分类的实证研究。我们首先介绍感兴趣的损坏渠道，然后展示了在正确标记但特征损坏的输入上训练并在干净数据上测试的MLP性能的实证结果；这个设置在第三节中将进行分析处理。此外，我们还简要介绍了当训练和测试样本都独立损坏时的MLP性能的实证结果，进一步的细节在附录B中提供。
本节中呈现的实证发现是使用具有3个隐藏层、宽度为128的全连接神经网络获得的，这些网络使用了ReLU激活函数，通过Adam优化器进行了20个时代的训练，批量大小为128，并使用了交叉熵损失，结果是在100个随机种子上平均得到的。有关实验的更多详细信息可以在附录A的表I中找到。
**表I. 用于生成图1和3-11中结果的实验设置摘要，包括数据集、损坏模型、网络架构、训练超参数和评估程序。**
- 图1：平衡的MNIST、Fashion-MNIST、KMNIST；每个数据集54张训练图像和8920张干净测试图像；每个时代都固定的替换噪声；输入没有每个样本的平均偏移或单位RMS归一化。宽度为128的三层ReLU MLP；交叉熵损失；Adam优化器，学习率；20个时代；批量大小128；每个噪声值上有100个独立的训练实现，每条曲线周围的阴影带代表一个标准差（关于标准差的非单调行为的讨论见附录I）。
- 图3：MNIST；总共60张训练图像和10000张测试图像；独立的训练/测试替换噪声；原始[0, 1]输入。训练噪声在每次访问图像时重新采样；每个噪声值共享一个固定的测试损坏。与图1相同的架构、优化器、时代预算、批量大小和原始输入约定；每个时代20次训练重复；平均最终模型准确率及其群体标准差（SD）。
- 图4：MNIST、Fashion-MNIST、KMNIST；平衡的；每个数据集10000张干净测试图像；以0.01的步长进行替换噪声。干净的训练/测试向量在损坏前进行了均值中心和RMS归一化；没有后损坏归一化；噪声在不同时代是固定的。
- 图5：MNIST，特征尺寸调整后；使用双线性插值；替换噪声在；与图4相同的类别平衡、归一化和损坏约定。宽度为2048的三层erf MLP；MSE损失；Adam优化器；30个时代；批量大小250；每个数据集20个噪声数据集，每个数据集10个MLP；每个数据集内的平均logits，然后报告平均准确率和数据集间的样本标准差。
- 图6：MNIST，使用与图4相同的原始输入约定和独立的训练/测试替换损坏。相同的训练模型和每个时代21次训练和81次测试损坏值。AUC通过在整个过程中对每个值进行梯形积分计算得出；每次运行的平均值和标准误差。
- 图7：MNIST、Fashion-MNIST、KMNIST；以0.01的步长进行；与图4相同的分割和干净图像归一化。噪声训练输入使用；没有后损坏归一化；噪声在不同时代是固定的。
- 图8：MNIST；相同的扫描和大小调整；与图4相同的替换和高斯加性噪声。宽度为2048的三层erf MLP；MSE损失；Adam优化器；25个时代；批量大小100；每个噪声数据集20个MLP；每个数据集内的平均logits，然后报告平均准确率和数据集间的样本标准差。
- 图9：MNIST、Fashion-MNIST、KMNIST；与图4相同的分割和大小调整；使用双线性插值；替换噪声在；相同的类别平衡、归一化和损坏约定。宽度为2048的三层erf MLP；MSE损失；Adam优化器；30个时代；批量大小250；每个噪声数据集20个MLP；每个数据集的平均logits使用初始化后的平均值。
- 图10：MNIST，Fashion-MNIST、KMNIST；替换和加性高斯噪声在；相同的划分和大小调整；与图4相同的归一化和损坏约定。宽度为2048的五层ReLU MLP；MSE损失；Adam优化器；30个时代；每个噪声数据集20个MLP；每个数据集的平均logits使用初始化后的平均值。准确率：20个含噪数据集，每组10个MLP模型；插图和针对特定架构的校准是在100个含噪数据集上进行的，每组50个MLP模型。其余的训练和评估设置与深度为3的实验相同。图11显示了4000个MNIST训练样本的均值归零、单位RMS标准化的平衡子集；如图7所示，添加高斯噪声，并且在各个训练周期中保持不变；10000张干净的标准化测试图像。使用宽度为2048的三层MLP模型，激活函数包括erf、高斯误差线性单元（GELU）、Swish和Tanh；损失函数为MSE；训练周期为20个；批量大小为250；学习率为；50个含噪数据集，每个激活函数使用一个初始化值，步长为0.01；平均单个模型准确率和样本标准差。A. 破坏模型和设置

我们首先介绍本工作中使用的符号和噪声模型。用表示干净训练样本的特征，其中索引特征维度，索引训练集。相应的损坏数据点用表示。我们的主要理论分析集中在大特征维度的情况，这对于图像数据和许多现代高维学习场景来说是自然的。

我们考虑了两种破坏模型，如图2所示。第一种是替换噪声，（1）其中是独立的伯努利随机变量，每个特征（图像中的每个像素）以概率被替换，而是一个独立的噪声变量。在我们的数值实验中，我们取，这对于灰度图像数据（如MNIST）是一个自然的选择，其中每个像素的取值范围在[0, 1]之间。第二种破坏模型是加性噪声，（2）其中是一个独立的噪声变量。注意，在这两种模型中，对应于干净的情况，而表示最大程度的损坏情况，训练数据完全变成随机数据。正文中的实证结果主要集中在替换噪声上，而加性高斯噪声在附录E中进行了讨论。

图2. 本研究中使用的两种破坏模型应用于MNIST图像的可视化。顶部面板显示了替换噪声模型，其中每个像素以概率独立地被均匀噪声替换[见公式（1）]。底部面板显示了加性噪声模型，其中每个像素被替换为干净像素和一个独立噪声变量的凸组合，混合参数为[见公式（2）]。面板显示了逐渐增加的破坏程度。

尽管我们的实证结果使用了具体的分布（均匀分布和高斯分布），我们在附录C中展示了分析框架更广泛地适用于从任何分布中独立同分布抽取的通用数据，因为只有分布的前两个矩进入了信号的计算。同样，特定的噪声分布可以选择一个具有匹配均值和方差的高斯分布来替代，而不会改变结果。这与高维学习文献中的高斯等价原理[33–36]精神类似，根据该原理，高维模型的训练和泛化行为仅依赖于数据的前两个矩。

重要的是，假设标签在整个训练过程中保持干净。我们将与类别相关的标签向量表示为，其中类索引用one-hot编码。我们假设数据集是类别平衡的，即每个类别包含相同数量的训练样本。这个假设不是必需的；这里采用它只是为了简化讨论，并在附录C中放宽了这一假设。B. 对训练集损坏的鲁棒性

图1总结了基本的实证现象。使用已建立的图像数据集MNIST、Fashion-MNIST和KMNIST[23–25]，我们展示了在替换噪声损坏的训练数据上训练的MLP模型的测试准确率作为损坏概率的函数，并在干净数据上进行测试。每个面板下方显示了具有代表性的损坏图像。通过，训练图像已经非常难以让人识别，然而网络仍然在干净数据上实现了显著高的测试准确率：在MNIST上约为——在Fashion-MNIST和KMNIST上约为——。换句话说，即使是在几乎没有任何可识别结构的输入上进行训练，网络的预测能力仍远高于随机猜测。此外，我们将实证结果与干净数据上的质心基线进行比较，如公式（15）所预测的，在附近找到了很好的一致性。实际上，预测的质心分类规则与嘈杂的背景竞争，这会削弱测试准确率；这将在第III节中详细讨论。

我们还注意到图1中测试准确率的标准差作为函数的一个有趣特征：它是非单调的。具体来说，标准差在附近相对较小，随着的减小而增加，在中等损坏水平达到最大值，然后对于更小的再次减小。乍一看，这很令人惊讶：一个合理的预期是网络在纯噪声上训练时不确定性最大。然而，在附录I中我们显示，对于多类问题（），情况并非如此：标准差通常在达到峰值。这种效应源于测试准确率的指示形式。

C. 对训练集和测试集同时损坏的鲁棒性

到目前为止，我们已经在有一定损坏程度的训练集上训练了模型，并在干净数据上对它们进行了测试。现在我们考虑一个通用场景，即训练集和测试集都受到了损坏，损坏程度分别为和。图3显示了作为函数的结果测试准确率，对于几个值的（我们强调曲线与图1中的相同）。

图3. MNIST数据中的训练时和测试时的损坏：准确率与训练损坏程度，对于几个测试损坏值。我们观察到一个非单调行为，其中最佳值（图中的点）接近，而不是0。所有网络和超参数都与图1中的相同。

简单的预期可能是最佳值将是一个零：人们会认为使用干净数据进行训练总是更可取的。然而，我们发现对于给定的值，作为函数的行为是非单调的，实际上最佳值是。这种解释是，当训练和测试使用相同程度的损坏时，模型试图在相同的数据分布内进行泛化，而不是超出分布进行泛化，后者更有可能成功。相比之下，对于固定的值，使用总是最优的，这一点从图3中可以明显看出。在附录B中，我们证明了这一点，并且还讨论了当不确定准确率时处理这种情况的策略。

III. 分析性处理

现在我们转而对上述实证鲁棒性进行解析解释。我们展示了在严重损坏的情况下，网络输出显著简化：与其学习复杂的去噪规则，不如说在损坏输入上训练的宽MLP在主要步骤上简化为在干净数据上的质心分类器。我们使用无限宽度网络的NTK描述得出了这一结果，在这种描述中，使用均方误差（MSE）进行训练等同于使用NTK进行核回归。

在本节中，我们使用标准的NTK初始化，权重和偏置是从均值为零的高斯分布中独立抽取的[37]。在应用损坏之前，我们还对干净的训练和测试输入进行了标准化。具体来说，每个输入都被标准化并进行了中心化，以便（3）其中表示训练样本，表示测试样本。这种标准化适用于训练集和测试集，以便于表示和概念上的简洁；更一般的情况在附录C中讨论。由于本节中的干净数据已经进行了中心化和标准化，我们相应地将替换噪声视为，以便纯噪声输入也具有均值零和方差一。这个选择使得噪声的前两个矩与标准化数据对齐。A. 高噪声下质心规则的推导

我们现在提出在高噪声情况下学习到的有效决策规则。在无限宽度极限下，使用MSE损失训练的层MLP等同于使用NTK进行核回归[26]。我们将在本节中概述推导过程；对于任意深度和激活函数的详细推导在附录C中提供。

MLP在干净测试点上的类输出logit由[38]给出（4）其中是噪声训练集上的深度NTK，是测试-训练NTK，是类别的目标one-hot向量，我们为了方便定义了信号强度（5）。纯噪声极限对应于，而对应于干净训练输入。注意，测试-训练NTK是相对于训练数据的向量，而训练-训练NTK是在同一空间中的矩阵。

我们现在概述在高噪声极限下logit输出的推导过程。关键的简化发生在第一层，那里NTK具有简单的形式（6）其中和是初始化时的权重和偏差方差，（7）表示标准化的噪声特征重叠矩阵，和表示训练或测试索引。在一个受平均场启发的分解中，我们将重叠矩阵分为一个从损坏噪声平均得到的确定性项，以及一个次要波动（8）其中（9）是噪声平均的重叠，（10）是的非确定性波动。在大极限下，通过中心极限定理，是渐近高斯的，均值为零，而项捕捉了这个高斯极限的次要有限校正。

通过层到层的递归公式[37,38]，深度NTK继承了其全部的数据依赖性，特别是方程（8）中的均值 plus 波动分解。完整的逐层传播在附录C中进行；在这里，我们仅仅是跟踪方程（8）的两部分到输出。

我们在接近纯噪声点和大特征维度极限的情况下工作：和。在整个展开过程中，参数表示在纯噪声下的评估，（等价于）。考虑到这一点，我们对噪声重叠矩阵[方程（8）进行了联合一阶展开，得到（11），在那里我们还关于展开了非确定性波动。

将这个结构通过递归传递，深度NTK呈现出类似的形式，（12），其中是从纯噪声平均重叠构建的深度NTK，和是从继承的零均值高斯波动。将方程（12）代入方程（4）并展开到主要阶次，我们得到（13），其中和是编码深度、激活、初始化和噪声分布细节的类别无关常数；是具有零均值和单位方差的不同类依赖的高斯波动，和分别是干净训练数据的类别中心经验均值或全局经验均值。关键点是，主要类别依赖的信号仅通过这些干净的中心化类别均值依赖于训练数据。尽管在损坏的输入上进行了训练，网络从噪声数据中提取出的类别依赖统计量仅依赖于干净的数据集。在这个阶次上，输入的噪声部分只贡献了波动项，而区分性信号是测试点与干净类别特征中心之间的重叠。

因此，在联合极限下，网络学习到的主要决策规则是（15）

换句话说，在高噪声情况下，NTK计算预测，网络简化为一个最近类均值或质心分类器[27]，在特征空间中使用内积得分。值得注意的是，主要决策规则在深度、激活和噪声分布上都是通用的。尽管原始模型的深度和非线性，分类简化为针对每个类别的单个原型的简单线性模板匹配。我们注意到，在我们的标准化约定[方程（3）和单位方差噪声模型下[见附录D的进一步细节]下，乘以质心项的系数保证是非负的。然而，对于任意非标准化数据或完全一般的噪声模型，非负性并不保证。对于情况，主要决策规则是通过反转质心得分的方向简单获得的，等价于用替换。因此，主要的类别依赖响应仍然是一个质心重叠规则，的符号决定了其方向。

最后，我们评论了大训练数据集大小下近似的可控性。方程（13）中质心得分的前因子来自于围绕纯噪声核展开逆NTK。对于适度的，这种展开受到小信号强度的控制。在较大的情况下，高阶项可能会变得重要；然而，这些项主要重新调整了质心统计量的整体系数，而不会改变主要的决策规则（更多细节见附录C）。通过将高阶NTK校正代入方程（4）得到的完整展开式并不一定在所有情况下都能均匀收敛。尽管如此，如下一小节所示，主要校正已经与高噪声环境下的实证网络输出和测试准确性很好地吻合。B. 与有限宽度网络的比较我们现在将logit输出的理论预测[方程（13）]与有限宽度网络进行比较，该网络的控制实验环境与高噪声NTK计算的假设相匹配。这与图1中的激励实验不同，后者使用了有限宽度的ReLU MLP、交叉熵损失和范围在[0, 1]内的原始图像输入来建立鲁棒性现象。相比之下，我们在这里使用方程（3）的归一化约定作为输入，MSE损失，更宽的网络和erf激活函数，以及更少的训练数据点，以便数值实验能够隔离理论预测的主要机制。理论预测的目的不是复制图1中的每一个实现细节；而是识别一个可处理的高噪声机制，我们直接在图4的有限宽度实验中对其进行验证。有关这里呈现的实证结果的更多实验细节，可以在附录A的表I中找到。图4. 高噪声理论的数值验证。用于创建该图中数据的所有网络都是宽度为2048的三层MLP，使用MSE损失在嘈杂的（a）MNIST、（b）Fashion-MNIST和（c）KMNIST上进行训练。主面板：对于20个嘈杂训练集的嵌套集合和每个嘈杂集合中的10个MLP，平均干净测试准确性与替代噪声强度（红色曲线）的关系。误差条显示一个标准差。灰色虚线是方程（16）中拟合的有效模型的平均干净测试准确性。插图：在使用100个嘈杂训练集的嵌套集合和每个嘈杂集合中的50个MLP时的输出级比较。每个点对应一个干净测试图像和一个候选类别，将集合平均网络输出与方程（16）中的拟合预测进行比较。插图中的黑色虚线表示完美一致。恢复腐败概率，方程（13）的形式激发了有效模型（16），其中，吸收了重新调整的架构依赖性前因子和波动尺度。为了简单起见，我们将波动建模为独立同分布的标准正态随机变量。为了估计这些系数，我们为每个独立的嘈杂数据集实现训练MLP，总共训练了N个网络。对于每个测试点和类别，我们首先对固定嘈杂实现的MLP输出logit进行平均。这产生了每个类别的实现平均logit，这些是与方程（16）进行比较的实证对象。然后，我们通过最小二乘法对所有测试点和类别的平均logit进行平均来确定和，系数不参与这个步骤，因为它乘以了一个均值为零的波动。最后，我们将设置为实现平均logit的标准差，这些logit是在所有测试点和类别上汇总的。重要的是，这是一个全局的三参数拟合：我们不为不同的测试示例分别拟合系数。图4通过两种互补的方式验证了这一观点。插图比较了MLP在完整的MNIST、Fashion-MNIST和KMNIST测试集上的实证平均输出logit与从方程（16）的平均值获得的预测。在拟合了两个全局系数之后，我们发现每个数据集几乎完全一致。这提供了强有力的证据，表明在噪声实现上平均后，MLP的输出收敛到质心模型的平均值，这与质心分类器的行为一致。主面板比较了实证集合的干净测试准确性与方程（16）中的完整质心模型的准确性，现在包括了由拟合系数控制的波动项。每个数据集的一致性表明，质心模型不仅捕获了平均输出结构，还捕获了控制分类准确性的波动。特别是，它准确地再现了随着噪声概率增加测试准确性下降的现象。主面板还指出了实证网络开始偏离主要阶质心描述的地方，表明高阶校正的开始。在我们的数据中，这种偏差在时变得明显。我们在附录F和G中提供了额外的测试。因此，图4中的一致性应该被视为对高噪声质心机制的受控验证，而不是声称理论再现了图1中原始输入交叉熵实验的每一个实现细节。尽管如此，它表明，一旦实验环境的选择与计算的假设相匹配，相同的质心机制在有限宽度网络中仍然可见。C. 信噪比方程（13）对于输出logit也意味着一个缩放定律，因为它预测至少对于中等，类别依赖的平均值随着的增加而增长，而标准差随着增加而增长。因此，我们期望信噪比（SNR）按照（17）进行缩放。因此，理论预测随着存活信号比例、特征维度或每个类别的训练样本数量的增加，分类准确性会有所提高。我们在固定替代噪声概率和类别数量的情况下，使用MNIST来测试这种依赖性。在保持这些量不变的情况下，方程（17）预测，对应于对数轴上的单位斜率。图5（a）直接使用真实类别输出logit的实证SNR来测试这一预测。通过对随机抽取的干净测试示例进行平均，不同和的结果大致在上呈现出线性趋势。拟合的斜率为1.03，接近预测的单元值，支持所提出的缩放。图5（b）显示了随着和的增加，干净测试准确性的相应提高。图5. 在固定替代噪声概率和类别数量的情况下，使用MSE损失在MNIST上训练的宽度为2048的三层MLP的实证缩放。（a）平均与在500个随机抽取的干净测试示例上。对于每个示例，首先在每个嘈杂训练数据集上训练的十个独立初始化的网络上平均真实类别logit。SNR是这些平均logit的平方平均值除以它们在20个嘈杂训练数据集上的样本方差。方块和误差条显示了ln(SNR)的平均值和一个标准差；虚线是对平均值进行线性拟合。（b）在固定下，使用来自初始化平均logit的预测的平均干净测试准确性。平均值和一个标准差误差条是在20个嘈杂训练数据集上计算的。通过使用双线性插值调整MNIST图像的大小来获得更大的特征维度。本节的分析为了具体性，关注了均匀替代噪声。然而，质心分类结果并不依赖于那种特定的腐败模型选择。实际上，对于实践中最相关的两类输入噪声——一般替代噪声和一般加性噪声——相同的领先质心结构仍然存在。在附录E中，我们为加性噪声模型[方程（2）]提供了类似的结果，证明了我们发现的普遍性。D. 置换对称性和质心响应质心规则[方程（15）与噪声分布、深度和激活无关。在这里，我们使用线性响应论点为NTK框架内的这种普遍性提供直觉：我们将训练好的网络视为一个处于置换对称的纯噪声参考状态的系统，并将存活的信号视为离开它的一个小扰动。这为附录C中推导出的高噪声展开提供了一个对称性解释。它应该被理解为一个最小的线性响应模型，而不是第二节中腐败通道的第二个微观推导，但这足以提取主要阶的类别依赖决策规则[方程（15）]。在分离了随机波动之后，噪声NTK的确定性部分仅通过噪声平均重叠[方程（9）依赖于数据。在纯噪声下，训练示例变得可交换：噪声平均的训练-训练重叠在任何重新标记训练示例的情况下都是不变的，即，仅通过是否依赖于。这种对称结构在纯噪声下对于任何与数据和特征空间独立同分布并且具有有界均值和方差的条件都是保证的。受到这种结构的启发，我们为训练集引入了一个最小的纯噪声参考集合。这个参考集合由无特征的独立同分布随机变量组成，其目的是捕捉纯噪声固定点下噪声NTK的确定性部分的可交换结构。相应的纯噪声平均测试-训练和训练-训练重叠矩阵是，其中期望是相对于噪声分布来取的。我们随机假设参考噪声的前两个矩是有界的。为了以后的方便，我们假设第一个矩消失，并用表示第二个矩。采用方程（3）对干净训练输入和测试输入的归一化约定，所施加的平均中心化使得纯噪声测试-训练重叠消失，而纯噪声训练-训练重叠保持对角线。我们将训练在纯噪声集合上的网络视为一个纯噪声固定点。现在，假设我们通过一个与干净特征成比例的小信号来扰动纯噪声输入。为了研究响应，让我们用表示沿扰动路径的主要变化。也就是说，对于任何从训练输入构建的函数，定义，以便。测试-训练重叠的主要响应是，而训练-训练重叠的响应消失，因为它的主导非零项是。因此，只有在主导阶，携带信号。我们现在计算在任意深度的响应。让和表示在纯噪声下的深度训练-训练和测试-训练NTK。现在，假设我们通过一个与干净特征成比例的小信号来扰动纯噪声输入。为了研究响应，让表示沿扰动路径的主要变化。也就是说，对于任何从训练输入构建的函数，定义。因此，测试-训练重叠的主要响应是，而训练-训练重叠的响应消失，因为它的主导非零项是。因此，只有在主导阶，携带信号。3我们现在计算在任意深度的响应。让和分别表示在纯噪声下的深度训练-训练和测试-训练NTK。在的主要阶，类别logit的响应为，其中逆训练-训练NTK的变化在主要阶消失。因此，只有携带信号。我们现在计算在任意深度的响应。让和分别表示在纯噪声下的深度训练-训练和测试-训练NTK。在的主要阶，类别logit的响应为，其中逆训练-训练NTK的变化在主要阶消失。因此，两个对象决定了响应：逆纯噪声训练-训练NTK和纯噪声测试-训练NTK变化。两者都是通过对纯噪声固定点应用层到层的递归关系[38]得出的：首先考虑逆训练-训练NTK。在纯噪声下，训练-训练重叠是置换不变的，因此层1 NTK也是如此，其中和。在纯噪声下的递归是置换等变的；如果深度1核是置换不变的，那么这种不变性在任意深度都是保持的。因此，深度训练-训练NTK因此保留了两个参数的形式，这些参数取决于深度、激活和噪声分布的矩。等价地，纯噪声下的深度NTK存在于投影器代数中，其中是投影到置换不变部分的，及其补数：NTK是一个Gram矩阵的例子，对于不同的输入是严格正定的[26]。因此，它的特征值和都是严格正的，所以它有一个明确定义的逆。首先考虑逆训练-训练NTK。在纯噪声下，训练-训练重叠是置换不变的，因此层1 NTK也是如此，其中和。在纯噪声下的递归是置换等变的；如果深度1核是置换不变的，那么这种不变性在任意深度都是保持的。因此，深度训练-训练NTK因此保留了两个参数的形式，这些参数取决于深度、激活和噪声分布的矩。等价地，纯噪声下的深度NTK存在于投影器代数中，其中是投影到置换不变部分的，及其补数：NTK是Gram矩阵的一个例子，对于不同的输入是严格正定的[26]。因此，它的特征值和都是严格正的，所以它有一个明确的逆。接下来考虑纯噪声下的深度测试-训练NTK变化。首先考虑在纯噪声下的第一层变化。在纯噪声下的变化可以通过使用Price定理[39]对递归关系进行层到层的传播来处理。现在我们展示如何将训练索引中的置换对称性减少到第一层变化的整体缩放。为了看到这一点，考虑在纯噪声下层1测试-训练内核的条目，这些条目在训练输入中是置换不变的（33），其中是噪声分布的第二矩。纯噪声递归[方程（25）的置换等变性保持了这种独立性到任意深度。因此，出现在方程（31）和（32）中的纯噪声激活依赖的期望值和NTK条目与无关。自从……以来，我们得出结论认为递归过程仅仅是将纯噪声重叠变异按一个常数进行重新缩放：（34）其中……取决于深度、激活方式、初始化以及噪声分布的矩。将方程（29）和（34）代入方程（24），并使用类平衡的标签收缩（35），我们发现排列不变的那一部分只贡献了一个与类别无关的常数，而另一部分则携带了类别信号。结合方程（23）中的……，我们得到（36），这正是质心规则。常数……和……编码了深度、激活方式、初始化以及噪声分布的前两个矩，而依赖于类别的结构则通过纯噪声不动点的排列对称性被固定下来。

关于方向性有一个值得注意的地方。前因子……对所有类别都是共通的，因此只有它的符号才重要：正号表示最近类均值规则，而负号则会反转质心得分的方向。由于……，方向性由……的符号决定。在单位方差约定下，第1层的测试-训练核矩阵元素变为（37），这可以使用方程（33）来确定。因此，测试对角线和训练对角线重合，非对角线元素是非负的。这些性质意味着依赖于激活的传输因子……，其中……可以是……中的任何一个，它们在核函数和NTK变异递归中出现的每个深度下都是非负的——我们在附录D中详细展示了这一点。因此，在单位方差噪声和归一化约定[方程（3）]下，我们有……。

对于一般的或非标准化的数据，纯噪声测试-训练核的测试对角线和训练对角线可能不会重合，并且每个激活的符号也无法保证。然而，如果前因子为负，则通过反转质心得分的方向可以得到主导的决策规则，等价于用……替换……。因此，对于任何深度、任何激活函数和独立同分布的噪声分布，主导的类别依赖响应仍然是一个质心重叠规则，质心得分的方向由……的符号决定。

IV. 讨论与展望

训练具有严重污染输入的神经网络这个问题揭示了许多出乎意料的发现。首先，我们发现MLP对属性噪声具有惊人的鲁棒性，能够以远高于随机水平的准确率对严重污染的图像进行分类。这一现象在多个数据集中都有观察到，促使我们试图从分析角度来解决这个问题，期望能够揭示网络所采用的复杂“去噪”过程，从而解释它们为何能表现得如此良好。通过对强污染情况下NTK的受控扩展，我们发现实际上网络学习了一个非常简单的规则：它们将每个测试图像与某个类别的所有训练图像的平均值进行比较，并检查哪个最相似。这种最近类均值（质心）规则在强污染极限下是主要的贡献，尽管网络具有复杂性和非线性。分析结果还得到了一个有效的信噪比[方程（17）]，表明性能随着特征维度和数据集大小的增加而提高；我们也通过实验验证了这一点。综合这些结果，我们在高属性噪声情况下发现，宽 MLP具有一个普遍的主导类别依赖响应：一个以质心为中心的分类器。这里研究的有限宽度网络明显遵循这一机制，解释了它们在MNIST系列数据集上的惊人鲁棒性。

第三节D中的对称性解释说明了为什么这个简单的质心规则不是第一层计算的偶然结果：它是由纯噪声核的可交换性和NTK递归的排列等变性所固定的。这一观察还提示了对这一形式主义的更广泛解释。关键因素不仅仅是特定的MLP递归；同样的推理应该适用于任何具有明确定义的核极限的架构，只要其纯噪声核具有相同的可交换结构。当这些因素存在时，高噪声不动点周围的线性响应就确定了预测器的第一个类别依赖修正；在当前设置中，这个修正正是质心规则。更广泛地说，这指出了通过定位网络有效描述的可处理不动点并推导出当小信号打破不动点对称性时出现的主要决策规则修正的一种理解方式。

NTK预测在有限宽度网络上的成功表明，高噪声极限具有超出精确可解无限宽度极限的有效普遍性。尽管有限宽度、非线性特征学习和损失函数的选择可能会改变架构依赖的前因子和波动尺度，但主导的类别依赖方向似乎仍然是以质心为中心的重叠。这不应该被理解为MLP对每个分类数据集上的任意训练污染都具有鲁棒性。相反，该理论预测了在高噪声极限下MLP的一种通用主导决策规则，而最终准确率取决于数据集本身的几何结构。在这里研究的数据集MNIST、Fashion-MNIST和KMNIST中，干净的类别质心包含了足够的区分信息，从而实现了远高于随机水平的分类，这解释了为什么网络在图1中的高污染情况下仍然保持鲁棒性。

最后，强污染情况下的分析控制也可能有更广泛的含义。我们在……中的微扰结果原则上可以扩展到更高阶，从而逐步揭示网络学习规则的更精细结构。系统地执行这种扩展可能有助于进入中等污染范围，甚至可以利用污染强度作为显式扩展参数，探索向干净数据极限的控制路径。一个相关的可能方向是分析高噪声情况下的去噪模型，包括扩散型模型。在那种情况下，可以将这里考虑的分类目标替换为回归目标，例如干净输入。然后围绕纯噪声极限的类似扩展可以揭示在主导阶中恢复了干净数据的哪些统计特性，以及在高信号强度下更高阶中逐渐出现的更精细的去噪信息。