“空的状态”的重要性:使用稀疏示例的霍普菲尔德神经网络(The importance of being “empty”: Hopfield neural networks with diluted examples)

《Neurocomputing》:The importance of being empty: Hopfield neural networks with diluted examples

【字体: 大 中 小 】 时间:2026年05月08日 来源:Neurocomputing 6.5

编辑推荐:

  埃莱娜·阿利亚里 | 阿尔贝托·法切基 | 多梅尼科·卢永戈 罗马大学萨皮恩扎分校G.卡斯特尔努奥沃数学系,意大利罗马 摘要 我们研究了霍普菲尔德网络(Hopfield networks),其中神经元通过基于一组确定模式(真实值)的赫布耦合(Hebbian coup

  埃莱娜·阿利亚里 | 阿尔贝托·法切基 | 多梅尼科·卢永戈
罗马大学萨皮恩扎分校G.卡斯特尔努奥沃数学系,意大利罗马

摘要
我们研究了霍普菲尔德网络(Hopfield networks),其中神经元通过基于一组确定模式(真实值)的赫布耦合(Hebbian couplings)进行成对交互。这些模式可以是标记好的示例样本(监督学习场景),也可以是不标记的示例样本(无监督学习场景)。我们特别关注真实值为拉德马赫向量(Rademacher vectors),而示例为这些真实值的噪声版本的情况,这些噪声版本可能包含一些空白或空条目(例如,模拟缺失或丢失的数据)。我们利用并扩展了马尔琴科-帕斯图尔定理(Marchenko-Pastur theorem),确定了这三种情景下耦合矩阵的谱分布。在此基础上,我们分析了网络的泛化能力,特别是它们从带噪声的输入中恢复真实模式的能力。通过长时间运行的蒙特卡洛模拟(Monte Carlo simulations)证实,在某些条件下,空白条目的存在是有益的,这提示了基于数据稀疏化(data sparsification)的策略;这些结果在结构化数据集中的鲁棒性也得到了数值验证。最后,我们展示了基于稀疏示例构建的赫布矩阵可以通过带有丢弃机制(dropout)的梯度下降算法(gradient descent algorithm)在合适的损失函数下得到收敛。

1. 引言
在过去的几十年里,科学和技术因现代人工智能(AI)的出现而发生了革命性的变化,其成功主要归功于低成本的大数据以及并行处理系统的高计算能力。然而,这种成功也带来了实现能够完成所需任务的机器学习模型的重大挑战,尤其是考虑到基准数据集的典型大小和现代AI解决方案的极端复杂性。为了降低数据驱动决策系统和高复杂度神经网络对训练数据质量的敏感性,文献中研究了几种策略。这些策略旨在通过数据清洗和增强[1]、[2]、[3]、使用特定的成本函数[4]、[5]或算法[6]、正则化、丢弃和噪声注入[7]、[8]、[9],或更复杂的方法和训练程序[10]、[11]、[12]等方法来优化这些模型的性能。在现代脉冲架构(spiking architectures)中也探索了结构化稀疏性,其中信息通过时间上稀疏的活动模式进行编码(参见例如[13])。尽管这方面的研究无疑至关重要,但它们往往是经验性的,在实际应用中通常需要大量的参数微调。实际上,一个全面且易于处理的理论框架,配备严格的数学技术来解释它们的工作原理,仍在建设中。

最近,霍普菲尔德模型——一种典型的基于能量的神经网络——已被修订[14]、[15]、[16]、[17]、[18]、[19],并一致地分析了其在简化但相关设置中的泛化能力(也参见[20]、[21]、[22])。特别是在[23]中,将一个具有正则化损失函数的无监督隐藏模式重建任务映射到了类似霍普菲尔德的神经网络上,正则化参数塑造了存储向量的吸引盆(attractivity basins)[24]。因此,泛化阶段的出现可以解释为与训练示例相关的吸引盆的合并,而过拟合则发生在选择了分离这些吸引盆的正则化参数时。在本文中,我们进一步研究了缺失数据对这些网络检索和泛化能力的影响。假设某些数据条目的缺失是完全随机的;也就是说,一个条目缺失的概率与观察到的和未观察到的变量都无关(例如,当传感器在数据收集过程中随机故障时可能发生这种情况,或者可以在事后像在丢弃技术[8]中那样进行)。具体来说,我们考虑以下框架:我们有一组模式,每个模式对应一个不同的真实特征,由长度为N的二进制向量表示,记为x_i。可用的数据集包括这些特征的不同测量值,记为y_i。这些测量值受到独立的随机误差的影响,意味着一些条目可能会被翻转,即y_i可能会被替换为0,或者对于某些i,条目可能会缺失,即y_i可能会被设置为0,并组合成赫布矩阵H。根据[25]、[26]、[27],我们设想了两种构建赫布矩阵的方法,分别对应于监督和无监督的协议,得到耦合矩阵M_1和M_2;在第一种情况下,使用示例的类别划分知识通过属于第i类的示例的经验平均值来近似未知的第i个模式,然后这些平均值被存储在赫布矩阵H中;相反,在无监督场景中,这种知识是不可用的,因此所有单个条目都被合并到耦合矩阵M_2中,使得每个训练示例都以自己的吸引盆进入能量景观。作为第一个结果,我们分析了这些矩阵的代数属性,得到了它们的谱分布。接下来,我们能够根据这些谱分布的一阶和二阶矩来评估模型的泛化能力;这种方法也被证明包含了流行的信噪比分析(signal-to-noise analysis)。通过这种方式,我们可以分析地指出,在监督情况下,稀释总是会损害泛化能力,当初始数据与目标相差较远时效果更明显;相反,在无监督情况下,我们的理论结果表明,只要数据点的质量相对较高且负载量相对较大,稀释可以提高性能。值得注意的是,即使在具有随机稀释的结构化数据集中,蒙特卡洛模拟也证实了这些预测。这支持了稀释的有益效果是一种普遍现象的观点,这种现象发生在基于实证数据构建的具有赫布耦合的吸引子神经网络(attractor neural networks)中,从而提高了泛化能力,并暗示了开发有针对性的丢弃策略的必要性。实际上,我们还证明了基于稀疏示例构建的赫布规则可以作为带有丢弃机制的梯度下降算法的不动点得到收敛,同时证明了稀释与丢弃之间的联系也适用于前馈神经网络(feed-forward neural networks)。

本文的结构如下。第2节我们介绍了模型和数据集,区分了基本的存储、监督和无监督的协议。第3节,我们引入了评估模型性能的关键量,并对其泛化能力提供了初步见解。接下来,在第4节中,我们应用马尔琴科-帕斯图尔定理来确定所有三种协议中耦合矩阵的渐近谱分布,并将这些分布的矩与模式稳定性和泛化能力联系起来,从而提供定量预测。我们在第5节进一步通过数值方法检验了无监督设置中泛化能力的非平凡发现,并进一步探讨了训练数据中稀疏化的益处。最后,第6节包含了我们的结论和展望。定理的详细证明、技术细节以及进一步探究数据稀疏性在基准任务中影响的数值实验报告在附录A中。

2. 设置和定义
2.1. 吸引子神经网络(Attractor Neural Networks)
我们考虑一个由N个二进制神经元组成的全连接关联神经网络(ANN),其状态由二进制变量x_i表示;整体神经配置由向量X表示。一般来说,x_i是一个动态变量,根据并行演化规则(2.1)迭代更新,其中上标n表示更新步骤的数量,A是一个实数矩阵,编码了突触效率。上述方程等价于说,在第n步时,每个单独的神经元取值为x_i^n。因此,矩阵元素a_ij表示第i个神经元影响第j个神经元状态的强度。这种迭代更新可以解释为一个(无限深的)多层神经网络,其中第j层编码了配置x_j,信息根据规则(2.1)从一层传递到下一层。具体来说,x_i是神经网络的输入,我们对某个较大的i相关的输出y_i感兴趣(见下文),或者更确切地说,对机器执行的输入输出映射感兴趣。为此,值得回顾的是(参见例如[28]、[29]),如果A是对角线元素非负的对称矩阵,那么方程(2.1)描述的动态具有有界的李雅普诺夫函数(Lyapunov function),这意味着动态收敛到一个固定点,即在一个动态(2.1)下不变的配置,或者收敛到一个周期为2的极限环。当动态收敛到一个固定点时,我们将它解释为ANN的输出。

2.2. 合成数据集、真实值和稀释(Synthetic Dataset, Ground-Truths, and Dilution)
假设我们有M个信息模式,也称为原型或真实值,由长度为N的二进制向量表示,记为x_i。这是我们想要检索的信息,我们说如果配置x_l是动态(2.1)的固定点,并且具有非零的吸引盆,则模式x_l可以通过网络检索到。属于吸引盆x_l的配置被解释为触发模式检索的输入配置。因此,基数M越大,模式就越具有吸引力。另一方面,如果x_l是一个具有平凡吸引盆的稳定配置,则对检索来说是无用的。我们还引入了负载量l,表示我们希望在网络中存储的信息量,给定一定的资源(即神经元数量)。在l较大的情况下,我们将关注所谓的“高存储”制度。关于模式的统计属性,我们将在一个可控的设置下进行分析,即x_i是一类独立同分布(i.i.d.)的随机变量,具有对称的拉德马赫分布(Rademacher distribution),因此:
(2.2)
在下文中,我们分别用E(x_i)和var(x_i)表示在对测量E下进行的期望和方差。
回想一下(2.1),为了使每个模式x_i成为固定点,交互矩阵M必须是一组模式的总函数。只要模式x_i可以直接访问,一个标准的耦合矩阵选择由以下公式给出:
M = ∑_{i=1}^{M} a_ij * x_i * x_j
(2.3)
这个选择受到了经验性赫布规则[35]、[36]的启发,并确保在零温度下负载量为0时仍能进行检索[37]。这个框架代表了一个理想的环境,我们称之为基本存储(basic storing)。
在实际应用中,我们期望只能依赖于原型的实验性、含噪声的实现,我们称之为示例。为了进行数学控制,我们为每个原型定义了合成示例y_i,表示为y_i = x_i ^ δ_i,其中δ_i是一个概率值,表示与第i类相关的第i个示例中的第i位是否为0的错误。y_i被建模为独立同分布(i.i.d.)的随机变量,与原型无关,概率为δ_i。因此,δ_i是任何给定示例中的条目为0的概率,这被解释为一个缺失的数据;换句话说,δ_i代表了空白条目的预期比例,并被称为稀释或稀疏性(参见[38]、[39]、[40]、[41]、[42])。因此,以概率δ_i,示例条目是非零的,但它仍然可能受到错误的影响(即y_i有可能是1)。因此,δ_i被称为数据集的质量[16]、[20]、[26]。根据这个定义,每个示例中的两个条目之间的相关性是δ_ij * δ_j,如果δ_ij ≠ 0,则示例x_i和y_i是独立的;如果δ_ij = 0,则它们是相关的,因为它们来源于同一个真实值x_i。

3. 给定一组示例,可能有一个根据相应原型对示例进行分类的教师,我们将这种设置称为监督学习(supervised)。利用这些信息,我们可以确定每个类别的均值,并将这些均值识别为真实情况的经验表示。因此,在这种情况下,我们将监督下的Hebbian矩阵定义为(2.5),或者以矩阵形式表示为,其中是一个矩阵,存储了所有样本的均值,因此对于所有和,都有。接下来,我们处理无监督的情况,其中类别标签是未知的,我们无法对样本进行聚类。因此,最小偏差的交互矩阵(见附录A和[23])由以下无监督Hebbian矩阵给出:(2.6),其中,即,其中是一个矩阵,存储了所有单个样本对于,,和。值得强调的是,有监督和无监督设置之间的本质区别。在前者中,用类别经验均值替换真实情况只会改变存储向量的统计特性,同时仍然保留了Marchenko-Pastur定理的适用性。实际上,稀释数据集只是重新规范了存储向量的方差,见附录B。相反,在无监督设置中,存储向量之间的相关性出现了(这是泛化任务的一个关键点),这打破了经典Marchenko-Pastur定理中的独立性假设,对渐近谱分布有非平凡的影响。虽然这种偏离通常不可忽视,但对于足够大的值,我们仍然可以通过可控的近似方法得出理论预测,如附录C中所讨论的。除了方法论上的评论,上述公式表明,稀释对类内和类间相关性的影响是不同的,将增加到高值(同时保持固定)会使无监督Hebbian矩阵趋向于统计上独立的存储向量,这对原型重建有利。这一点将在4“耦合矩阵的谱和矩”和5“无监督设置的数值模拟”中讨论。在结束本节之前,我们强调这里考虑的设置与[42]中探索的略有不同,在[42]中,真实模式本身受到稀释的影响,样本中的噪声可能保留了空白条目的排列,或者可能用随机的二进制条目替换它们。在那种情况下,真实模式的稀释被证明会导致“并行学习”,即多个模式的同时学习。此外,值得注意的是,样本中的稀疏性可以是真实模式经验实现的一个内在特征,或者它可能来源于外部操作,例如模仿dropout技术,如附录A中所讨论的。在前一种情况下,我们预期稀释会影响训练和验证样本,而在后一种情况下,我们预期它只影响训练样本(因此影响耦合矩阵),验证样本仅由质量参数(即没有稀释)特征化。在本文中,我们将探讨后一种情况。

3. 一步稳定性、泛化能力和信噪比
在本节中,我们检验了赋予了监督和无监督Hebbian交互矩阵的神经网络的泛化能力。让我们考虑一个特定的目标模式和另一个配置,表示为,位于以为中心的汉明球边界上,其(标准化的)半径为。这个边界上的配置可以通过扰动来实现为。然后,我们可以将作为初始配置,并应用(2.1)得到。将演化关系的两边都乘以,我们得到正号的符号函数意味着,在单一步骤中,第个神经元的状态保持不变或变为等于目标。因此,引入随机变量(3.1)是方便的,该变量将如下特殊化:
• 在这种情况下,初始状态与一致,告诉我们神经元的状态是否不变。我们将这称为模式的局部稳定性。
• 在这种情况下,初始状态与训练点的统计特性相同(除了稀释),因此我们将其称为测试(或验证)样本。然后,告诉我们从测试样本开始,第个神经元是否与模式的相应条目对齐。前者意味着模型正在精确地重建该位置的模式,我们相应地将这称为局部泛化。
在操作上,使用全局和有界的可观测量更为方便,为此我们引入了配置重叠,也称为Mattis磁化(与模式相关),在时间步骤处评估:
(3.2)
(3.3)
如果初始条件位于模式本身内(例如),并且对应于网络配置相对于的单次更新后的重叠:如果,神经动态将系统从初始条件中驱动出来,因此模式不稳定。因此,在我们将这称为的(全局)稳定性。相反,如果初始条件是一个测试样本,并且我们说吸引,如果,这就证明了(全局)泛化这个术语的合理性。
在分析层面,链接局部和全局可观测量并获得一步Mattis磁化的封闭形式表达式是困难的,除非引入一些工作假设。在下文中,我们将在以下定义下进行计算:
定义1 高斯近似
在高斯近似(GA)范围内,我们假设是独立同分布的高斯随机变量,即。关于这种近似有效性的讨论在[43]中提供。
注释1
前定义中的量和明显代表分布的前两个非中心矩。一个关键点是,在GA和热力学极限下,这两个矩可以作为模型参数(即,,,和)和输入的函数(通过概率)来分析估计。
在GA和热力学极限下,相对于参考配置的一步重叠不依赖于,而直接依赖于参数;然后我们可以将其定义为
(3.4)
再次使用GA和在热力学极限下,我们有
(3.5)
注释2
这种方法与信噪比技术[44]密切相关。特别是,基本存储设置中的局部稳定性对于所有来说都是正的要求精确地恢复了稳定性标准,其中是当系统在配置中准备时作用在第个神经元上的内部场。在信噪比方法中,前面不等式的左侧被分为信号和噪声贡献,它们分别倾向于稳定和扰动神经元配置,目标是找到前者占优势的条件。这个过程完全等同于比较局部稳定性的第一和第二矩。实际上,要求大于某个阈值,具体来说是,我们得到,这不过是要求,其中最后不等式中的分子和分母分别解释为信号和噪声。我们将在附录E中进一步探讨这一点。

在继续之前,我们展示了一些关于无监督方案中一步局部泛化的经验分布的数值结果,见图1。首先,我们注意到耦合矩阵中对角线的存在(黄色直方图)使局部泛化倾向于正值,从而增加了概率,进而增强了全局泛化。这些图表还突出了GA的有效范围(图中代表数据的高斯拟合的蓝色曲线):对于足够小的,近似效果很好。然而,在数据集的大值和高稀释度下,局部泛化偏离了高斯行为。这尤其通过观察经验分布的左侧尾部可以看出,反映出对负面发生频率的低估。结果,全局泛化倾向于被高估。尽管存在这种不匹配,GA仍然是一个有用的工具:正如我们将在下一节中讨论的,基于这种近似的理论预测仍然成功地捕捉到了数据集稀释的关键效应。

下载:下载高分辨率图像(518KB)
下载:下载全尺寸图像
图1. 无监督设置中局部泛化的经验分布。图表显示了无监督设置中一步局部泛化的经验分布,对于和(第一行)以及和(第二行),质量固定为。稀释的值分别为(第一列)、(第二列)和(第三列)。在所有情况下,网络大小固定为。主要图表报告了一步局部泛化的直方图,包括包含或不包含耦合矩阵中的对角线(分别是黄色和蓝色低透明度直方图)。曲线是高斯分布,其参数根据数据(实线蓝色曲线)或通过命题2给出的光谱理论(虚线红色曲线)进行拟合。插图报告了在(同样是经验的、拟合的和理论的)累积分布函数上进行的类似比较。在这种情况下,没有包含对角线的设置没有报告。
此外,回想一下我们在零温下操作,即使是一个低但非零的值也能实现重建,这些图表说明了稀释如何影响网络性能(也请参见附录E中的讨论)。实际上,当较小时,由于来自目标之外的存储模式的干扰,分布的宽度相对有限,因此保持正,并且确保了目标重建。在这种情况下,增加可能会产生不利影响:它会将分布的峰值线性地向左移动,而标准差仅与的平方根成比例缩放,可能导致重建失败。当较大时,情况变得更加复杂,和相互影响。具体来说,随着的增加,和的平均值和标准差都减小,但减少的速率不同,导致不同的情况。当较小时,增加会使峰值向左移动的速度快于扩散缩小的速度,从而阻碍了重建。相反,当较大时,增加会导致变异系数的减小,从而有助于检索。这些评论在下一节中进行了验证。

4. 耦合矩阵的谱和矩
在将全局稳定性和泛化表示为局部量的前两个矩的非线性函数之后(见方程(3.5)),我们现在将其与耦合矩阵的谱属性联系起来,这些矩阵由修改后的Marchenko-Pastur定律捕捉到。特别是,在基本存储和监督设置中,我们可以直接应用Marchenko-Pastur定理,因为耦合矩阵是Wishart类型的。而在无监督设置中,我们将依赖一些近似。具体来说,监督设置是对基本存储设置的相对简单的泛化,因为经验均值被提升为代表相关类别的。相反,在无监督设置中,由于核的存在,耦合矩阵不是Wishart类型的。这意味着因子显示的条目是同分布的但不独立的,因为与同一原型相关的样本是相关的。因此,在无监督设置中,我们引入了近似分解方法(AFM),以近似计算这种耦合矩阵的谱分布并捕获相关参数之间的关键缩放,我们定义如下:
定义2 近似分解方法
设是一类随机变量,其中每对和如果是独立的,则和,,和。在AFM下,我们假设存在一类独立同分布的随机变量,使得
(4.1)
显然,这种说法通常不成立,但在无监督设置中,我们关注的是大的(但有限的)行为,这可以是一个有意义的近似。在我们的上下文中,将AFM应用于Hebbian核意味着我们假设存在一系列独立同分布的随机变量(具有适当的第一和第二矩),使得对于所有,几乎肯定。关于这种近似的有效性和应用的更详细讨论在附录C中提供。根据这些成分,我们可以得出以下结论:命题1 设为耦合矩阵,为经验谱分布,即(4.2)设为带有相关概率测度的修改后的Marchenko-Pastur分布,其概率测度为和,则在热力学极限情况下:•在基本存储设置()中,收敛到一个修改后的Marchenko-Pastur分布,即和;•在监督设置()中,收敛到一个修改后的Marchenko-Pastur分布,即和(4.3)•在无监督设置()中,并且在AFM的有效范围内,收敛到一个修改后的Marchenko-Pastur分布,具有(4.4)注3 命题1为监督设置提供的结果与[43]相比有所改进,因为它考虑了示例的数量,而不假设。命题1的证明可以在附录B.1中找到,同时附有数值检验以验证这些结果在相对较小的网络和数据集大小下的有效性(即,,)。一旦Hebbian矩阵的谱被完全表征,最后一个理论点是将这些谱与1步稳定性和泛化的前两个矩联系起来,后者在GA下捕获了网络的(短期,即1步)响应,见(3.2),(3.3)。这是以下命题的内容。命题2 在热力学极限下,并且在GA下,与目标模式相关的局部泛化的第一和第二矩在监督和无监督情况下分别为(4.5)(4.6)其中是的第个矩,这些在附录B.2.8中有定义,以避免在命题陈述中的重复。最后,请注意不依赖于特定概念,因为由方程(2.2)引起的对称性。命题的证明在附录B.2中有详细说明,而在这里我们直接展示了如何通过将(4.5),(4.6)代入方程(3.5)来变化,并且我们将这些分析估计(受GA、大限制以及对于无监督设置,AFM的约束)与数值估计进行比较;我们将保留,即作为初始状态的验证示例显示了与训练示例相同的质量。再次,我们发现理论预测与数值数据在监督设置中有很好的一致性,稀释对模型的泛化能力有轻微(但负面的)影响,如图2的第一行所示。至于无监督设置(同一图的第二行),理论预测由于局部泛化的非高斯行为以及使用AFM来估计矩而与数据有所偏差。这意味着低估了稀释的影响。然而,我们可以用分析公式(4.6)来拟合数值数据,并找到最佳拟合值。值得注意的是,我们的发现表明,在高负载下稀释训练数据集可以产生积极的效果,如图2右下角插图中所强调的。下载:下载高分辨率图像(607KB)下载:下载全尺寸图像图2. 监督和无监督设置下的泛化。图表显示了在稀释水平为的1步Mattis磁化强度的数值估计(点)与理论表达式(实线曲线)在监督(第一行)和无监督(第二行)设置下的比较。对于后者,我们报告了训练点的稀释和通过将命题2中的预测与数值发现插值得到的最佳拟合值——将视为可调参数。为了便于阅读,在右下角的图表中,我们仅报告了稀释参数的最佳拟合值(从上到下始终指的是数值模拟中的)。数值结果是在固定不同实现的情况下平均得出的。我们比较了(左)和(右)的结果。插图提供了数据集质量高值的放大视图(,插图)。由于数值模拟的相对误差很小,因此没有报告误差条。这种效应在前一节检查局部泛化的分布时已经得到了强调,并且通过分析理论上的1步磁化强度(利用方程(3.5)和命题2)作为的函数的行为将在后面进一步强调,见图3的右上角图表。对于高质量的值,1步磁化强度被证明是一个非单调函数,在某个非零的稀释参数值(比如说)处达到最大值,而在更高的稀释参数值下,重建能力逐渐丧失。在图3的下方图表中,我们报告了平面上的颜色图,对于概率,在GA(定义1)和热力学极限下,正好是,也见附录E。同样,在低负载(,左下角图表)和足够高的情况下,轻微的稀释对模型的泛化能力没有影响,相反,高负载导致了概率的降低,从而导致了真实重建能力的破坏。至于高负载(,右下角图表),对于足够高的稀释是有益的,这也可以通过检查插图中的放大视图来看出。下载:下载高分辨率图像(470KB)下载:下载全尺寸图像图3. 泛化性能与稀释的关系是非单调的。在第一行中,我们根据不同的负载值(从右侧到左侧)绘制了理论预测的1步Mattis磁化强度作为稀释参数函数的行为,如图例所解释的,以及(左)和(右),根据方程(3.5)和命题2。右上角插图突出了的行为(即,对于给定的和,以及,1步磁化强度达到最大值的稀释值)作为数据集质量的函数。在第二行中,我们报告了局部泛化为正的概率的热图,也见附录E。在右下角的图表中,插图放大了参数平面的部分,以突出1步磁化强度作为函数的非单调行为。在所有图表中,每个类别的示例数量固定为。到目前为止,我们使用随机矩阵理论工具来概述稀释策略对训练数据集影响的定性图景,无论是在监督还是无监督设置中。我们强调,在为后者场景开发理论框架时,我们通过AFM(2)推导出了谱分布;从GA(1)下的1步动态和热力学极限分析了泛化能力。尽管我们的理论框架的定性有效性是显而易见的,但还需要基于长期蒙特卡洛模拟的更深入分析;这将在下一节中呈现。5. 无监督设置的数值模拟在本节中,我们通过进行广泛的数值模拟来进一步研究稀释在无监督设置中的作用,允许系统在神经动态(2.1)下趋于一个固定点。我们将关注稳定性和从未见数据中的泛化能力。在此过程中,稀释将仅插入到训练数据中(即,我们用来构建耦合矩阵的示例):如前所述,这样的程序可以解释为一种类似dropout的技术,它是通过使示例中的一部分比特“沉默”来实现的。这意味着,在分析模型的泛化能力时,验证数据不会被稀释。数值实验如下进行。根据所考虑的特征(稳定性或泛化),我们提取与某个模式相关的初始条件,并执行动态(2.1),直到所有的一个稳定性标准得到满足,其中是作用在第个神经元上的局部内部场。因此,相关配置是一个固定点,表示为。然后,我们计算Mattis磁化强度。关于初始条件,我们有:•稳定性分析:初始条件与模式完全对齐。对于训练集的某个实现,我们对每个真实值进行稳定性分析,并最终对训练集的50个不同实现进行平均。图4中报告的结果显示了磁化强度对的各种值的依赖性,以及和;下载:下载高分辨率图像(406KB)下载:下载全尺寸图像图4. 无监督设置中模式稳定性作为稀释的函数:数值结果。图表显示了神经动态(2.1)的最终磁化强度的行为,初始条件是真实值()。神经演化一直进行到动态达到一个固定点,见附录G中的方法部分。我们报告了对于不同的值(,左;,中心;,右),数据集质量(,第一行;,第二行;,第三行),以及每个类别的示例数量(,蓝色方块;,黄色三角形;,绿色圆圈)的稀释参数的依赖性。网络大小固定为。结果是在每个点的500个不同实现上平均得出的。•泛化分析:初始条件是一个验证示例,即具有的配置。每个模式的不同的验证示例数量为500个。然后我们对所有的真实值进行相同的分析,并进一步对这些真实值的不同的样本进行平均。图5中报告的结果显示了最终磁化强度作为不同值的函数。下载:下载高分辨率图像(404KB)下载:下载全尺寸图像图5. 无监督设置中的泛化:数值结果。图表显示了从验证示例(初始磁化强度为)开始,在神经动态(2.1)趋于固定点时的模式局部泛化的结果。神经演化一直进行到动态达到一个固定点,见附录G中的方法部分。我们报告了对于不同的值(,第一行;,第二行;,第三行),初始重叠的数量(,左;,中心;,右),以及每个类别的示例数量(,蓝色方块;,黄色三角形;,绿色圆圈)的依赖性。网络大小固定为。结果是在每个点的500个不同实现上平均得出的。让我们从稳定性分析开始,其结果组织在图4中:在低负载(,左列)和对于相对较小的数据集时,稀释是有害的,因为最终磁化强度随着的减少而减少,然而,在数据冗余(即,大)的情况下,模式稳定性不受影响。关于参数的情况在定性上是稳健的。增加负载(,中间列)时情况略有变化,特别是对于高质量和大尺寸的训练数据集,通过提供稀释示例来增强真实值的稳定性。这一点通过进一步增加负载(,右列)变得更加明显:处理高质量示例将需要大的和稀释来确保隐藏模式的稳定性。因此,这些发现证实了我们对高(和)下稀释的积极作用的预期。现在我们关注稀释对这些网络的泛化能力的影响,其结果报告在图5中。正如我们上面所说,起始配置是一个具有与训练数据集相同质量的示例,但没有稀释,因为稀释是手动在构建耦合矩阵时插入的。我们执行与之前类似的实验,但现在我们通过固定外部参数来考虑模型的检索图,即我们绘制了最终磁化强度作为与验证示例相关的相关性的函数。在低负载下,情况与之前的分析类似:对于示例数量较少的情况,未稀释的网络表现出更好的泛化性能,并且在大数据集情况下,两个模型的模式重建能力相当(特别是,对于和,泛化性能很高)。转向相对较大的负载情况,较大的负载和高稀释度导致两种模型(有稀释和无稀释)的曲线交叉。这表明存在一个稀释度值,使得稀释模型的泛化能力超过未稀释模型的泛化能力。在某些情况下,这一点表现得尤为明显:在质量参数的某个(相对)较宽的范围内,稀释模型的最终磁化强度接近1,这表明系统几乎正确地再现了与该数据点相关联的隐含原型。更多细节请参见附录F。

作为最后的分析,我们固定负载和每个类别的样本数量,遍历不同的稀疏度值,并检查在网络热化到神经动力学的固定点后,稀释对泛化能力的影响。为此,我们考虑了最终Mattis磁化强度在稀释条件下的“网络增益”,与未稀释情况下的增益进行比较。具体公式如下:(5.1)结果在图6中报告。与图5中的分析结果一致,我们发现,在低负载情况下,稀释对泛化能力的影响(在最佳情况下)可以忽略不计,因为热图中的大多数点在开启稀释后,最终磁化强度的增益为零。此外,在数据质量非常差的情况下,稀释会显著降低网络的重建能力,与非稀释情况相比,磁化强度的损失最多可达某个值。因此,如果数据集中的类别数量较少,那么在训练样本中引入空白条目会阻碍模式重建,即使增加每个类别的样本数量,这种现象仍然存在。相比之下,在高负载情况下,情况有所不同。在低质量数据集中,稀释仍然会对泛化能力产生不利影响;而对于(非常)高质量的数据集,训练样本中的空白条目会导致最终磁化强度的增加,并且随着每个类别样本数量的增加而得到改善。

下载:高分辨率图像(416KB)
下载:全尺寸图像
图6. 无监督场景下的泛化能力:数值结果。图表显示了从验证样本出发,通过神经动力学(2.1)的固定点松弛过程得到的模式局部泛化结果,即最终磁化强度。神经演化过程一直进行到系统达到固定点,具体细节见附录G中的方法部分。颜色图表示增益,如公式(5.1)所定义的,即由于数据集稀释导致的Mattis磁化强度的百分比增加。这些图是通过改变稀释参数和数据集质量来绘制的,分别对应于不同的稀释度(第一行)和数据集质量(第二行),以及不同的数据集质量组合(左列、中列和右列)。黑色实线代表热图中的水平曲线,相应的数值直接在图中标出。网络大小固定为0.5。

作为最后一个实验,我们考虑了一个结构化数据集的情况。鉴于在高负载下稀释训练样本的有益效果,我们应该考虑到一个类别数量较多,而模式数量相对较小的数据集。为了探索这种结构化数据集的情况,我们选择了一组混合的汉字和日文假名(来自平假名、片假名和汉字)作为真实值。在这个广泛的范围内,我们选择了250个字符,并为选定的假名生成了布尔表示的矩阵,这些矩阵将作为真实值。图7的第一行展示了一些这样的模式示例。

下载:高分辨率图像(652KB)
下载:全尺寸图像
图7. 结构化模式下的无监督设置下的数值结果总结。(第一行)该图显示了用于生成训练样本的隐藏模式子集(汉字和日文假名)。(第二行左图)这些图展示了系统向固定点的松弛过程,分别针对不同的数据集质量。在每个时间步骤,我们计算Mattis磁化强度的值。我们对50种不同的初始条件进行了相同的实验,报告了每次运行的磁化强度变化(灰色实线)以及相关的平均磁化强度(红色实线)。我们还在300次更新后收集了网络配置的快照(两个图中的插图)。参数设置为适当的值。

作为最后一个实验,我们考虑了一个结构化数据集的情况。鉴于在高负载下稀释训练样本的有益效果,我们应该考虑一个类别数量较多,而模式数量相对较小的数据集。为了探索这种情况,我们选择了一组混合的汉字和日文假名(来自平假名、片假名和汉字)作为真实值。在这个广泛的范围内,我们选择了250个字符,并为选定的假名生成了布尔表示的矩阵,这些矩阵将作为真实值。图7的第一行展示了一些这样的模式示例。

下载:高分辨率图像(652KB)
下载:全尺寸图像
图7. 结构化模式下无监督设置的数值结果总结。(第一行)该图显示了用于生成训练样本的隐藏模式子集(汉字和日文假名)。(第二行左图)这些图展示了系统向固定点的松弛过程,分别针对不同的数据集质量。在每个时间步骤,我们计算Mattis磁化强度的值。我们对50种不同的初始条件进行了相同的实验,报告了每次运行的磁化强度变化(灰色实线)以及相关的平均磁化强度(红色实线)。我们还在300次更新后收集了网络配置的快照(两个图中的插图)。参数设置为适当的值。

使用这些模式,我们通过用乘性伯努利噪声对其进行干扰来生成一个训练数据集,噪声的质量和稀释度分别为适当的值。我们首先观察了两个网络在每个类别有相同样本数量和质量的情况下的神经动态,比较了有无稀释的情况(见图7第二行的第一列)。具体来说,我们向网络提供了测试样本,并让系统通过动力学(2.1)达到固定点。用未稀释和稀释的训练样本构建的赫布网络在相同的初始条件下进行实验,计算每一步的磁化强度。在未稀释的情况下,网络配置与真实值的重叠随时间减小,从初始配置(平均值为某个值)开始,系统逐渐放松到一个与真实值相关性较低的最终状态(特别是,它形成了一个具有高吸引力的虚假模式组合)。通过观察网络配置的快照可以确认这一行为:系统失去了测试样本的结构,放松到了一个以大量活跃像素组成的最终配置。通过改变参数,我们确认了这是一种强烈的吸引行为。此外,通过在训练数据集中插入大量稀释,网络能够产生更真实的模式表示,与真实值的重叠和网络配置在神经动态过程中增加。如图所示,网络过滤掉了无信息像素(暗背景),同时保留了目标的结构,从而更好地重建了该模式。这个实验表明,强烈的稀释有助于减少更新规则(2.1)中的内在噪声,从而提高了训练数据集中真实值的重建性能。

在图7第二行的右列中,我们固定了每个类别的样本数量,并研究了当网络接收到测试样本时,最终磁化强度作为数据集质量函数的值。图表显示,只要稀释度低于某个阈值,神经动态倾向于将系统推向虚假的模式组合(这一点通过低于某个值的平台期得到证实,这与无稀释情况下动态实验中显示的虚假状态最终重叠相符)。当稀释度超过这个阈值时,模型的行为开始依赖于数据集的质量。对于低质量的数据集,最终重叠稳定在某个值,表明神经动态变得平凡化,任何配置都可能成为固定点。相反,对于高质量的数据集,存在一个中等范围的稀释度,在这个范围内,模型的重建能力得到增强:系统的鲁棒性更强,不容易放松到虚假的组合,最终磁化强度高于数据集的质量,表明恢复了非平凡的模式。然而,值得注意的是,随着稀释度的增加,这个有利区域会缩小。在这个范围内,我们通过数值计算了接近对角结构的程度以及非对角线和 对角线条目之间的比率(见附录F);对于所有稀释度值,我们发现即使是在训练数据集中的极端稀释情况下,耦合矩阵也远非平凡。最后,对于极端稀释值,无论其他参数如何,神经动态再次变得平凡化。

作为补充分析,我们固定了稀释度,并通过改变数据集质量来数值研究了检索图,见图7第三行。这些图表再次显示,在数据集质量(或等价地,在初始条件为测试样本的情况下)的某个范围内,稀释是有益的,可以一致地提高模式重建能力。只有对于极端稀释(即某个值),神经动态才会变得平凡化。

6. 讨论与展望
我们研究了基于噪声和稀疏数据集构建的赫布神经网络的泛化能力,涵盖了有监督和无监督的设置。利用随机矩阵理论工具,我们推导了基于合成数据构建的耦合矩阵的渐近谱分布,这使我们能够分析一步Mattis磁化强度与真实模式之间的关系。我们的发现表明,在有监督的设置中,数据稀释通常会损害泛化性能。相反,在无监督的设置中,数据中空白或缺失条目的存在在某些条件下可以提高性能;这种稀释的积极效果特别是在数据质量和负载都较高时尤为明显。这一结果可以通过直接观察稀疏化对一步Mattis磁化强度的影响以及稀疏化如何减轻神经元间噪音贡献的幅度来理解,同时不会使系统放松到固定点的过程变得平凡化。总体而言,我们的发现表明,训练数据中的稀释重塑了模型的能量景观,可能使固定点更接近真实值,从而提高了泛化能力。我们的理论结果得到了广泛的数值模拟的支持,这些模拟也证明了即使对于结构化数据集,这种现象也是稳健的。这些证据表明,选择性稀释策略可以在不牺牲太多信息的情况下增强泛化能力。此外,使用稀释数据集设计的赫布网络与基于梯度的联想记忆训练算法中的dropout过程之间的紧密联系强调了在更一般背景下稀释可用信息的相关性。

这里开发的框架可以扩展到处理影响样本的不同类型的噪声,可能包括长距离赫布相互作用(例如,通过将赫布矩阵与循环矩阵结合,参见[46])和广义赫布核(例如梦境或投影核,参见[43])。此外,通过与训练协议的其他稀疏训练策略(例如,在初始化时进行剪枝或彩票假设)的结合,可以进一步加强这种联系。

CRediT作者贡献声明:
Elena Agliari:撰写——审阅与编辑、撰写——原始草稿、方法论、研究、资金获取、形式分析、概念化。
Alberto Fachechi:撰写——原始草稿、研究、形式分析。
Domenico Luongo:方法论、研究。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号