训练基于能量的模型（使用非MCMC采样器）及高效温度估计

《PRX IntelligenceNEW》：Training Energy-Based Models with Non-MCMC Samplers and Efficient Temperature Estimation

　　从离散变量的玻尔兹曼分布中高效采样是广泛应用中的一项基本操作。尽管快速非马尔可夫链蒙特卡洛（MCMC）采样器近年来已成为传统MCMC方法的有前景的替代方案，但其在概率学习中的实际应用仍因难以估计生成样本的有效温度而受到阻碍。在本工作中，我们首先引入朗之万模拟分岔（LSB），这是一种玻尔兹曼采样器，能够实现快速并行采样，且精度可与顺序MCMC方法相媲美。为了解决未知有效温度的挑战，我们提出了条件期望匹配（CEM），这是一种适用于具有可利用条件独立结构的能量基模型（EBMs）的高效估计方法。基于这些组件，我们进一步开发了一个学习框架，称为采样器自适应学习（SAL），该框架自适应地调整模型温度，以匹配快速非MCMC采样所诱导的分布温度。我们在半受限玻尔兹曼机（SRBMs）上展示了LSB、CEM和SAL的有效性，这是一类使用传统方法难以训练的EBMs。LSB相比吉布斯采样实现了数个数量级的加速，同时保持相当或更高的精度；CEM能够以可忽略的计算开销准确估计所得分布的温度。因此，SAL能够高效训练SRBMs，并在合成自旋玻璃数据集上优于传统的玻尔兹曼机学习方法。此外，训练得到的模型在多个任务上均表现出强劲性能，包括图像生成、重建和分类。这些结果确立了LSB作为快速准确的玻尔兹曼采样器的地位，并为通过CEM高效温度估计实现快速非MCMC采样方法的实际应用提供了关键见解。I. 引言从离散变量的玻尔兹曼分布中采样是一个基本的计算原语，广泛出现在众多科学和工程学科中。一个特别突出的实例出现在机器学习领域，其中能量基模型（EBMs）依赖采样来估计梯度和生成数据[1,2]，玻尔兹曼机就是其中突出的例子[3–5]。在量子多体物理中，类似的采样任务也出现在神经量子态中，包括基于玻尔兹曼机的拟设，其中样本被用来评估可观测量和优化变分波函数[6]。更广泛地说，玻尔兹曼采样在统计物理、贝叶斯推断和随机优化等广泛问题中发挥着核心作用[7–9]，其硬件实现也作为解决现代人工智能系统日益增长的功耗问题的潜在途径而受到关注[10]。尽管具有广泛的适用性，但从离散玻尔兹曼分布中高效采样仍然是一个重大的计算挑战。传统的马尔可夫链蒙特卡洛（MCMC）方法[11]，如吉布斯采样[12]或Metropolis-Hastings算法[13,14]，本质上是顺序的，并且在实际大规模应用中往往表现出较差的可扩展性。此外，这些方法在高维和崎岖的能量景观中常常遭受缓慢混合的困扰，严重限制了它们的实际效率。因此，对于能够克服这些局限性的替代采样方法存在强烈需求。在本工作中，我们首先引入一种受量子启发的组合优化算法——模拟分岔[15–19]启发的玻尔兹曼采样器。我们将该算法称为朗之万模拟分岔（LSB）。LSB能够实现并行采样，同时保持与传统可靠方法（即顺序MCMC）相当的精度。然而，一个关键挑战仍然存在：输出分布的逆温度通常未知，且依赖于问题实例和采样器参数。重要的是，这一限制并非LSB独有，而是其他非MCMC采样器遇到的共同挑战，例如D-Wave的量子退火机[20–27]、相干伊辛机[28–30]及其模拟对应物[31,32]、量子分岔机[33]、注入噪声的光电伊辛机[34]、耦合光学参量振荡器网络[35]和自适应伊辛机[36]。除非能够准确估计或控制，否则采样不对应于目标分布，导致期望值和概率量的估计出现偏差，进而降低下游推理和学习任务的性能。然而，基于最小化Kullback-Leibler（KL）散度的标准估计方法在实际计算流程中计算代价过高，且对于大规模问题变得不可行[37]。尽管已有探索替代方法，但它们往往存在精度和稳定性问题[32,37,38]。对于最简单的EBM类别，即全可见玻尔兹曼机（FBMs）[见图1(a)]，已经提出了避免显式估计的学习方法[39]。由于这些模型缺乏隐藏变量，其表达能力有限。因此，使用快速非MCMC采样器（包括LSB）需要一种可扩展且准确的估计方法。在这里，我们引入一种高效估计方法，称为条件期望匹配（CEM）。所提出的方法适用于可以利用条件独立结构的EBMs。特别地，它不仅限于受限玻尔兹曼机（RBMs）[见图1(b)]，后者可以使用传统方法高效训练[4,5]，而且还扩展到更具表达能力的模型，如半受限玻尔兹曼机（SRBMs）[40–42]及其具有高阶相互作用的进一步扩展[见图1(c)和1(d)]。CEM能够与非MCMC采样器的采样过程天然并行化，并提供准确的估计。此外，我们提出了一个学习框架，称为采样器自适应学习（SAL）[见图1(e)]，该框架将快速非MCMC采样与CEM相结合，并基于采样器诱导的分布自适应调整模型温度。这种整合使得具有条件独立结构的EBMs能够可扩展且高效地训练。图1. 模型结构和所提出方法的概述：(a)–(d) 能量基模型结构：所有模型由可见节点（蓝色圆圈，排列在下排）和（如果存在）隐藏节点（橙色圆圈，排列在上排）组成。(a) FBM：仅存在可见节点，且所有可见节点相互连接。(b) RBM：每个可见节点连接到每个隐藏节点，但可见节点之间或隐藏节点之间没有连接。(c) SRBM：通过向RBM添加可见节点之间的成对连接而获得。(d) 具有高阶相互作用的EBM：通过将SRBM扩展为具有可见单元之间的高阶相互作用而获得。(e) SAL框架示意图，该框架将非MCMC采样器与条件期望匹配（CEM，红色箭头）相结合，以高效估计有效逆温度。在本工作中，我们使用LSB（黄色箭头）作为采样器并训练SRBMs。(f) 训练得到的SRBMs的应用示例：图像生成、分类和重建。作为代表性测试平台，我们将LSB、CEM和SAL应用于SRBMs[见图1(c)]。SRBMs通过引入可见单元之间的相互作用扩展了RBMs，从而增强了模型的表达能力[40–42]。然而，使用传统方法高效训练此类模型具有挑战性，因为这些额外相互作用的引入破坏了块吉布斯采样和对比散度所利用的可见单元的条件独立结构[5]。我们首先证明LSB能够从SRBMs的玻尔兹曼分布中实现快速准确的采样，达到与吉布斯采样相当或更好的精度，同时提供数个数量级的加速。我们进一步表明，可以使用CEM高效准确地估计所得分布的逆温度。这些能力转化为改进的学习性能，我们证明SAL训练的SRBMs在合成自旋玻璃数据集[43,44]上最小化训练代价函数方面优于传统学习方法。此外，我们在多个任务上取得了良好性能，包括在条带（BAS）数据集[45,46]上的高保真图像生成和重建、无条件及条件图像生成，以及在OptDigits[47]上的高分类准确率[见图1(f)]。当前结果为非MCMC采样与通过CEM精确温度估计相结合的有效性提供了原理验证，而非确立与最先进生成式AI的即时竞争力。这些思想有望弥合快速非MCMC采样方法与其在广泛领域的实际应用之间的差距，包括神经量子态、更具表达能力的EBMs以及基于采样的学习的节能硬件实现。II. 能量基模型与玻尔兹曼分布EBMs是表达力强的概率模型，能够捕获复杂的依赖关系和潜在结构[1,2]。我们考虑定义在可见单元上的EBMs，表示观测数据，以及隐藏单元，增强模型的表达能力，构成一个无向模型。和分别为维度和的二元向量，取值于，类似于伊辛自旋。模型的完整状态由一个维伊辛向量表示，其中。在生成建模中，EBM通常使用边缘玻尔兹曼分布来建模目标分布，(1)其中(2)是具有逆温度的玻尔兹曼分布，是配分函数，是全局能量函数，表示模型参数。在本文中，对于伊辛向量，记号表示对所有构型求和。学习旨在最小化KL散度(3)对于，通常通过基于梯度的方法进行。由于梯度的精确计算随系统尺寸呈指数增长，通常使用玻尔兹曼采样来近似梯度，最常用的是MCMC技术，如吉布斯采样[12]或Metropolis-Hastings算法[13,14]。然而，这些MCMC方法由于固有的顺序性和缓慢混合性质，通常在计算上效率低下，这促使需要快速且准确的替代采样方法。在上述EBMs中，能量函数取二次形式(4)的那些模型特别被称为玻尔兹曼机。这里，是一个满足和的权重矩阵，是一个维偏置向量，满足。模型参数集表示为。对于特定架构，玻尔兹曼机的参数集可以根据其结构表示。特别地，对于全可见、受限和半受限玻尔兹曼机（FBMs、RBMs、SRBMs），参数可以分别表示为、和，其中和分别表示可见-可见和可见-隐藏单元之间的权重矩阵，和分别是可见和隐藏单元的偏置向量。在下一节中，我们专注于SRBMs[40–42]，作为我们方法（LSB、CEM和SAL）的代表性测试平台，其能量函数为(5)由于可见单元之间的额外相互作用，SRBMs比著名的RBMs[4,5]更具表达能力，但由于缺乏可用的并行采样，使用传统方法高效训练它们仍然具有挑战性。如将在第三节中所示，提出的LSB通过实现并行采样同时保持高精度克服了这一限制。此外，提出的CEM允许准确估计与采样器诱导分布相关的有效逆温度，如将在第四节中展示。通过结合这些组件，SAL框架能够有效训练SRBMs，实现超越传统玻尔兹曼机学习方法的性能（见第五节）。虽然SRBMs在本研究中作为方便的测试平台，但我们注意到所提出的框架可以应用于具有可利用条件独立结构的EBMs。III. 朗之万模拟分岔多种优化机器和算法，如D-Wave的量子退火机、相干伊辛机及其模拟对应物、量子分岔机、注入噪声的光电伊辛机、耦合光学参量振荡器网络和自适应伊辛机，已被证明可以有效地作为玻尔兹曼采样器运行[20–36]。受这些发现的启发，我们研究了另一类优化算法——模拟分岔算法[15–19]的输出分布。我们的结果表明，传统模拟分岔算法的特例在非平凡程度上近似玻尔兹曼分布，但其采样精度显著低于MCMC方法所达到的精度（见附录A）。在本节中，我们提出一种改进的采样算法，其采样精度可与MCMC相媲美。我们将该算法称为LSB，因为其连续极限类似于著名的连续变量采样器——朗之万蒙特卡洛，其平稳分布保证为玻尔兹曼分布[48,49]。类似于离散模拟分岔（dSB）[16]，LSB基于以下关于位置和动量的运动方程，对应于一般全局能量函数中的：(6)(7)其中，点表示时间导数。方程(6)和(7)使用辛欧拉方法[50]求解：(8)(9)其中是时间步长，表示迭代次数。为了提高采样精度，在每次迭代结束时，LSB分别对和进行离散化和随机初始化：(10)(11)其中是从高斯分布中抽取的随机变量，均值为，标准差为，记号表示左边的变量遵循右边的分布。这里，和是LSB仅有的超参数。注意更新规则继承了传统模拟分岔算法的性质，并且可以对每个分量并行实现。在本工作中，和分别通过从和均匀采样来初始化，使用与更新规则中相同的，尽管通常其他选择也是可能的。经过上述更新的次迭代，得到的结果提供了一个的样本；执行该过程次，我们得到一个采样的伊辛向量集。为了评估LSB的采样性能，我们在随机SRBM上（参数为和）将其与常规Gibbs采样（MCMC）在处进行了精度比较，其中LSB使用次迭代，Gibbs采样使用相同的Monte Carlo步数。边权和分别从（其中）中采样，偏置和设为零。采样精度定义为KL散度，其中表示采样得到的伊辛向量的经验分布，并且如果，否则为0。有效逆温度通过最小化KL散度自洽确定[37]：。我们将初始化为1，并使用scipy.optimize.minimize中实现的L-BFGS-B方法对进行最小化[51]。

图2显示了十个随机实例的采样精度和相应的值。我们将固定为1，并从候选集中优化以最大化每个实例的LSB采样精度。基于采样精度度量，LSB在十个实例中有六个优于Gibbs采样。在所有十个实例中，均值（±标准误差）对于Gibbs为，对于LSB为。考虑到误差，LSB表现出与Gibbs采样相当甚至更好的性能。我们在第V节中使用LSB进行SAL。

图2. LSB和Gibbs采样的采样精度和有效逆温度：(a) 具有参数和的SRBM的十个随机实例上LSB和Gibbs采样的采样精度。对于每个实例，固定为1，并从候选集中优化以最大化LSB采样精度。水平线和阴影区域表示KL散度的均值及其标准误差：Gibbs为，LSB为。(b) 每个采样器产生的输出分布的有效逆温度。对于Gibbs采样，通过最小化KL散度估计。对于LSB，通过最小化KL散度和CEM两者估计。

我们还确认了相同的定性趋势在更复杂的玻尔兹曼机（如Sherrington-Kirkpatrick模型）中持续存在（见附录A），以及在比原始设置大20%的系统尺寸中（见附录B）。此外，如附录B所讨论，在相同计算资源下的CPU耗时测量表明，LSB在实现这些改进的同时，相比于Gibbs采样提供了数量级的加速，内存使用量在同一数量级。这种速度优势反映了Gibbs更新本质上的顺序性，而LSB所基于的矩阵-向量运算则天然适合并行执行，因此有望从诸如现场可编程门阵列（FPGA）实现等硬件加速中进一步受益。

此外，为了评估LSB中引入的离散化和随机初始化步骤的实际作用，我们与密切相关的变体进行了额外比较，详见附录A。尽管对所观察行为的完整理论解释仍然开放，但这些比较提供了清晰的实证证据，表明离散化和随机初始化对于在LSB中实现改进的采样精度都很重要。

如前所述，LSB在连续时间极限下类似于Langevin Monte Carlo，其平稳分布已知服从玻尔兹曼分布[48,49]。因此，LSB也被期望生成近似服从玻尔兹曼分布的样本。然而，对于LSB，目前没有理论保证生成的分布能精确由玻尔兹曼分布描述。此外，即使输出分布近似为玻尔兹曼分布，其有效逆温度通常也因离散化效应而依赖于问题实例和采样器参数。因此，有效逆温度无法预先确定。所以，估计有效温度对于LSB的实际应用至关重要。在下一节中，我们介绍一种估计这种有效温度的高效方法。

IV. 条件期望匹配

图2(b)表明，通过最小化KL散度估计的有效逆温度在LSB采样的各个实例之间变化（橙色），而Gibbs采样始终产生（蓝色）。估计未知的对于成功的概率学习至关重要。然而，基于最小化KL散度的常规方法[37]随系统大小呈指数级增长，使其对实际问题难以处理。因此，LSB输出分布中依赖于实例的变化性对使用LSB的玻尔兹曼机学习构成了重大挑战。为了克服这一点，我们提出了一种高效的估计方法：CEM，如下所述。

在SRBM的玻尔兹曼分布中，当可见变量固定为条件向量时，隐藏变量是条件独立的。这一性质允许其条件期望的解析表达式[5]： (12)其中 (13)是一个条件玻尔兹曼分布。另一方面，也可以通过条件LSB采样直接获得（见附录C）。此后，这种基于采样的估计记为。我们通过最小化与式(12)右端在所有隐藏单元上的平方差来估计： (14) (15)最小化过程与上述KL散度最小化类似。这个过程称为CEM，利用了条件采样期望与分析条件期望（作为的函数，即式(12)右端）之间的一致性。CEM可以与全系统采样并行执行以近似，这与常规估计器[30,32,37,38]形成鲜明对比。此外，计算所需的条件采样成本低于全系统采样。因此，CEM在学习过程中不会成为瓶颈（另见附录B）。条件向量可以在学习过程中随机生成或从数据集中选择，但不限于这些选择。

在图2(b)中，我们将CEM估计的（绿色）与通过最小化KL散度得到的（橙色）进行比较，针对LSB输出分布。对于CEM，条件向量的每个分量从均匀采样。两者在十个实例上的平均有符号相对误差约为3.6%。与其他逆温度估计方法的比较，包括CEM的修改版本（CEM-），在补充材料[52]中提供。

因此，CEM能够实现准确的逆温度估计。此外，由于它可与LSB采样并行，因此在训练中不会成为瓶颈，这与基于最小化KL散度的估计[37]不同。通过在学习中利用CEM进行逆温度估计，我们克服了正相的计算困难（见附录D和参考文献[39]）。

虽然本演示使用LSB作为采样器，但CEM并不限于这种特定选择。原则上，使用其他非MCMC采样器也有望获得类似性能。此外，由于CEM仅依赖于隐藏变量的条件独立性，它并不限于这里研究的SRBM设置。只要满足这一结构性质[式(12)]，CEM预计可应用于SRBM之外的能量基模型（EBM）。例如，可以考虑扩展到可见层具有高阶相互作用的模型[见图1(d)]，超越玻尔兹曼机中标准的成对耦合。

V. 采样器自适应学习

在传统的基于能量的生成学习中（见第II节），模型分布的逆温度固定，通常为1。相比之下，我们引入了一种称为SAL的学习框架，其中设置为，即采样器产生的输出分布的逆温度，它可以依赖于模型参数和采样设置（见第IV节）。随着在学习过程中更新，也会改变。因此，SAL不仅涉及更新学习参数，还涉及使模型函数适应逆温度。这与传统学习过程形成鲜明对比，传统过程仅更新，而保持（从而模型函数）固定。学习通过对进行梯度下降来执行。梯度分解为负相（定义为在玻尔兹曼分布下的期望）和正相（使用数据分布和定义，详见附录D）。在本工作中，我们采用LSB作为采样器，CEM作为高效的估计器。

在本节的剩余部分，我们将SAL应用于三个不同数据集上的SRBM训练，以展示其可扩展性和有效性。目标分布被设置为每个数据集的经验分布，其中每个数据点是一个维伊辛向量：。每个数据集的详细信息和训练设置见补充材料[52]。

A. 三自旋模型上的学习性能

我们首先使用从三自旋模型[43,44]的精确玻尔兹曼分布采样的数据集。三自旋模型是一个具有随机三体相互作用的伊辛系统，具有高度崎岖的能量景观。因此，从其玻尔兹曼分布抽取的训练数据表现出表征自旋玻璃系统的非平凡重叠分布（见补充材料[52]）。为了允许代价函数的精确计算并与传统方法进行定量比较，我们将限制为10。我们准备了十个独立实例以确保统计可靠的性能评估。

图3比较了四种方法的学习性能：使用SAL训练的FBM、RBM和SRBM（见附录D），以及通过对比散度-100（CD-100）训练的具有的RBM[5]。这里，CD-100意味着初始状态设置为其中一个数据向量，并执行100次块Gibbs采样（MCMC）的Monte Carlo步。选择100是为了匹配LSB采样步数（参数设置的详细信息见补充材料[52]）。FBM是无隐藏变量的全连接玻尔兹曼机（）[见图1(a)]。RBM和SRBM[见图1(b)和1(c)]的隐藏变量数都设置为5。所有四种方法都允许并行采样。

图3. 三自旋模型上的学习性能：纵轴显示代价函数，横轴表示训练轮数。比较了四种模型：使用SAL训练的FBM、RBM和SRBM；使用CD-100训练的具有的RBM。RBM和SRBM的隐藏变量数都设置为5。每个点代表十个独立实例的均值，误差线表示标准误差。较低的值表示与之间的更接近。

在四种模型中，FBM表现出最差的性能[最高]。这是自然的，因为三自旋模型包含非成对（三体）相互作用，而FBM仅依赖成对耦合，无法捕捉这些相互作用。引入隐藏变量后，RBM能够表示高阶关联，从而比FBM具有更优性能。观察到使用SAL训练的RBM在标准误差内与使用CD-100训练的RBM性能相当甚至超越，表明SAL构成了一种有效的学习策略。此外，SRBM在各个轮数上都持续获得比RBM更低的代价函数值。即使考虑标准误差，SRBM与RBM之间的差异仍具有统计学显著性，证实了SRBM相对于RBM优势的稳健性。我们还确认，将SAL中的CEM替换为其他计算量轻但不准确的逆温度估计方法（最大对数伪似然估计[37,38]）或使用带阻尼平均场迭代的对比散度[40]训练的SRBM，其性能显著低于使用SAL训练的SRBM（见补充材料[52]）。这表明，由SAL实现的SRBM学习提供了独特的优势，特别是在建模如自旋玻璃系统所例示的高度崎岖能量景观方面。

B. BAS数据集上的生成和重建性能

接下来我们考虑合成的BAS数据集，由具有水平和垂直条纹图案的二进制图像组成（见参考文献[45,46]）。我们构建了一个包含192种不同图案（所有可能图案）的BAS数据集，分为训练和测试样本[52]。虽然对于的三自旋模型可以进行精确计算，但对于的BAS数据集（），由于状态空间的指数增长，这变得具有挑战性。因此，这里我们专注于展示在BAS数据集上使用SAL训练的SRBM（）的生成和重建能力，而不计算。训练设置详见补充材料[52]。

生成能力如图4所示。SRBM通过SAL在个BAS图案上训练[面板(a)显示随机选择的36个]，并在各个训练轮数，由LSB从训练后的SRBM生成36个样本[面板(b)–(f)]。随着训练的进行，SRBM迅速捕捉到水平和垂直条纹的基本特征，并在6000轮数时[面板(f)]只生成有效的BAS图案，没有错误生成。

图4.在BAS数据集上的生成性能：(a) 36个随机选择的训练样本。(b)–(g) 分别是在1、10、500、1000、3000和6000个训练轮次后，由训练好的SRBM与LSB生成的36个样本。图5所示的重建实验结果进一步证明了SAL的鲁棒性。在此，我们对每张测试图像的中央块进行了掩码处理[图5(a)]，从而得到一张47.6%像素缺失的塌缩图像(以橙色显示)[图5(b)]。通过将SRBM中对应于图(b)中完整像素的可见变量固定为其观测值，我们借助条件采样推断出了被掩码的像素值[见图1(f)和附录C]。经过1000轮学习，几乎所有的模式都通过利用学到的分布被成功重建[图5(e)]。图5(f)显示了每次重建的错误像素比例，该指标在所有测试样本上进行了评估。这一比例从1轮时的50.0%(对应随机恢复)迅速下降到1000–3000轮时的0.5%，表明所有测试样本均实现了近乎完美的重建。随着训练超过3000轮，该比例逐渐上升至约2%，提示过度训练可能导致过拟合。重要的是，这些结果表明，使用SAL训练的SRBM学习的是潜在分布，而非记住单个样本，从而在大量像素缺失的情况下也能实现鲁棒且可泛化的重建。图5. BAS数据集上的重建性能：(a) 36个随机选择的测试样本。(b) 同一批样本，中央块被掩码(47.6%像素缺失，以橙色显示)。(c)–(e) 分别是在1、500和1000轮时，利用训练好的SRBM对图(b)进行的重建，采用条件LSB采样获得。(f) 重建错误像素比例随训练轮次的变化。每个数据点代表10次独立运行的平均值，每次运行使用不同的随机初始化；误差线表示标准差。C. OptDigits数据集上的生成和分类性能。OptDigits数据集由手写数字图像及其类别标签组成[47]。我们将图像展平并二值化，并使用独热编码表示数据类别，得到训练样本和测试样本，具有个可见变量[52]。与三自旋模型和BAS数据集相比，OptDigits分别大约有7.4倍和1.8倍更大的，从而提供了一个更具挑战性的基准。在下文中，我们展示了使用SAL在OptDigits上训练的SRBM能够捕捉用于生成建模的数据分布，并利用学到的表示实现准确的图像分类。训练设置详见补充材料[52]。生成性能如图6所示。SRBM通过SAL在数字图像上进行训练[图(a)显示了64个随机选择的样本]，在不同的训练轮次，从训练好的SRBM通过LSB采样生成64个样本[图(b)–(e)]。尽管在1轮时的样本[图(b)]几乎不显示可识别的结构，但随后的轮次揭示了与训练数据一致的、逐步显现的数字特定模式[图(c)–(e)]。到10轮时[图(c)]，生成的图像开始类似于目标数字，而到500和3000轮时[图(d)和(e)]，大多数样本捕捉到了手写数字的基本特征，并且在视觉上可识别。图6. OptDigits数据集上的生成性能：(a) 64个随机选择的训练样本。(b)–(e) 分别是在1、10、500和3000个训练轮次后，由训练好的SRBM与LSB生成的64个样本。我们进一步评估了条件生成的能力，通过将类别标签固定为目标值，并使用LSB采样图像变量[见图1(f)、附录C和补充材料[52]]。图7展示了结果。对于每个，面板(a-)显示了数字的16个随机选择的测试图像，面板(b-)显示了在3000个训练轮次后，以数字类别为条件，通过条件LSB采样从SRBM生成的16个样本。大多数生成的图像表现出与指定条件一致清晰数字结构，证明SRBM成功再现了整体数据分布，并实现了类别条件样本生成。图7. OptDigits数据集上的类别指定生成：(a-) 数字的16个随机选择的测试样本。(b-) 在3000轮时，以类别标签为条件，通过条件LSB采样从训练好的SRBM生成的16个样本。最后，我们评估了学习后的SRBM进行图像分类的能力。对于每个测试样本，对应于图像的可见变量被固定为其观测值，并执行的条件LSB采样以推断类别标签(见附录C和补充材料[52])。通过将分量置为最高值，其余分量置为，将每个图像的条件采样标签计算出的平均标签向量转换为独热表示。当该独热表示与真实类别标签匹配时，分类被视为正确。图8显示，分类准确率随训练显著提高，从训练前的近10%(对应于十类问题中的随机猜测)迅速提升至500轮时的接近，突显了所提出的学习方法的有效性。图8. OptDigits数据集上的分类准确率：纵轴表示分类准确率(%)，横轴表示训练轮次。每个数据点代表10次独立运行的平均值，每次运行使用不同的随机初始化；误差线表示标准差。阴影区域标示准确率高于90%，水平虚线表示10%基线(随机猜测)和90%参考线。VI. 总结与展望。总之，我们提出了一种快速、准确的非MCMC玻尔兹曼采样器LSB，其动力学具有高度可并行化特性。我们还提出了CEM，这是一种解决快速非MCMC采样器(不仅限于LSB)在底层EBM表现出合适的条件独立结构时所固有的逆温度估计问题的方法。通过结合这些组件，我们还开发了SAL，这是一个通过自适应匹配模型温度与采样器输出分布温度，实现使用非MCMC采样器进行生成学习的框架。我们在SRBMs上证明了所提出方法(LSB、CEM和SAL)的有效性，SRBMs是一类更具表达力的模型，由于采样和学习两方面的挑战，传统方法难以训练。尽管SRBMs作为代表性测试平台，但所提出的方法并不限于这一特定模型。我们在附录A中表明，LSB在Sherrington-Kirkpatrick模型上也表现出良好的采样性能，表明对更复杂的EBMs也能实现高效采样。此外，CEM和SAL仅依赖于条件独立性等结构特性，因此适用于具有可利用条件独立结构的EBMs。探索这些应用并展示实际实现是未来工作的重要方向。将非MCMC采样与CEM结合应用于神经量子态[6]也值得研究，其中EBMs在表示复杂量子多体系统方面起着核心作用。最后，我们讨论关于LSB的若干重要评论和开放问题。如前所述，LSB的连续极限类似于朗之万蒙特卡洛[48,49]，其输出分布保证为玻尔兹曼分布。然而，LSB能良好逼近离散玻尔兹曼分布的理论基础仍不清楚，是未来研究的重要途径。此外，为LSB开发系统性或自动化的超参数选择策略也值得进一步研究。虽然本工作主要解决了采样器的可并行性，但阐明其弛豫特性也是未来研究的重要课题。致谢。K.K.构思并开发了LSB、CEM和SAL；设计并执行了所有数值实验；分析了数据；并撰写了手稿。H.G.建议探索基于SB的采样；与K.K.讨论了结果；改进了手稿；并监督了该项目。K.K.和H.G.是与本工作相关的日本专利申请的发明人，该申请由东芝公司于2025年10月2日提交，申请号为P2025-166272和P2025-166278。作者声明没有其他竞争利益。