在中间温度下采样权重是训练大型蛋白质语言模型的最优选择

《PRX IntelligenceNEW》：Sampling Weights at Intermediate Temperatures is Optimal for Training Large Language Protein Models

　　采用统计力学框架，我们研究了基于蛋白质序列数据训练的Transformer模型的参数空间。我们利用朗之万动力学在不同温度下对损失景观进行采样，以表征低流形结构并理解Transformer在蛋白质结构预测中表现卓越的机制。我们发现，与不基于注意力机制的网络不同，Transformer损失中缺乏类似一阶的转变，从而产生了一系列具有良好学习特性的中间温度；这一结论对于合成蛋白质序列和天然蛋白质序列均成立。我们还表明，若嵌入维度为最优值，则大多数层的参数在这些温度下高度保守，并提供了一种确定该最优维度的操作方法。此外，我们证明注意力矩阵在高于最优学习温度及高于最优嵌入维度时，对蛋白质接触图的预测能力更强。最后，我们展示了在中间温度下采样的模型能够比通过标准优化技术获得的模型更好地预测突变引起的自由能变化。

I. 引言

基于Transformer架构[1]的大型语言模型对广泛的机器学习任务产生了重大影响。特别是，它们影响了生物物理学领域，使计算机能够仅凭蛋白质序列信息预测蛋白质的天然构象[2,3]。尽管这些模型意义重大，但人们对其内在机制的理解仍远不如对其他类型前馈网络的理解。

对于简单的前馈网络，目前已有大量关于其工作原理、从训练数据中泛化的方式以及解空间形态的信息[4–11]。

除了与具有相同参数数量但不基于注意力机制的前馈网络相比，Transformer的训练更为复杂之外，人们对Transformer的学习机制了解甚少[12]。在单层系统中，梯度优化被证明分两个阶段进行：首先通过放大示例中具有区分性的词之间的注意力权重并抑制常见词之间的注意力权重来学习因果关系，然后以对数级缓慢的速度优化结果[13,14]。

值得注意的是，已有分析证明，单个Transformer学习Potts模型耦合的方式与从伪似然学习中获得的等价[15]。由于Potts模型能够很好地描述蛋白质中氨基酸的协同进化[16]，Transformer似乎是捕获蛋白质中邻近关系的理想机器学习工具。

与Potts模型所描述的协同进化一样，Transformer可以使用正则系综的形式来研究，从而在统计力学的背景下处理它们。这种方法已被证明在简单前馈网络的研究中是有效的。在这些网络中，低损失流形被发现是全连通的且呈尖刺状[11]。

在本工作中，我们展示了采样Transformer参数的结果，以更好地理解其工作原理以及为何能高效地提取氨基酸链上氨基酸之间的空间和化学关系。我们将这些结果与缺少注意力机制的池化前馈架构的结果进行了比较。我们以统计力学的角度来构建探索参数空间的问题，以利用该领域开发的计算算法，特别是与正则系综相关的算法。

我们使用一种基于朗之万方程数值解的算法来采样模型参数空间，其中梯度在训练序列的小批量上近似评估以提高计算效率[17]。该算法依赖于对近似引入噪声的控制，实时调整朗之万方程中的质量和摩擦系数，以在目标温度下采样正则系综。通过这种方式，我们结合了随机梯度下降（对于优化问题速度快但不采样特定概率分布）和朗之万方程（采样玻尔兹曼分布但需要冗长计算系统受力）的优点。

最初，我们给网络分配了一个简单的任务，即学习一组折叠成单一结构的合成序列。我们选择这个任务是因为它在计算上足够高效，能够收集统计数据并对系统得出稳健的结论。这使我们能够获得关于Transformer一般功能及其预测蛋白质结构能力的信息。随后，我们通过研究由不同蛋白质家族序列组成的数据集的同一问题来推广我们的结果。

在接下来的章节中，我们展示Transformer显示出具有最佳泛化特性的中间温度范围，而池化前馈网络从低温到高温的转变更陡峭，阻碍了这一状态（合成序列的情况见III.A节）。此外，我们证明在最佳温度下采样的模型中，大多数层的参数高度保守，前提是嵌入维度被适当设定，并且我们提出了一种找到该理想维度的操作方法（III.B节）。此外，我们表明注意力矩阵在温度和嵌入维度高于最优学习值时，对蛋白质接触图的预测能力更强（III.C节）。最后，我们对真实序列数据获得了相同的定性热力学结果，并证明平均而言，与标准优化技术相比，在中间温度下采样可以提高泛化性能和单点突变引起的自由能变化的预测能力（III.D节）。

II. 数据集、模型与算法

A. 合成数据集

我们处理的任务是一个掩码语言建模问题，针对一个合成数据集，该数据集由折叠成酰基辅酶A结合蛋白天然结构的氨基酸序列组成（图1，pdb代码：2abd）[18]。

图1. 酰基辅酶A结合蛋白的结构（pdb代码：2abd），氨基酸之间的接触用红色虚线表示。

数据集按照参考文献[19]中的相同策略生成：我们将序列的能量定义为 (1)，其中 是一个随机生成的氨基酸间对称相互作用矩阵，从均值为零、方差为1的高斯分布中提取，而 是一个二元对称接触矩阵，由酰基辅酶A结合蛋白的天然构象推导而来，使得如果对应氨基酸 和 有一对重原子距离小于3.5 ?（一个考虑原子相互作用的标准阈值），则 。在正则系综框架下，我们使用自适应模拟退火算法[20]生成了15 000个低温（ ，以能量单位表示；参见参考文献[19]）序列 ，长度为 。

对于每个生成的序列 ，我们选择约 的氨基酸并用掩码标记替换。被掩码位点的真实氨基酸被收集在向量 中，每个序列保持固定。然后，我们将整个数据集 分成三个子集：训练集、验证集和测试集，分别由1000、1000和13 000对组成。

B. Pfam数据集

我们使用属于十个不同蛋白质家族的序列（如Pfam数据库[21]所定义）解决了第II.A节中描述的相同掩码语言建模问题。每个家族与一个不同的数据集相关联，其中如前所述，我们掩蔽了每个序列约 的氨基酸并用掩码标记替换。每个数据集随后被分成三个子集：训练集、验证集和测试集，分别对应于总量的 、 和 。每个Pfam数据集的生成过程以及所选蛋白质家族列表可在附录A中找到。

C. 预测模型

我们选择了三种不同的架构来解决第II.A和II.B节中描述的掩码语言建模问题。其中两个是Transformer[1]，分别由一个（ ）或四个（ ）模块串联组成（图2上方面板），第三个是池化前馈网络（ ），其参数数量（ ）约等于四模块Transformer（ ），是单模块Transformer（ 个参数）的四倍。

图2. 本工作中使用的 -模块Transformer（上方面板）和池化前馈模型（下方面板）的示意图。

所有这些模型都遵循一个三阶段结构，包括输入构建阶段、编码器和最终输出投影层。输入和输出组件对于所研究的两个网络系列是相同的，但内部编码器在基于Transformer和池化前馈网络之间有所不同。

基于Transformer的模型的编码器使用注意力机制来有效捕获输入中的长程依赖关系，并为每个输入组件生成上下文感知表示。

在池化前馈编码器中，我们将架构建模为尽可能接近Transformer，仅将注意力矩阵替换为池化层。这使我们能够隔离注意力机制的效果。此外，每个架构都被设计为消除所有可能的置换对称性，而不损害模型的学习能力。每个神经网络的详细描述可在附录B中找到。

对于给定的掩码输入，每个模型产生一个矩阵。矩阵的每一行代表相应位点沿序列的词汇标记（在本例中为氨基酸类型）上的预测概率分布。该预测的质量已使用交叉熵损失函数和误差函数进行评估（数学细节见附录C）。

D. 采样算法

系统的参数空间根据玻尔兹曼概率进行采样，使用损失作为系统的能量，并在统计力学的正则系综中考虑。事实上，玻尔兹曼分布在固定平均损失下是最大熵分布；在不同温度 下采样参数空间使我们能够研究对应于不同损失值的流形，而不偏置探索。此外，我们可以利用统计力学领域开发的大量理论和计算工具。

在操作上，我们首先使用Adam优化器（参见附录D）最小化每个网络的损失，产生两种类型的训练权重向量，即早停（ES）和过训练（OT）。然后，我们使用最近为人工神经网络等高维参数空间开发的伪朗之万采样算法的范数约束版本（参见附录E）来采样定义网络的所有参数空间。该算法基本上通过求解朗之万方程来实现，使用在小批量上评估的近似力，并实时调整与参数相关联的虚拟质量，以确保动力学方程的噪声项在正确温度下热化。

在每个温度下，我们可以收集大量参数集，对应不同的预测模型。我们使用这些集来估计采样模型上的平均量（如平均验证误差）和概率分布（如模型参数之间的相似度分布）。假设系统是遍历的，平均值收敛到热力学平均值，概率分布收敛到玻尔兹曼分布。

III. 结果

我们研究了在不同温度下根据玻尔兹曼分布采样的模型在训练合成序列（第III.A、III.B和III.C节）或天然序列家族（第III.D节）时的特性。

A. 泛化误差在中间温度最小

我们比较了单块Transformer 、四块Transformer 和池化前馈网络FF在相同数据上执行相同任务时的参数空间采样结果（参见第II.C节）。比较还扩展到通过梯度下降技术对参数进行标准优化获得的结果，在当前背景下可视为零温计算。对于每种架构类型，系统处于过参数化状态，这从OT解和低温权重向量与等于或接近0的训练误差相关（附录中的图12(b)和表II）可以清楚地看出。

Transformer和池化前馈架构之间最明显的区别在于平均损失随温度变化的函数行为[图3(a)]。虽然池化前馈网络的损失呈现急剧跳跃[对应于比热容的尖峰，图3(b)]，类似于一级相变，但两个Transformer的损失曲线则更为平滑。为了便于比较，我们将温度按比热容最大值对应的温度（该温度依赖于网络架构）进行了归一化，从而使不同模型的温度尺度具有可比性。图3. 虚线右侧：势能平均值[图(a)]、比热容[图(b)]、验证误差[图(c)]和测试误差[图(d)]作为重标度温度的函数，分别对应模型(红色曲线)、(蓝色曲线)和(绿色曲线)。虚线左侧：同样适用于通过Adam得到的ES解和OT解。圆圈表示数值测量结果，实线表示样条插值。所有数据点均带有表示标准差误差的误差棒。

测试集上的预测精度量化了模型的泛化能力。所有模型的泛化精度均呈现非单调变化，在相变温度后不久达到最大值[图3(d)]。这种中间温度区域可以通过验证集上计算的误差函数即时识别[图3(c)]。在该温度范围内，四模块Transformer具有最强的泛化能力。无论如何，单模块Transformer的表现优于前馈架构，尽管两者在模型规模上存在差异（参见附录B中的表I）。表I. 模型配置和可训练参数数量。编码器类型 参数数量 Transformer 1 26 104 8 Transformer 1 64 256 44 Transformer 4 14 56 9 Transformer 4 64 256 169 Feedforward – 64 320 174

和 的OT权重在低温下显示出的损失、训练误差和泛化误差与平均值相似（图3），这与OT对应零温度的预期一致。相反，的OT权重具有低得多的泛化误差，而损失则与零温度下预期相符。ES权重显示的平均损失与在中间温度下采样得到的损失相似，并且始终表现出更高的泛化能力。然而，ES向量上的平均测试误差始终大于最佳温度下的平均值（在处大0.01，在处大0.02，在处大0.04）。此外，不同ES最小化实现之间的泛化误差变异性远大于在中间温度下采样所观察到的变异性[图3(d)中的误差棒]。

B. 不同层中参数守恒程度的变化

然后，我们考察了采样过程中网络不同层中参数的变异性。为此，我们计算了各层在采样过程中互相似度 (2)的分布，其中是在温度下模拟中时刻采样的层参数向量（见第III.A节）。由于网络的置换对称性在构造时已被打破（见附录B），我们可以逐元素地比较权重。

在单模块Transformer中，模型对之间互相似度的分布对于大多数层要么在零附近尖锐成峰，要么非常宽广，表明网络能够找到多组参数集以维持足够低的损失（附录F中的图14）。然而也存在例外。归一化层中加权行向量参数和的相似度分布强烈偏向1，表明这些值在采样过程中高度守恒（图4中下面板的红色曲线）。控制值层的参数和控制嵌入的参数也得到守恒，尽管其分布比归一化层更宽（图4中间板的红色曲线）。控制输出的参数和查询-键参数在中间值处成峰（图4上面板的红色曲线）。因此，的不同层在最优温度下以不同程度的守恒性被保持。

图4. 某些层的参数相似度的分布，通过比较各架构在温度下的平衡构型获得（不同颜色标识）。完整集合显示在附录F的图14中。标记为和的架构对应于降维后的Transformer（见正文）。

对于由四个Transformer模块组成的网络，每个块中参数的变异性与系统的变异性非常相似（第一层的分布显示为图4中的蓝色曲线）。一个例外是值参数集，在后三个块中在0附近成峰（图14），而仅在第一个Transformer块中像单模块架构一样在1附近成峰。

池化前馈网络各层中相似度的分布（图4，绿色曲线）总体上与Transformer中对应层相当相似，表明它们的守恒并非注意力机制的结果。

所有架构中权重和的强守恒性便于检查它们在采样过程中所取的值。对于模型，分布为双峰（图5中实线红色曲线），一个峰位于零附近（占元素约，占元素约），另一个峰位于正值附近。由于这些向量的大小等于嵌入维度，且它们加权注意力矩阵后的信息，我们假设值接近零的元素对网络任务基本无用。

图5. 从原始和降维Transformer在采样中获得的值的分布[图(a)和(b)，实线]。红色虚线表示从ES最小化得到的值的分布。四模块Transformer报告的值属于最后一个模块。

有趣的是，两组参数的分布在ES权重中均为单峰，且中心位于非零值。这与通过采样得到的较高峰类似（图5中红色虚线），表明我们的假设不适用于通过损失最小化得到的参数。

为验证该假设，我们训练了一个新网络（详见附录D），其中嵌入维度缩减为，这相当于去除了与接近零的值相关联的行。这个新架构将被称为（参见附录B中的表I）。我们在温度下对参数进行采样，得到平均泛化误差为，与原始较大模型相当。如预期的那样，新权重向量在采样过程中取的值现呈现为非零值处的单峰分布（图5中橙色曲线），并在采样过程中保持高度守恒（图4中下面板的橙色曲线）。

此外，紧凑架构的矩阵和的逐层相似度现在均向更高值成峰（图4中橙色曲线）。这表明，在较大系统中这些层的高变异性主要是由于它们的尺寸过大。总之，在嵌入维度经过精心调整的单块Transformer中，仅注意力层后的层和输出偏置可在采样过程中较为自由地变化，而其他层基本固定。

这一推理思路也可应用于架构。我们考察了最后一个Transformer块中向量取值的分布，观察到它们在性质上与单块模型中识别出的分布相同（图5中蓝色曲线）。同样，我们训练了一个嵌入维度缩减为的新网络（称为），对应最后一个块中非零值的数量。对该降维架构在温度下进行参数采样，得到的分布为单峰且中心位于非零值（图5中紫色曲线；完整的分布集合见附录F中的图15）。平均泛化误差为，与（即）相当。尽管两个模型在规模上存在巨大差异（参见附录B中的表I），泛化能力却相似。对于的不同层，采样参数的相似度总体小于单块架构，但总体而言仍大于0.5，例外是偏置，其在不同模型间可变化很大（图4中紫色曲线）。

C. 注意力矩阵在较高温度和较大嵌入维度下最优

当应用于蛋白质结构预测时，Transformer的一个关键特性是它们的注意力矩阵类似于输入序列的邻接矩阵[22]。

对于单模块Transformer，在中间温度（）下采样的模型的平均注意力矩阵（即对称化并在测试集序列上取平均的注意力矩阵）与实验接触图相似（见图6上面板和附录F中的图11）。然而，对于ES或OT向量关联的平均矩阵则并非如此[分别参见附录F中的图13(a)和13(b)]。平均注意力矩阵可被视为自平均量，因为在同一温度下采样的单个模型产生的平均矩阵彼此非常相似[例如附录F中的图13(d)、13(f)和13(g)]。

图6. 左列：模型（上排）和模型（下排）分别在温度和下采样得到的平均注意力矩阵，已对称化并在测试集序列上取平均。中列：使用从平均注意力矩阵得到的接触图；真阳性为蓝色，假阳性为粉色，假阴性为灰色。右列：使用从平均注意力矩阵得到的接触图。

模型其中一个块的平?均注意力矩阵与实验接触图的相似性优于（图6下面板）。在该例中，给出改进吻合度的图属于在温度下采样的模型的第三个注意力块。平均注意力矩阵能够捕获大多数α螺旋内的接触以及许多三级接触。大多数假阳性接触实际上是那些与形成真实接触的残基相邻的残基之间的接触。

属于其他块的平?均注意力矩阵与蛋白质接触图非常不相似[参见附录F中的图13(j)、13(k)和13(l)]。在我们进行的另一独立采样中，与实验接触图相似的平均矩阵范围从第三个到第四个。最佳匹配块的平均注意力矩阵在模型中也表现出自平均性[例如附录F中的图13(m)、13(n)和13(o)]。

与模型不同，在中，ES和OT给出的平均矩阵对接触图也具有合理的预测性，尽管性能不如通过采样得到的矩阵[参见附录F中的图13(g)、13(h)、13(m)、13(n)和13(o)]。

常用于评估模型预测蛋白质接触能力的指标是“L精度”（P@L）[23]，即从注意力矩阵的前个最大元素中预测正确的接触比例。在本例中，该指标在平均注意力矩阵上计算，其中（即蛋白质序列长度）。对于非常大的语言模型，正确预测接触的比例通常在0.4到0.6之间[24]。

我们通过在每个温度下对模型和最佳匹配块进行平均来计算P@L指标。我们对ES和OT解也进行了同样的计算[图7(a)]。然而，我们注意到该指标并未反映出比更具预测性的直觉，如图6所示。事实上，P@L在列表的前个最高分中优先考虑接近对角线的接触，并未提供一种能够量化平均注意力矩阵整体预测接触图能力的指标。

图7. 平均值和标准差分别对应[图(a)]和[图(b)]中ES和OT向量（线左侧）以及在不同重标定温度下采样所得模型的指标，按每种架构类型分别给出。为解决这一问题，我们引入一个新指标，该指标仅当满足特定条件时才考虑残基和之间的接触。此外，它将预测接触定义为正确的条件是：该预测接触位于真实接触的某个区间内（即满足特定条件）。根据新指标，在所有中间温度下，该指标比原指标更具预测能力[图7(b)]。新指标相对于原指标整体数值更低，是因为前者不关注α螺旋，而α螺旋本身很容易通过其他算法预测[25]。在新指标的定义中增大该参数的值不会定性改变结果，只会使曲线整体上移（参见附录F中的图16）。

对于两种架构，通过采样获得的平均注意力矩阵表现远优于通过训练获得的注意力矩阵[图7(b)中蓝点和红点]。对于嵌入维度降低的Transformer，这种改进较小（对于一种架构）或不存在（对于另一种架构）。

有趣的是，泛化误差与接触预测能力之间并不存在直接的关联[参见图3(d)和图7(b)]。一种模型的指标值在全部中间温度范围内保持较高，而另一种模型的指标值在某个温度之后不久才开始上升。对于另一种架构，最佳匹配的平均注意力矩阵出现在明显高于特定温度的温度下。我们由此得出结论：能提供具有预测能力的注意力矩阵的温度，与蛋白质序列预测达到最优时的温度并不一致。

嵌入维度降低的模型（即两种特定模型）表现出相似的行为。然而，它们的性能明显更差[图7(b)]。因此，虽然这些最小模型能够像嵌入维度更大的模型一样很好地再现蛋白质序列，但它们预测接触图的能力却差得多。这进一步表明，接触预测（网络并未针对该任务进行训练）与序列预测并不完全相关。因此，通过修改模型来改善训练和泛化误差，并不是提高注意力矩阵预测能力的良好策略。这一点也得到以下事实的进一步证实：对于几乎所有架构（尤其是两种特定架构），OT模型的表现均优于ES解[图7(b)]。

D. 应用于天然蛋白质

随后我们研究了十个天然蛋白质家族，以验证在合成序列上获得的结果（第三部分C节）在真实情况下的适用性——在真实情况中，进化受到比热力学稳定性更为复杂的约束驱动。对于每个蛋白质家族（参见第二部分B节），我们在不同温度下对四块Transformer的参数空间进行采样（图8中蓝点）。与合成场景类似，我们观察到一个中间温度范围，在该范围内测试误差达到最小值。此外，在大多数情况下，最优温度出现在比热峰值（特定温度）之后不久，与合成蛋白质的情况一致。也存在一些例外，即蛋白质家族PF00041、PF00096和PF00153，它们的最佳泛化性能出现在较低温度下。

图8. 每个面板中，灰色虚线右侧显示模型测试误差平均值随重标定温度的变化。虚线左侧显示使用Adam获得的ES解的相应结果。所有点均带有表示标准差的误差棒。

我们还将在特定温度下采样的平均值与通过梯度下降技术进行标准参数优化获得的结果进行了比较（图8中橙点），如第三部分A节中对合成序列所做的那样。总体而言，在特定温度下采样后，网络的泛化能力要么得到改善（如PF00018、PF00072和PF00096），要么保持不变（如PF00013、PF00014、PF00076、PF00887和PF13354）。唯一的例外是蛋白质家族PF00041和（尤其是）PF00153，对这些家族而言，采样使经过Adam训练和早停后得到的测试误差变差。

为了理解网络学到的主要特征是否仍然是热力学稳定性，我们研究了训练和采样模型预测单点突变在特定序列内引起的自由能变化的能力——对于某些蛋白质，这些自由能变化是蛋白质工程实验的结果。对于四种这样的蛋白质（分别属于家族PF00014 [26]、PF00018 [27]、PF00041 [28]和PF00887 [29]），我们根据对数输出分数的变化预测了自由能变化[式(C6)]。然后，我们计算了实验值与预测值之间的Spearman相关系数，其中预测值来自ES解或特定温度下采样的模型（图17）。在三种情况下（图9），从采样模型获得的相关系数大于0.5，表明模型考虑了蛋白质的能量特性。在第四种情况（PF00887）中，采样模型的结果差异很大，有些模型无法捕捉氨基酸之间的相互作用。

图9. 对于属于不同蛋白质家族的四个序列（从左到右依次为PF00014、PF00018、PF00041和PF00887），显示了在特定温度下采样的模型（蓝色曲线）和早停解（橙色曲线）的实验与预测值之间Spearman相关系数的分布。每个模型（无论是采样的还是训练的）的相关系数以点的形式显示在相应的分布中。

最后，在四种情况中的三种里，采样模型的相关系数分布峰值位于高于梯度最小化所得值的区域。唯一的例外是PF00041蛋白质家族的序列，该家族也是采样使模型测试误差略微变差的两个数据集之一（参见图8）。

IV. 讨论与结论

Transformer是一种广泛使用的工具，用于许多任务，尤其是在大语言模型和蛋白质结构预测中。它们极为强大，在许多领域已经超越了多层感知机和循环网络，但对其工作原理的深入理解仍然缺乏。在这方面，统计力学在阐明若干人工神经网络架构的工作机制方面发挥了重要作用[4-11]。

为了阐明Transformer在蛋白质结构预测中如何发挥作用，我们探索了经过训练以识别蛋白质序列的Transformer的参数空间。我们的目标是通过探索系统的低损失流形来理解Transformer为何如此高效。一种方法是在正则系综中于低温下对参数空间进行采样。这将该问题转化为统计力学领域，使我们能够使用该领域过去50年开发的计算算法。具体而言，我们采用了一种由近似Langevin方程驱动的参数空间分子动力学方法，该方法对人工神经网络的采样非常有效[17]。

我们研究了由一块或四块组成的小型Transformer，用于完成学习氨基酸序列统计性质这一简单任务。我们使用合成序列（通过在特定天然构象上进行能量最小化生成，其唯一性质是稳定折叠[19,30]）和真实序列（属于十个不同蛋白质家族）进行训练和测试。这使我们能够在不同条件下详细探索参数空间，而不会受到计算约束的强烈限制。当然，我们还无法确定我们的结果如何推广到更大的Transformer和更具挑战性的任务，例如学习所有已知蛋白质的结构。

我们的计算得出的一个有趣特征是存在一个宽广的中间温度范围，在此范围内Transformer的泛化能力特别高，表现为测试误差较低。基本上，对于合成蛋白质和真实蛋白质而言，泛化误差都是温度的非单调函数。在较低温度下，损失和训练误差较小，但泛化能力也较差。在这方面，Transformer的行为与具有相似参数数量和相似架构但不含注意力机制的池化前馈网络截然不同。池化前馈网络的平均损失（以及相应的训练误差）随温度发生尖锐转变：从低温状态下训练良好但泛化精度差（即网络插值数据），转变为高温状态下训练误差急剧增加。这种行为似乎影响池化前馈网络，而与其具体架构和任务无关[11]。相反，在Transformer中，这种转变是平滑的，并且似乎不会随着网络规模的增大而变尖锐，从而产生一个宽广的温度范围，在此范围内训练误差仍然足够小，泛化效率更高。

这种行为解释了为什么典型的大语言模型尽管训练严重不足，却仍然表现如此出色[31]。由于参数数量巨大，无论如何都不可能将其损失最小化到与我们系统中观察到的低温状态相对应的状态。相反，它们的优化趋近于与更好的泛化性质相关的宽广中间温度区域。

从中间温度的采样中我们还了解到，Transformer的大多数层可以在模型之间变化很大。同样，我们用作对照的池化前馈网络也表现出相似的模式；因此，这种行为并不依赖于注意力机制。一组特别保守的参数是与归一化层相关的参数，在中间温度范围的采样过程中，其值分布呈现双峰形状，其中一个峰以零为中心。由于这些向量的维度等于嵌入大小，以较高值为中心的峰标识了在掩码标记预测任务上获得良好性能所需的最小维度。

在通过减小嵌入大小获得的最小模型中，若干层的参数在采样过程中比更大模型中的参数更为保守。定义嵌入、查询/键、值、归一化和输出的矩阵在一块Transformer中几乎没有变化自由，而在多块架构中则有一定自由度。只有偏置真正可以自由变化。

注意力矩阵与蛋白质接触图相似，是使用氨基酸序列训练的Transformer的一个有用副产品[22]。中间温度下的采样产生的注意力矩阵比损失优化产生的注意力矩阵更接近实验接触图。这对我们研究的两种Transformer架构都成立，尽管在多块的情况下，需要先验确定哪个块具有最具信息量的注意力矩阵。有趣的是，在比训练和测试序列的最优温度更高的温度下采样的Transformer，会产生更接近实验接触图的注意力矩阵。过训练的解在预测天然接触方面似乎优于早停的解。嵌入维度的减小对Transformer学习蛋白质序列的能力影响不大，但会降低其预测接触图的能力。有利于序列学习的条件与有利于接触图预测的条件之间的错位并不出人意料。事实上，网络并未被训练来重现接触图。我们可以推测，在较高温度或较大嵌入的情况下，Transformer更难从噪声中预测蛋白质序列，这需要更选择性地表征氨基酸之间的关联；因此，注意力矩阵预计会更干净且更接近接触图。

使用真实蛋白质家族获得的结果通常与使用合成序列获得的结果一致。对于前者，我们还有机会将突变的能量效应与实验值进行比较，实验值是一些蛋白质家族可获得的独立数据集。我们获得的匹配结果表明，采样模型不仅在正确学习蛋白质的性质，而且它们受到热力学要求的支配。最后，我们建议本研究中使用的朗之万策略可以成为优化大型语言模型的有效工具，因为它为两个问题（即掩码标记预测和天然接触预测）提供了具有更好预测能力的配置。适当调节中等至高温范围内的温度，可能有助于找到具有更好泛化性能的模型。