NLP模型：每权重容量—每标签容量

《Physica A: Statistical Mechanics and its Applications》：NLP models: Capacity per weight—capacity per label

　　

前馈神经网络的最大容量每权重（CpW）是有限的，这表明其可作为由海量权重组成的深度架构实现自然语言处理（NLP）任务性能的定量度量。本文模拟表明，多层网络的CpW趋近于一步副本对称破缺（one-step replica symmetry-breaking）解，且与隐藏层数无关。然而，CpW随输出单元数呈幂律下降，使其对NLP任务的相关性受到质疑。使用深度架构直接模拟NLP预训练任务得到两点主要观察：第一，深度架构可被大幅剪枝而不影响每令牌准确率（APT）；第二，保持APT的最大剪枝水平与含相似令牌数的训练数据集大小无关，提示CpW并非NLP任务复杂度的恰当度量。微调分类任务得到类似观察。为克服此局限，研究人员提出替代度量“每标签容量”（CpL），并基于原型输入向量的玩具模型支持其相关性：每个原型生成的含噪模式被赋予唯一分类，模拟显示保持未稀释模型准确率的最大稀释度随输出单元数下降，而与训练集大小无关，且大体与隐藏层数无关。结果在Wikipedia小子集上预训练BERT架构及FewRel分类任务微调中得到验证。

研究背景与问题提出

前馈神经网络的容量每权重（CpW）是自感知机（Perceptron）时代起用于量化分类能力的经典指标，对随机二值模式分类其理论值约为2，加入二进制隐藏层后可渐近趋于log₂(K)。然而将CpW推广至现代深度NLP架构面临两个经验反例：其一，BERT-6在Wikipedia小语料上预训练后，最后五个Transformer块（不含QKV注意力层）权重剪枝95%仍保持每令牌准确率（APT）不变；其二，保持APT的最大剪枝率与训练集段落数（2万 vs 4万，令牌数相近）无关。这说明CpW作为“权重—任务复杂度”桥梁在NLP场景下失效，且当输出单元数（词表规模O(10⁴)）增大时CpW按幂律衰减至可忽略，无法解释实际模型用O(10¹³)权重以外的规模完成任务。论文发表于《Physica A: Statistical Mechanics and its Applications》，旨在用统计物理与神经网络容量理论重构NLP模型复杂度度量。

主要技术方法（≤250字）

研究人员采用三类实验：一、受限委员会机（CM）模拟，用tanh(β·h)平滑符号函数做反向传播（BP），估算K=3/5隐藏单元下CpW并比对一步副本对称破缺（RSB）解；二、多输出全连接前馈网，以随机二值输入输出对测有限训练误差下的准确率随输出数O的幂律衰减；三、原型（archetype）玩具模型，对每个N=105维二值原型加伯努利翻转噪声P_f生成含噪样本，分配给O个输出单元，扫描输入—隐藏层全连接权重稀释率，以测试准确率平台定义最大稀释；四、在Bar-Ilan物理系条件下，用20k/40k段Wikipedia预训练BERT-6、BERT-1在FewRel（64标签，每标签630训/70测）微调，做分层权重剪枝验证。

研究结果（保留小标题）

1. 2.
   CpW for restricted CMs
   对非重叠感受野CM（K=3,5）模拟得CpW≈2.96/3.33，接近一步RSB理论值（~3），说明高阶RSB修正可忽略；加第二隐藏层后CpW≈2.99，基本不变；重叠感受野FC架构在1/2/3隐藏层下CpW也几乎恒定。结论：CpW为O(1)且不随深度增加。
2. 3.
   CpW with a finite training error
   将CM扩展至O个输出单元、允许正损失，准确率在约3000轮饱和，但随O增大按指数~0.9幂律下降；O=10⁴时CpW趋近零。结论：多输出使各感知机共享输入层约束数激增，CpW不再适用NLP。
3. 4.
   Capacity per Label (CpL)
   原型玩具模型中，固定O与P_f时，测试准确率平台宽度与训练集大小无关（CpW>1区间）；最大保持准确率的稀释度随O增大而降，随P_f减小而延拓；1–3隐藏层间稀释曲线几乎重合。结论：CpL（每标签可承载样本数相关量）取代CpW，能解释“剪枝率独立于数据量”。
4. 5.
   CpL for fine-tuning classification
   BERT-1在FewRel微调：最大稀释随标签数64→10下降；每标签样本100/300/630变化时最大稀释不变。结论：预训练的两观察在微调高精度区同样成立，CpL框架可迁移。
5. 6.
   Discussion
   全文讨论指出CpW模拟因要求全模式完美嵌入而有收敛分布发散、无停止准则等缺陷；CpL以准确率饱和替代完美嵌入，单轮可估。BERT-6全块剪枝（含首块、QKV、分类头）复验：最大保APT稀释仍与数据量无关，但QKV与首块容忍度低。意义在于用“每标签容量”将NLP复杂度从权重数重定向到标签/原型数，并为脑学习（突触权重修改为主、拓扑恒定）提供类比。

研究结论部分翻译浓缩

前馈网CpW为O(1)，深度仅线性放大可嵌模式数，但RSB下深架构解析不可解；NLP预训练（APT）与微调（准确率）均显示深度架构可重度剪枝且最大剪枝率独立于同令牌数训练集规模，故CpW不适配NLP。CpL以原型—噪声样本框架重定义容量，其最大保性能稀释随输出单元数降、与数据量无关、弱依赖层数，在BERT-6预训练与BERT-1/FewRel微调中获证。该度量为统计物理介入大模型压缩与生物可塑性类比提供新基底。