认知负荷启发的注意力预算在自注意力与词元–上下文注意力间的跨架构迁移：RMS分支归一化与验证校准固定门控的受控评估

《Mathematics》：Cognitive Load-Informed Attention Budgets Across Self-Attention and Token–Context Attention

　　

研究人员研究了一种理论驱动的注意力框架，将认知负荷理论（Cognitive Load Theory，CLT）启发的资源调节与词元–上下文注意力（Token–Context Attention，TCA）以及TCA特有的均方根（root-mean-square，RMS）分支归一化相结合。研究在SNLI、SST-2、IMDb、AG News和DBPedia 14五个数据集上评估了七个主要条件，采用10个配对种子（paired seeds）与锁定数据清单（locked data manifests），并对自适应TCA-RMS使用了验证校准的固定门控控制（validation-calibrated fixed-gate control）。一项单独锁定的次要消融实验在相同的记录与种子下，将仅熵CLT（entropy-only CLT，CLT-E）分别加入自注意力、TCA和TCA-RMS。RMS分支归一化提高了全部五个数据集上的原始TCA（raw-TCA）平均准确率，并在IMDb和AG News上获得了Holm校正（Holm-adjusted）的原始TCA准确率支持。相比之下，没有任何预先指定的直接混合CLT（mixed-CLT）准确率加法通过数据集内Holm校正；CLT相关证据局限于特定架构、数据集和指标。校正后未检测到自适应与固定（adaptive-versus-fixed）准确率对比，且仅熵消融表明，有用的注意力衰减可以在不包含完整的熵–不确定性–逆文档频率（entropy–uncertainty–IDF）组合的情况下产生。据此，结果支持分支尺度归一化（branch-scale normalization）与有界注意力输出门控（bounded attention-output gating）作为可分离的架构干预，既不宣称通用准确率提升，也不宣称人类认知负荷构念效度（construct validity）。这些结论仅限于在锁定有限数据协议（locked limited-data protocols）下训练的轻量级、从头开始（from-scratch）分类器；预训练编码器是否会改变TCA分支归一化的需求或CLT启发门控的效果，仍是一个悬而未决的经验问题。

一、研究背景

Transformer架构以并行自注意力（Self-Attention）取代了循环序列处理，使每个词元（token）得以通过学习得到的查询–键相似度聚合全局信息。然而，标准自注意力仅以归一化概率分布定义注意力分配，架构本身并未显式区分"一个词元应当获得多少表征资源"与"该资源以何种模式分发"这两个问题。既往效率导向的研究多通过改变注意力的稀疏性、秩或连通性来降低计算成本，本研究则将注意力重新概念化为资源分配过程。两项前期工作为本研究奠定基础：其一是词元–上下文注意力（Token–Context Attention，TCA），以复数向量启发的表示将词元对齐分量与上下文分量分离；其二是认知负荷（Cognitive Load）启发机制，将词元级熵、预测不确定性与词汇罕见性映射为有界注意力预算。初始集成暴露出新的架构问题：TCA的全局幅度构造所产生的词元与上下文分量在尺度上远大于标准隐藏状态，而softmax对点积分数差的指数化放大可能使注意力分布过度尖锐或不稳定，这促使研究者在查询、键、值（Query/Key/Value，Q/K/V）投影之前引入均方根（root-mean-square，RMS）分支归一化。需要强调，TCA、混合CLT控制器与RMS归一化本身均非新创，本研究的增量贡献在于受控的跨架构集成、TCA分支尺度的归一化放置、验证校准的固定门控控制，以及新锁定的五数据集评估与配对统计推断。

二、研究人员开展的研究、结论与意义

研究人员构建了理论驱动的集成框架，在SNLI、SST-2、IMDb、AG News与DBPedia 14五个数据集上评估了七个主要条件，采用10个配对种子与锁定数据清单，并为自适应TCA-RMS设置了验证校准的固定门控控制；同时通过单独锁定的次要消融将仅熵CLT（CLT-E）加入自注意力、TCA与TCA-RMS。研究得出：分支尺度归一化与有界注意力输出门控是可分离的架构干预；RMS分支归一化提升了TCA在五个数据集上的平均原始准确率；混合CLT的直接准确率加法未获统计支持，自适应门控相对固定门控的可检测优势亦不存在。这一有限结论具有重要方法论意义：它将认知负荷启发的门控从"通用增强"重新定位为架构条件化的设计选择，并明确此类计算代理并不构成对人类工作记忆负荷的心理测量。

三、关键技术方法

研究人员采用的关键方法包括：（1）基于已发表方程的TCA独立方程级重新实现，保持全局幅度、词元相对相位、有界方向门控，以及Q/V取自词元分支、K取自上下文分支的角色分配；（2）在Q/K/V投影之前分别对词元与上下文分支独立施加RMS归一化，作为TCA特定的分支尺度干预，且不增加可训练增益或偏置；（3）由注意力熵、中间预测不确定性与逆文档频率（inverse document frequency，IDF）按锁定权重w_E=0.4、w_U=0.4、w_I=0.2加和构成CLT启发计算负荷信号；（4）将负荷线性映射为有界注意力预算B_i=0.3+0.7L_i，在softmax之后、值聚合之前对查询位置输出施加逐词元门控，且缩放后不重新归一化；（5）以验证集上自适应门控的逐层算术均值冻结为固定预算常数，用于一阶矩层面的对照；（6）在锁定数据协议下维持各数据集约2万条训练记录，以10个配对种子与数据集内Holm校正开展配对推断。样本队列来源于SNLI、SST-2、IMDb、AG News与DBPedia 14五个公开数据集。

四、研究结果

RMS分支归一化效应：RMS分支归一化在全部五个数据集上提高了原始TCA的平均准确率，并在IMDb与AG News上获得了Holm校正后的准确率支持，表明分支尺度稳定是针对TCA分解尺度扩展问题的对症干预。

混合CLT直接加法效应：所有预先指定的直接混合CLT准确率加法均未通过数据集内Holm校正，CLT相关证据仅局限于特定架构、数据集与指标，未呈现跨数据集的一致性增益。

自适应与固定门控对比：经校正后，自适应TCA-RMS与校准固定门控控制之间未检测到准确率差异，表明门控的逐词元自适应性在本协议下未带来可检测的额外预测价值。

仅熵CLT消融：单独锁定的CLT-E消融表明，有用的注意力衰减可以在不包含完整熵–不确定性–IDF组合的情况下产生，提示完整三信号组合并非必要成分。

结论解释：结果支持分支尺度归一化与有界注意力输出门控为可分离的架构干预，但不支持普遍性的准确率提升主张，且跨数据集解释需区分预测增益、概率校准、注意力分数稳定性与注意力分配变化等不同维度。

五、讨论与结论

综合讨论可归纳为以下要点：第一，TCA分支-RMS是一种放置明确、参数量不变的受控干预，其作用路径同时覆盖注意力分数形成与值聚合，注意力分数离差与熵的量化变化为直接可观测后果，但当前实验因缺乏SA-RMS与TCA-LayerNorm等对照，无法证明该放置相对其他归一化控制的唯一优越性，也无法分离Q/K侧与V侧的因果路径；第二，CLT启发的门控在本评估中仅呈现架构与数据集条件化的证据，自适应相对固定的优势未被检测到，加之未运行停止梯度消融且缺乏收敛验证，"认知负荷"仅为理论启发的操作性标签，不应解释为人类工作记忆负荷的测量；第三，固定门控控制仅匹配校准门控分布的一阶矩，无法匹配高阶矩，该设计选择界定了自适应与固定对比的解释范围；第四，全部结论限于锁定有限数据协议下训练的轻量级从头分类器，预训练编码器是否会改变TCA分支归一化的需求或CLT门控的效果，仍是开放的经验问题。

研究结论部分的原文表述为："结果支持分支尺度归一化与有界注意力输出门控作为可分离的架构干预，既不宣称通用准确率提升，也不宣称人类认知负荷构念效度。这些结论仅限于在锁定有限数据协议下训练的轻量级、从头开始的分类器；预训练编码器是否会改变TCA分支归一化的需求或CLT启发门控的效果，仍是一个悬而未决的经验问题。"