激活缩放与学习率重加权的解耦：内部尺度干预效应的分离及其最终接口状态对比

《IEEE Access》：Beyond Layer-Wise Learning Rate: Activation Scaling at the Final Representation Boundary

　　摘要：内部尺度干预将激活重标定与补偿引起的学习率重加权纠缠在一起。我们通过将全局特征学习强度（FLS）输出乘数移动至内部表示边界，并将每个截断点配对一个仅含学习率的控制组（该控制组保留上游补偿但不缩放激活），从而分离这两种效应。在受控的 CIFAR-100 ResNet18-CIFAR 深度扫描实验中，学习率重加权再现了大部分准确率趋势：其 Spearman 相关系数在边界缩放条件下为 0.93，在对应的仅学习率条件下为 0.89。在最终表示边界处，基于十个确认种子的实验显示，激活缩放比相同截断点的对照高出 1.643 个百分点（95% 置信区间 [1.269, 2.017]）。随后，我们在一个固定的实用协议下评估同一对方法，该协议包含数据增强、动量、权重衰减、余弦调度、验证集选定的检查点以及十个全新的随机种子。精确的仅学习率重加权达到 70.881%，而激活缩放为 70.690%，仅学习率方法具有 0.191 个百分点的优势。四个最终接口诊断指标区分了两种干预：激活缩放增加了特征范数、logit 范数和分类器权重的有效秩，同时降低了分类器输入梯度范数。余弦归一化的输出头产生相同的配对输出，而无仿射变换的预输出头 LayerNorm 在低准确率消融实验中估计 ACT 与 LR 之间的准确率差异为 +0.166 个百分点（95% 置信区间 [?0.553, 0.885]）。在测试的设置范围内，激活缩放和逐层学习率重加权达到不同的最终接口状态，且其准确率排序随优化协议和读出方式而变化。