
-
生物通官微
陪你抓住生命科技
跳动的脉搏
多奖励可验证强化学习中解耦归一化聚合估计器的有限样本理论与通道影响重分配
《Scientific Reports》:Decoupling and conditioning reshape influence allocation and the gradient-noise floor in multi-reward GRPO under a finite-sample U-statistic analysis
【字体: 大 中 小 】 时间:2026年09月22日 来源:Scientific Reports 4.9
编辑推荐:
摘要带可验证奖励的多奖励强化学习(RLVR)日益依赖组相对策略优化(GRPO)。近期两种方法——MO-GRPO和GDPO——用解耦的"先归一化再聚合"(NA)估计器替代了GRPO标准的"先聚合再归一化"(AN)优势函数,并实证表明AN会让最高方差的奖励通道占主导地位,并将不同
带可验证奖励的多奖励强化学习(RLVR)日益依赖组相对策略优化(GRPO)。近期两种方法——MO-GRPO和GDPO——用解耦的"先归一化再聚合"(NA)估计器替代了GRPO标准的"先聚合再归一化"(AN)优势函数,并实证表明AN会让最高方差的奖励通道占主导地位,并将不同的奖励组合折叠为相同的优势值。我们提供了这些估计器所缺失的有限样本、感知相关性的理论。我们的两个主要结果是:(i) 解耦估计器的精确有限样本均方误差(MSE)定律,\(\textrm{MSE} = (\tau ^2/m)\, w^\top C w + O(m^{-2})\),该定律表明奖励相关矩阵 C 在固定得分方差和组规模下设定了可达到的梯度噪声下限,因此正相关的目标会产生更高的噪声下限,尽管该定律界定的是噪声而非信号;(ii) 由一个奖励对另一个奖励进行门控("b仅在a通过时计数")所引起的交叉协方差位移的闭式符号变化定律,该定律针对原始奖励推导,带有显式阈值 \(\gamma ^\star \),其符号可定位位移但不单独确立优化优势,同时提供一种零填充实现,保持U统计量结构以使MSE定律适用。我们额外给出一个格分辨率界,形式化了GDPO的"奖励信号崩溃"现象,并将MO-GRPO的影响定律作为背景重新陈述:解耦使通道影响等于 \((Cw)_\ell \),这对于任意 C 都独立于通道标准差,且当且仅当 \(Cw = w\) 时与权重成正比。所有论断均通过三个层次进行验证:一个合成实验框架,将每个闭式解匹配到三位有效数字(并否证了两个初稿猜想);在Qwen2.5-1.5B和-7B上的真实GSM8K运行(实际值与预测值之比在[0.83, 1.03]之间,八组 \(95\%
组 \(95\% 组 \(95\% 置信区间中有七组覆盖1.0);以及在合成金融技术领域进行的多奖励GRPO微调研究。实测的解耦效果是在奖励通道间重新分配影响,以及上述梯度噪声行为。它不是聚合奖励的改进:解耦臂与标量化臂之间的聚合奖励差异在统计上不显著,而每个通道的分配差异均在百分之一水平上显著。所有数据集、微调模型和代码均已发布,每个发布数据集的构建、奖励定义、划分和来源均在数据集构建部分完整说明。