今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

多奖励可验证强化学习中解耦归一化聚合估计器的有限样本理论与通道影响重分配

《Scientific Reports》:Decoupling and conditioning reshape influence allocation and the gradient-noise floor in multi-reward GRPO under a finite-sample U-statistic analysis

【字体: 大 中 小 】 时间:2026年09月22日 来源:Scientific Reports 4.9

编辑推荐:

   摘要带可验证奖励的多奖励强化学习(RLVR)日益依赖组相对策略优化(GRPO)。近期两种方法——MO-GRPO和GDPO——用解耦的"先归一化再聚合"(NA)估计器替代了GRPO标准的"先聚合再归一化"(AN)优势函数,并实证表明AN会让最高方差的奖励通道占主导地位,并将不同

  

摘要

带可验证奖励的多奖励强化学习(RLVR)日益依赖组相对策略优化(GRPO)。近期两种方法——MO-GRPO和GDPO——用解耦的"先归一化再聚合"(NA)估计器替代了GRPO标准的"先聚合再归一化"(AN)优势函数,并实证表明AN会让最高方差的奖励通道占主导地位,并将不同的奖励组合折叠为相同的优势值。我们提供了这些估计器所缺失的有限样本、感知相关性的理论。我们的两个主要结果是:(i) 解耦估计器的精确有限样本均方误差(MSE)定律,\(\textrm{MSE} = (\tau ^2/m)\, w^\top C w + O(m^{-2})\),该定律表明奖励相关矩阵 C 在固定得分方差和组规模下设定了可达到的梯度噪声下限,因此正相关的目标会产生更高的噪声下限,尽管该定律界定的是噪声而非信号;(ii) 由一个奖励对另一个奖励进行门控("b仅在a通过时计数")所引起的交叉协方差位移的闭式符号变化定律,该定律针对原始奖励推导,带有显式阈值 \(\gamma ^\star \),其符号可定位位移但不单独确立优化优势,同时提供一种零填充实现,保持U统计量结构以使MSE定律适用。我们额外给出一个格分辨率界,形式化了GDPO的"奖励信号崩溃"现象,并将MO-GRPO的影响定律作为背景重新陈述:解耦使通道影响等于 \((Cw)_\ell \),这对于任意 C 都独立于通道标准差,且当且仅当 \(Cw = w\) 时与权重成正比。所有论断均通过三个层次进行验证:一个合成实验框架,将每个闭式解匹配到三位有效数字(并否证了两个初稿猜想);在Qwen2.5-1.5B和-7B上的真实GSM8K运行(实际值与预测值之比在[0.83, 1.03]之间,八组 \(95\%

组 \(95\% 组 \(95\% 置信区间中有七组覆盖1.0);以及在合成金融技术领域进行的多奖励GRPO微调研究。实测的解耦效果是在奖励通道间重新分配影响,以及上述梯度噪声行为。它不是聚合奖励的改进:解耦臂与标量化臂之间的聚合奖励差异在统计上不显著,而每个通道的分配差异均在百分之一水平上显著。所有数据集、微调模型和代码均已发布,每个发布数据集的构建、奖励定义、划分和来源均在数据集构建部分完整说明。
相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:多奖励强化学习|GRPO|解耦估计器|均方误差定律|奖励相关性|有限样本理论

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号