面向课程约束数学推理的先拒绝后聚合奖励建模

《Neurocomputing》：Reject-before-aggregate reward modeling for curriculum-constrained mathematical reasoning

　　

摘要
约束推理的标量奖励接口通常取决于哪些检测到的证据被允许进入奖励计算。本文研究了课程对齐数学推理中的证据准入奖励接口。我们将此接口实现为课程可采纳性验证 (CAV)，其中候选课程节点只有在推理角色、局部证据、来源支持的标识和特定阶段的操作符范围在课程阶段聚合前经过联合验证时才被采纳。在杭州/浙江教科书课程测试平台中，缓存重评分分离了此准入步骤的影响，而 GRPO 训练测试了由此产生的课程范围偏好是否能被神经策略部分内化。使用 Qwen2.5-1.5B-Instruct 对 600 个分层问题进行盲法人工评估显示，基于 CAV 的 GRPO 变体将课程超标率从基座模型的 48.3% 和通用 GRPO 的 44.7% 降低至 29.3%；在人工判定正确的解中，超标率降至 23.5%。这些结果支持在评估的课程、模型和训练设置中，显式证据准入作为一种有用的奖励接口设计。

引言
大语言模型 (LLMs) 在数学问题解决方面取得了强劲性能 [1], [2], [3], [4]，神经策略优化越来越依赖于由过程模型、评分规则裁判、验证器或外部知识接口产生的标量奖励 [5], [6], [7], [8], [9]。这些接口中的一个常见假设是检测到的证据可以直接转换为标量奖励。在层次化或规则约束的推理任务中，这一假设变得脆弱：概念可以被提及但未使用，操作符可以被隐含使用而无表面名称，同一个表达式在不同范围内可以指代不同的知识单元。图 1 说明了这种层次约束失效模式以及提出的证据准入边界。

本文研究聚合前拒绝奖励建模 (RBA) 作为课程约束数学推理的证据准入接口。核心问题不仅是输出是否正确或全局优先，而是哪些局部证据项被允许影响课程奖励。在此设置中，奖励相关对象是推理单元/课程节点对的被采纳集合，因此课程难度是根据局部支持的证据计算的，而不是仅根据原始检测。

课程对齐的数学推理为这一问题提供了高价值测试平台。模型可以正确解决问题，同时使用尚未向目标学习者引入的公式、变换或策略 [10], [11]。因此最终答案正确性和推理路径可采纳性是分离的。我们将研究的教科书课程表示为基于教科书的层次知识图谱 (HKG)：一个源定位的课程清单，其节点记录领域 - 子领域归属、序数课程阶段标签、归一化数值阶段代理、范围注释、同义词链接、歧义记录和跨阶段拆分记录。

除非另有说明，HKG 指主要实验中使用的杭州/浙江课程图谱；上海重构检查在另一课程下重建了一个紧凑的 HKG。在本文中，HKG 用作候选证据准入的坐标系，而不是神经图编码器或先决条件传播模型。这种表示使得测试奖励相关证据是否应在课程阶段聚合前被采纳成为可能。

我们将 RBA 实例化为课程可采纳性验证 (CAV)。图谱提供课程坐标系，构造可行的课程节点集，而 GRPO 测试准入过滤后的奖励是否能被神经策略内化。

主要贡献是对课程范围奖励构建的证据准入的经验与方法学研究。我们将课程适当性视为整体答案评分标准或扁平概念标记问题，而是定义奖励相关对象为具有来源支持的标识和阶段范围操作符解释的局部支持的推理单元/课程节点赋值。现有的过程验证器询问推理步骤是否有效或有用；RBA-CAV 询问在目标课程约束下，特定知识单元是否可以算作可采纳证据。因此，贡献在于被判断的对象以及该判断进入奖励构建的时间点均有所不同。

我们使用该基于教科书的课程图谱实例化此接口，并使用 GRPO 优化由此产生的奖励。缓存重评分在训练前隔离接口；盲法人工 CER 和 CNE 测试训练后的策略；组件消融诊断机制。

主要贡献如下：
•课程范围的证据准入奖励接口。我们将课程范围奖励构建建立在推理单元/课程节点对的被采纳证据集之上，明确哪些局部知识证据被允许影响标量课程阶段信号，并将证据准入与随后的聚合分离。
•课程特定的 CAV 实现。我们将此公式实例化为课程约束数学推理的 CAV，对推理单元/节点对使用角色、证据、节点标识和阶段范围门控。这些门控将课程对齐从整体答案适当性判断转变为可审计的局部证据准入问题。
•受控经验验证。缓存重评分、GRPO 训练、盲法人工 CER/CNE 评估、扁平知识图谱、直接节点、提示细节、池化和门控消融测试了显式证据准入是否相对于本文评估的奖励接口改进了课程路径可采纳性。

本文使用 Qwen2.5-1.5B-Instruct 评估 RBA 作为课程约束数学推理的证据准入奖励接口。RBA-CAV 提供了一个基于源定位教科书图谱构建的受控课程实例化。在评估的变体中，报告的证据显示课程路径可采纳性和 CNE 有所改进，而数学正确性保持可比。局限性小节规定了经验范围以及其他课程、模型设置和推理领域的迁移要求。

章节片段
奖励建模与神经策略优化
基于奖励的优化和 RLHF 通过学习或基于规则的反馈信号使语言模型与期望行为对齐 [5], [6], [7], [8], [9], [12], [13], [14]。在推理任务中，奖励接口往往与优化器同等重要：标量奖励可能由偏好模型、评分规则裁判、验证器或过程级分数诱导。RBA 遵循这种以接口为中心的观点，并在本文研究的课程设置中，在之前明确证据准入步骤。

方法
本节首先公式化本文研究的证据准入接口，然后描述显式证据准入何时是有用的，最后在课程对齐的数学推理中实例化该接口。图 2 展示了概述。

数据集
数据集源自 OpenR1-Math-220k [53]。我们构建了一个包含 12,000 个示例的教科书教学大纲对齐子集，在小学、初中和高中阶段之间平衡（每个阶段 4000 个示例；图 4a）。每个问题根据 3.3 节中最早的系统性课程有效解题规则获得经 HKG 辅助、人工验证的目标阶段；一致性在补充材料中总结。分层采样然后产生 10,000 个训练、1000 个验证和 1000 个测试。

实验结果
结果首先隔离训练前的奖励接口，然后用盲法人工判断评估训练后的策略。后续分析检查推理时过滤控制、奖励接口基线、证据准入消融、固定输出验证器噪声敏感性、课程重构后的模式使用以及剩余错误模式。

对神经优化的贡献
证据支持一个奖励接口主张：在研究的层次课程约束和小模型设置下，聚合前的显式局部证据准入产生的 CER 低于且 CNE 高于评估的标量评分、扁平概念和直接节点接口。GRPO 作为受控优化器，用于测试基于 CAV 的奖励是否能被神经策略内化。主要神经证据是单输出、无 CAV 推理下 CER 和 CNE 的改进。

结论
本文提出 RBA-CAV 作为课程约束数学推理的证据准入奖励接口。在研究的杭州/浙江教科书课程中，相对于基座、标量评分、扁平知识图谱和直接节点预测变体，RBA-CAV-GRPO 降低了独立人工课程超标率。同格 ABA 比较、固定输出噪声和奖励诊断、匹配的系统噪声训练比较、非线性阶段代理分析以及两个边界系数。

伦理声明
报告的人工评估由成人数学教育标注员判断模型生成的解组成。本手稿中报告的研究不包括面向学习者的干预或收集学生参与者的反应。标注员记录在分析前已去标识化，且未报告任何个人身份信息。

CRediT 作者贡献声明
Kaiyan Chen：写作 – 初稿，可视化，软件，方法论，调查，形式分析，概念化。
Yimiao Qiu：写作 – 审阅与编辑，验证，形式分析，数据管理。
Wang Lin：写作 – 审阅与编辑，监督，方法论。
Qi Xia：写作 – 审阅与编辑，监督，资源，资金获取。
Jingyuan Chen：写作 – 审阅与编辑，监督，项目管理，方法论，资金获取。

写作过程中生成式 AI 和 AI 辅助技术的声明
在本工作的准备过程中，作者使用 ChatGPT 协助语言编辑和手稿修订。使用该工具后，作者根据需要审阅和编辑了内容，并对发表文章的内容承担全部责任。

资金
本研究部分得到浙江省“尖兵”和“领雁”研发计划（编号：2025C02022）以及国家自然科学基金（编号：62307032）的支持。资助方在研究设计、数据收集与分析、出版决定或手稿准备中均未发挥作用。

利益冲突声明
作者声明他们不存在已知的可能影响本文报告工作的竞争性财务利益或个人关系。

Kaiyan Chen 是浙江大学的一名硕士生。他的研究兴趣包括大语言模型、教育中的 AI 和智能学习系统。

Kaiyan Chen|Yimiao Qiu|Wang Lin|Qi Xia|Jingyuan Chen
浙江大学，浙江杭州，310058，中国