面向测试时强化学习的综合路径与答案自评分奖励机制

《Pattern Recognition》：A Composite Path and Answer Self-Scoring reward mechanism for test-time reinforcement learning

　　

• •
  COMPASS 支持在未标注测试数据上进行强化学习。
• •
  经过校准的自评分减少了伪标签估计中的噪声。
• •
  熵加权引导推理链中的自适应决定性步骤。
• •
  COMPASS 在多种推理任务上取得了一致提升。

引言

强化学习（RL）[1]、[2] 已成为推动预训练大语言模型（LLM）能力进步的有力范式，在复杂推理领域，如数学 [3] 和代码生成 [4]、[5]，取得了显著进展。然而，当前的强化学习方法主要依赖于通过真实标签 [6]、[7] 或人类偏好数据 [8] 进行显式外部监督来构建奖励函数。这种依赖造成了一个根本性的可扩展性瓶颈：随着任务复杂度和规模的增长，大规模标注变得越来越不切实际，阻碍了最先进模型的持续演进。

这一局限性激发了另一种范式的探索，即大语言模型在未标注数据上通过强化学习自主提升，直接从连续的经验流中学习 [9]。然而，这一范式的核心挑战在于推理过程中没有真实信息时的奖励估计。测试时强化学习（TTRL）[10] 通过利用未标注测试数据进行参数更新来形式化了这一场景——这是一个最近引起广泛关注且具有前景的方向。TTRL 通过为每个问题采样多个响应，并利用多数投票的自一致性共识来构建伪标签，从而解决了奖励估计问题。该方法依赖于模型的内在置信度作为外部奖励不可用时的替代指标——在多次试验中一致重现的答案被认为置信度更高，因此更可能是正确的。这一机制类似于人类的解题过程，通过多种方法验证的结论会增强我们对其有效性的信心。

尽管这一选择直观易懂，但存在明显的局限性。当从投票中得出的初始伪标签存在偏差或错误时，这反映了预训练模型先验知识的缺陷，模型可能会强化错误的共识。这提出了我们工作的重要动机：我们能否利用大语言模型内部更丰富的信号来缓解这些局限性并获得更可靠的自奖励信号？

从模式识别（PR）的角度来看，这个问题可以被视为在弱监督或无监督条件下学习可靠决策函数的问题 [11]、[12]，这是许多涉及结构化预测和序列决策的模式识别任务中的核心挑战 [13]。基于自生成奖励的强化学习与经典模式识别主题如不确定性建模和置信度感知推理密切相关，在这些任务中，模型必须对预测及其可靠性进行推理。

尽管不确定性估计 [14]、[15] 在模式识别中已被广泛研究，但大多数现有方法都集中在静态的输出级预测校准上。相比之下，如何将不确定性信号转化为用于序列生成和推理的密集监督仍未得到充分探索。本工作通过利用内部置信度信号来指导过程级优化（无需外部奖励）来弥补这一差距。

由于大语言模型本质上是下一词元预测器，其最直接的内部状态证据在于候选词元的概率分布中。该分布的不同度量自然地产生了模型置信度的替代概念。例如，分布的熵反映了不确定性——熵越低表示置信度越高。类似地，分配给 $\text{排名第一}$ 词元的概率代表了模型对其首选选择的确定性。此外，$\text{排名第一}$ 和 $\text{排名第二}$ 词元的概率之间的差值捕获了决定性——差值越大，意味着模型越不犹豫，因此越有信心。

我们的分析表明，词元级概率分布编码了超越简单多数投票的丰富内部信号，为引导模型优化走向更可靠的推理和答案提供了原则性基础。为了系统地利用这些信号，我们提出了 COMPASS（Composite Path and Answer Self-Scoring，复合路径与答案自评分），这是一种新的奖励机制，结合了答案级校准和路径级评估。COMPASS 由两个组件组成：双校准答案奖励（DCAR）和决定性路径奖励（DPR）。首先，DCAR 通过纳入置信度量并评估伪标签的可靠性来完善多数投票，有效增强了学习的稳定性和效率。此外，DPR 超越了最终答案，对生成过程的每一步进行检查。通过熵加权机制，它鼓励模型在高不确定性（高熵）的关键节点做出更具决定性的选择（高决定性），为优化推理路径提供了直接且密集的监督信号。我们的贡献可总结如下：

• •
  我们提出了 COMPASS，一种用于未标注数据上强化学习的新颖自评分奖励机制，通过对最终答案和中间推理路径的内在评估，使大语言模型能够实现自我进化。
• •
  我们设计了一个包含两个创新组件的复合奖励函数：DCAR 对共识进行双校准以获得更可靠的答案奖励，DPR 通过为不确定推理步骤中决定性词元生成提供密集奖励来引入以过程为中心的评价。
• •
  在多种推理基准上的广泛实验证明了 COMPASS 的有效性和优越性，标志着从连续经验流中学习取得了重大进展。

章节片段

弱监督或无监督条件下的学习

在弱监督、隐式监督或无监督条件下 [12]、[16] 学习可靠模型是模式识别中的长期问题。在结构化 [17] 和序列预测 [18]、[19] 任务中，监督信息通常只在最终输出级别可用，为中间决策步骤的优化提供了有限的指导。近期大语言模型（LLM）的进展从强化学习的角度重新审视了这一挑战，其中模型更新由奖励信号而非显式

复合路径与答案自评分

本节介绍了用于未标注数据上强化学习的 COMPASS 框架。COMPASS 的灵感来源于以下观察：大语言模型的词元级概率分布编码了多种内部信号，例如不确定性、置信度和决定性，这些信号可以作为引导优化的内在反馈。COMPASS 系统地整合这些信号以提供更可靠和更细粒度的奖励。具体而言，给定由提示 $q$ 表示的状态，

复合路径与答案自评分

本节介绍了用于未标注数据上强化学习的 COMPASS 框架。COMPASS 的灵感来源于以下观察：大语言模型的词元级概率分布编码了多种内部信号，例如不确定性、置信度和决定性，这些信号可以作为引导优化的内在反馈。COMPASS 系统地整合这些信号以提供更可靠和更细粒度的奖励。具体而言，给定由提示 $q$ 表示的状态，

实验设置

基准测试。 为全面评估 COMPASS 的泛化能力，我们采用了涵盖不同规模和专业领域的多种骨干模型：作为指令微调模型的 LLaMA-3.2-1B-Instruct [36]，作为数学专业基础模型的 Qwen2.5-Math-1.5B [37]，以及作为通用基础模型的 Qwen2.5-7B [37]。我们在 GPQA-Diamond [38] 上进行评估，这是研究生级别 Google-Proof 问答基准的一个具有挑战性的子集，同时进行了三项数学推理

结论

在本文中，我们提出了 COMPASS，一种复合自评分奖励机制，能够通过联合评估最终预测和中间推理过程，在未标注数据上进行强化学习。与依赖外部监督或静态偏好标注的传统奖励建模方法不同，COMPASS 直接利用模型自身的词元级概率分布来构建奖励信号，利用内在的不确定性和决定性度量来支持

局限性与未来工作

尽管具有这些优势，但仍存在一些局限性。首先，基于决定性的奖励是从模型自身的概率估计中得出的，因此可能继承了预训练期间引入的偏差。具体而言，COMPASS 的有效性取决于基础模型内在信号的可靠性。当模型具有足够的先验能力时，熵和词元级决定性为不确定性和推理质量提供了信息丰富的替代指标。相比之下，对于

CRediT 作者贡献声明

景瑜兴： 撰写 – 初稿，方法论。陈威唐： 撰写 – 审阅与编辑。刘新宇： 指导。邓熊： 资源。黄淑栋： 撰写 – 审阅与编辑。王伟： 指导。吕建城： 资源。乔子悦： 验证。

利益冲突声明

作者声明以下财务利益/个人关系，这些可能被视为潜在的利益冲突：陈威唐报告获得了中国国家自然科学基金委员会国家重大科学仪器设备开发项目的资金支持。陈威唐报告获得了中央高校基本科研业务费专项资金的支持。陈威唐报告获得了科学基金的支

景瑜兴|陈威唐|刘新宇|邓熊|黄淑栋|王伟|吕建城|乔子悦