TAMTRL：面向长上下文压缩中多轮强化学习的教师对齐奖励重塑方法

《Neural Networks》：TAMTRL: Teacher-Aligned Reward Reshaping for Multi-Turn Reinforcement Learning in Long-Context Compression

　　•提出了长上下文处理问题以及基于CTDE风格的训练框架。•一种无需依赖外部模型的回合级过程监督方法——TAMTRL。•对TAMTRL进行了理论分析，通过目标分解验证了其设计的合理性。•在多种模型和基准测试上的大量实验均证明了该方法的有效性。

引言
大型语言模型在推理（Chen等人，2026年；Guo等人，2025年；Ke等人，2025年）、规划（Song等人，2023年；Wei等人，2025年）以及工具使用（Jin等人，2025年；Xue等人，2025年）方面取得了显著进展。通过结合验证奖励的强化学习（RLVR），这些模型的能力得到了进一步提升。然而，在许多实际应用中，比如网络搜索（Gao等人，2025年）和长文档理解（Chhikara等人，2025年），大型语言模型需要处理极长的文本、提取相关信息，并且还要不断更新内存。由于预训练时的上下文窗口有限，大型语言模型无法处理过长的上下文。这一限制会导致在处理超长文档时性能下降（Yu等人，2025a年），这也是实际长文本应用面临的一个重大挑战。

对于长上下文任务，MemAgent引入了分块处理范式，并配备了明确的记忆机制，通过多回合强化学习提升了大型语言模型的有效上下文容量和长文档理解能力。但在多回合RLVR训练中，仅依赖结果奖励会带来诸多难题，如图1所示。仅依据结果进行监督难以评估中间阶段的内存更新情况。即便中间阶段的记忆更新效果不佳，只要最终答案正确，它仍可能获得奖励。这种统一的奖励分配方式缺乏细致的过程监督，会在优化过程中引入大量噪声，从而影响性能。为了解决长周期任务中的奖励分配问题，人们已经探索了几种方法。基于蒙特卡洛的方法（Guan等人，2025年；Kim等人，2025年）通过从每个分支节点采样轨迹来估算中间步骤的价值，但这类方法会带来较高的计算开销。另一种方法是利用大型语言模型作为评估者（Kim等人，2024年；Stephan等人，2025年）或过程奖励模型（PRM）（Ma等人，2023年；Zhang等人，2025b年），通过外部评估者来衡量中间阶段的贡献。不过，这些方法会增加训练成本和资源需求，其效果还取决于评估者的能力，不完美的评估也可能会给训练带来额外噪声。

在长文档处理任务中，多回合处理使得难以为每一回合分配合适的奖励，这不仅增加了训练难度，还可能降低性能。在这项工作中，为了解决多回合强化学习中的时间序列奖励分配问题，同时避免引入过高的额外开销或外部评估者，我们提出了面向多回合强化学习的教师对齐奖励重塑方法（TAMTRL）。我们将多回合长上下文处理问题形式化为一个部分可观测马尔可夫决策过程（POMDP）。受到强化学习中集中式训练与分布式执行（CTDE）范式的启发（Lowe等人，2017年；Yu等人，2022年），TAMTRL采用与学习者模型参数相同的教师模型，但该教师模型能够获取经过过滤的训练时上下文信息，从而在训练过程中提供集中式监督。具体而言，会通过使用教师模型生成的对数概率分数来为学习者模型的响应打分，进而为学习者模型分配回合级奖励。之后，学习者模型会利用这些回合级奖励进行多回合强化学习训练，这种方式能够更细致地分配奖励，以便评估每一回合的内存更新情况，进而提升长上下文处理能力和信息提取效率。我们的方法以模型本身作为教师模型，教师模型与学习者模型的区别仅在于其输入的上下文经过了过滤，通过类似CTDE风格的训练来提升长上下文处理能力，同时无需依赖外部模型。在奖励分配过程中，对数概率分数仅需通过一次前向传播即可获得，无需进行成本较高的自回归推演，因此计算开销较低。通过使用能够为训练文档提供更精准教师端监督的标注数据进行训练，我们的方法提升了模型的泛化能力，使其能够在测试时从未经标注的文档中识别出关键信息，从而获得更好的性能。在Qwen3-0.6B和Qwen3-1.7B模型上针对七个长上下文基准测试进行的大量实验都证明了TAMTRL的有效性。我们的主要贡献如下：
•我们将序列化长文档处理问题形式化为部分可观测马尔可夫决策过程（POMDP），并开发了基于CTDE风格的训练框架。在训练过程中，具有相同模型参数但能够获取经过过滤上下文的教师模型可以提供集中式监督；而在执行阶段，学习者模型仅根据本地观察结果来更新内存。
•我们提出了面向多回合强化学习的教师对齐奖励重塑方法（TAMTRL），该方法利用在经过过滤的教师端上下文下的相同模型，为在部分可观测环境下运行的学习者模型分配回合级奖励。通过使用教师模型生成的对数概率分数，而非单独构建更强大的教师模型，TAMTRL能够在不依赖外部评估者的情况下实现多回合强化学习的细致奖励分配，且几乎不会带来额外的开销。
•我们对TAMTRL的优化目标进行了分解，并从理论上分析了其设计思路。
•在七个基准测试上，针对不同规模的多款模型进行的大量实验表明，TAMTRL的表现始终优于各种强大的基线模型。这些结果也验证了其在长上下文任务中的有效性。我们还进行了探索性和分析性实验，系统研究了不同的奖励设计、分块大小、信息密度以及训练数据对TAMTRL性能的影响。

相关内容片段
大型语言模型的强化学习
强化学习已被证明能有效提升大型语言模型的能力。DeepSeek-R1（Guo等人，2025年）和Kimi K1.5 Team（2025年）等模型的成功案例表明，通过环境交互进行RLVR训练是一种提升模型性能的有效方法。GRPO（Shao等人，2024年）、PPO（Schulman等人，2017年）、Reinforce++（Hu，2025年）以及DAPO（Yu等人，2025b年）等算法的引入，进一步提升了强化学习的效能。在本节中，我们将介绍解耦裁剪与动态采样策略优化方法（DAPO）（Yu等人，2025b年）。首先我们会回顾群体相对策略优化算法（GRPO）（Shao等人，2024年）。给定一个由问题q及其对应的真实答案a组成的数据集D，GRPO会使用之前的策略πθold生成一系列推演轨迹{o1,?,oG}，然后通过最大化以下目标来更新当前策略πθ：JGRPO(θ)=Eq～P(Q),{oi}～πθ[1G∑i=1G1|oi|∑t=1|oi|(si

方法
在本节中，我们将介绍所提出的面向多回合强化学习的教师对齐奖励重塑方法（TAMTRL），如图2所示。首先我们在4.1节介绍整个工作流程，在4.2节对问题进行形式化定义。接着在4.3节，我们会解释教师对齐奖励重塑机制，并计算标准化的教师对数概率分数l^ij。最后在4.4节，我们会将计算得到的l^ij应用于多回合强化学习中。后续章节将详细介绍……

理论分析
现在我们来对TAMTRL的优化目标进行理论分析和解读。为简化符号表示，我们用st(Mt+1)来表示教师对齐分数，该分数在公式（4）–（5）中被定义为标准化的教师对数概率分数l^t。首先，我们给出以下分解定理。
定理1 TAMTRL优化目标的目标分解
考虑在多步骤推理过程中的某个潜在状态st处的优化步骤，此时策略能够观察到Ot=(q,Dt,Mt)。用πθ(?·?∣Ot)表示该策略……

实验设置
训练数据方面，我们基于HotpotQA（Yang等人，2018年）构建训练集，构建方法类似于RULER（Hsieh等人，2024年）和MemAgent（Yu等人，2025a年）的合成方法。具体来说，我们会随机抽取干扰段落，并将它们与相关段落交错排列，这样每个提示中总共包含100段段落，需要经过多轮处理。更多关于数据集的详细信息见B.1节。

基线模型
为了评估TAMTRL的效果，我们将其与以下基线模型进行了对比……

结论
长文本处理对大型语言模型来说是一个重大挑战。为了解决这一问题，MemAgent通过分块处理、记忆机制以及多回合强化学习提升了长上下文建模能力，但它仍然存在时间序列奖励分配的问题。为了解决这个问题，我们首先将序列化长文档处理问题形式化为POMDP，然后开发了一个受CTDE启发的教师-学生框架。在此基础上，我们提出了TAMTRL，该框架中教师模型与学习者模型使用相同的模型结构，但教师模型拥有特殊的权限……

资金支持
本研究得到了中国国家重点研发计划（项目编号2025YFF1505704）、国家科技重大专项（项目编号2022ZD0117402）、国家自然科学基金（项目编号62441617）以及北京未来区块链与隐私计算高级创新中心的支持。

作者贡献说明
Li Wang：撰写——初稿、可视化、验证、软件、方法论、概念构思。Yandong Wang：撰写——审阅与编辑、方法论、研究分析。Xin Yu：撰写——审阅与编辑、验证。Kui Zhang：撰写——审阅与编辑、验证。Tianhao Peng：撰写——审阅与编辑、监督、资源协调。Wenjun Wu：撰写——审阅与编辑、监督、资源协调、资金申请。

利益冲突声明
作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。

Li Wang|Yandong Wang|Xin Yu|Kui Zhang|Tianhao Peng|Wenjun Wu