StaleFlow：一种陈旧性感知的数据管理方法，用于缓解完全解耦强化学习后训练中的数据倾斜

《Proceedings of the ACM on Management of Data》：StaleFlow: Staleness-Aware Data Management for Mitigating Data Skewness in Fully Disaggregated RL Post-Training

　　摘要强化学习（RL）后训练已成为提升现代大模型能力的关键手段。近期的趋势是开发采用完全解耦架构的RL系统，将RL的三个阶段（轨迹生成、奖励计算和训练）解耦到不同的资源上，并异步执行。然而，这带来了两个关键的数据层面问题：(1) 异步执行导致轨迹（由轨迹生成阶段产出的数据）中产生**数据过时性**，因为轨迹生成阶段所使用的模型参数可能不是最新的，从而损害RL的收敛性；(2) 轨迹长度变化引入严重的**数据倾斜性**，导致工作负载不均衡和系统性能下降。现有系统无法以统一的方式解决这两个问题。严格控制数据过时性的技术往往限制了有效的数据倾斜性缓解，而激进的数据倾斜性缓解则倾向于加剧数据过时性。结果，系统被迫在收敛性和性能之间做出权衡。为解决这一问题，我们提出了 **StaleFlow**，一个联合解决数据过时性和倾斜性的RL后训练系统。首先，为控制过时性，StaleFlow 引入了一种全局一致性协议，跟踪每条轨迹的完整生命周期并约束过时程度。其次，为缓解倾斜性，StaleFlow 重新设计了RL系统架构，通过为轨迹和参数构建数据服务器来实现灵活的轨迹生成协调。随后，我们开发了一系列感知过时性、面向吞吐量的策略来提升系统性能。评估表明，StaleFlow 在不牺牲收敛性的前提下，实现了比最先进系统高达 1.42–2.68 倍（平均 1.18–1.91 倍）的吞吐量提升。源代码可获取：https://github.com/psrl-project/psrl。---AI 生成的摘要（实验性）此摘要使用自动化工具生成，未经文章作者撰写或审阅。其目的是支持文献发现、帮助读者评估相关性，并协助相邻研究领域的读者理解该工作。它旨在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍是权威版本。点击此处了解更多。点击此处对此摘要的准确性、清晰度和有用性发表评论。这将有助于改进和未来的重新生成版本。要查看此 AI 生成的简明摘要，您必须拥有高级访问权限。