StaleFlow：一种感知陈旧性的数据管理方法，用于缓解完全解耦的强化学习后训练中的数据倾斜

《Proceedings of the ACM on Management of Data》：StaleFlow: Staleness-Aware Data Management for Mitigating Data Skewness in Fully Disaggregated RL Post-Training

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您需要高级访问权限。

了解更多登录

摘要

摘要

强化学习（RL）后训练已成为提升现代大模型能力的关键。近期的一个趋势是开发具有完全分离式架构的强化学习系统，该架构将强化学习的三个阶段（展开、奖励和训练）解耦到不同资源上并异步执行。然而，由此产生了两个关键的数据层面问题：(1) 异步执行导致轨迹（由展开阶段生成的数据）出现数据陈旧问题，因为展开阶段所使用的模型参数可能未及时更新，从而影响强化学习的收敛性；(2) 轨迹长度差异会导致严重的数据倾斜，进而造成工作负载不均衡和系统性能下降。

现有系统无法以统一的方式解决这两个问题。严格控制数据陈旧的技術往往会限制有效缓解数据倾斜的能力，而积极的数据倾斜缓解措施则往往会加剧数据陈旧问题。因此，系统被迫在收敛性与性能之间做出权衡，或反之。为解决这一问题，我们提出了 StaleFlow，一个联合解决数据陈旧和数据倾斜问题的强化学习后训练系统。首先，为控制数据陈旧，StaleFlow 引入了一种全局一致性协议，跟踪每条轨迹的完整生命周期并约束数据陈旧程度。其次，为缓解数据倾斜，StaleFlow 通过构建轨迹和参数的数据服务器重新设计了强化学习系统架构，以实现灵活的展开协调。随后，我们开发了一套感知数据陈旧、面向吞吐量的策略以提升系统性能。评估结果表明，StaleFlow 在不损害收敛性的前提下，比现有最先进系统的吞吐量提高了 1.42 至 2.68 倍（平均提高 1.18 至 1.91 倍）。我们的源代码已开源：https://github.com/psrl-project/psrl。

AI 摘要

AI 生成摘要（实验性功能）

本摘要由自动化工具生成，并非由文章作者撰写或审阅。提供此摘要是为了支持发现、帮助读者评估相关性，并协助来自相邻研究领域的读者理解该工作。本摘要旨在作为作者提供的摘要的补充，后者仍为论文的主要摘要。完整文章仍为权威版本。

点击此处评论此摘要的准确性、清晰度和有用性。您的反馈将有助于改进和未来的重新生成版本。

要查看此 AI 生成的通俗语言摘要，您需要高级访问权限。