StaleFlow：一种基于数据时效性的数据管理方法，用于缓解完全分解式强化学习（RL）训练后的数据分布不均衡问题

《Proceedings of the ACM on Management of Data》：StaleFlow: Staleness-Aware Data Management for Mitigating Data Skewness in Fully Disaggregated RL Post-Training

　　

section id="core-tabbed-abstracts" data-core-tabs="abstracts">

摘要 AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

强化学习（RL）在训练后的应用已成为提升现代大型模型能力的关键。最近的一个趋势是开发具有完全解耦架构的 RL 系统，该架构将 RL 的三个阶段（部署、奖励和训练）分离到不同的资源上，并异步执行它们。然而，出现两个关键的数据层面问题：（1）异步执行会导致轨迹数据陈旧，因为部署过程中使用的模型参数可能不是最新的，这会影响 RL 的收敛性；（2）轨迹长度的变化会导致严重的数据偏斜，从而导致工作负载不平衡和系统性能下降。

现有的系统未能以统一的方式解决这两个问题。严格控制数据陈旧性的技术往往限制了有效的数据偏斜缓解效果，而过于激进的数据偏斜缓解措施又往往会加剧数据陈旧性。因此，系统被迫在收敛性和性能之间进行权衡。为了解决这个问题，我们提出了StaleFlow，这是一种能够同时处理数据陈旧性和偏斜的 RL 训练后系统。首先，为了控制数据陈旧性，StaleFlow引入了一种全局一致性协议，用于跟踪每个轨迹的完整生命周期并限制其陈旧程度。其次，为了缓解数据偏斜，StaleFlow重新设计了 RL 系统架构，为轨迹和参数构建了数据服务器，以实现灵活的部署协调。随后，我们开发了一套考虑数据陈旧性的、以吞吐量为目标的策略来提升系统性能。评估表明，StaleFlow的吞吐量比最先进的系统高出 1.42-2.68 倍（平均值为 1.18-1.91 倍），同时并未影响收敛性。我们的源代码可供获取：https://github.com/psrl-project/psrl。

AI 摘要

AI 生成的摘要（实验性）

该摘要是使用自动化工具生成的，并非由文章作者编写或审核的。它旨在帮助发现、帮助读者评估文章的相关性，并协助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的摘要版本。

要查看此由 AI 生成的简明语言摘要，您必须具有高级访问权限。