Shesha：利用网络优势加速异步分布式强化学习过程

《Proceedings of the ACM on Networking》：Shesha: Opportunistic In-network Acceleration of Asynchronous Distributed Reinforcement Learning

　　

">

摘要 AI摘要

要查看此由AI生成的摘要，您必须具有高级访问权限。

了解更多 登录

摘要

摘要

大规模训练分布式机器学习时，可能会导致瓶颈交换机端口拥堵，从而通过更新损失使模型变得过时。这对异步分布式强化学习（DRL）训练尤其不利，因为过时的更新会降低异步环境下的收敛性能。本文介绍了Shesha，这是一种网络内的DRL加速器引擎，它能够在模型更新数据平面队列时机会性地进行即时聚合。这种聚合操作促使我们设计了一种新的队列结构，并设想将其应用于未来的拓扑层交换机。此外，我们还提出了在可能出现拥堵的情况下的宿主机端传输控制机制，利用了网络内加速器的反馈。通过量化模型过时程度（称为模型年龄AoM）以及一个正式的验证器，我们能够在多DRL集群场景中对系统级的AoM目标进行推理。实验表明，Shesha显著减少了模型过时和队列拥堵，改善了异步DRL工作负载的总体收敛性能。

AI摘要

AI生成摘要（实验性）

此摘要是由自动化工具生成的，未经过文章作者的撰写或审核。它旨在帮助读者发现相关内容、评估文章的实用性，并帮助来自相关研究领域的读者理解文章内容。它是对作者提供的摘要的补充，作者提供的摘要仍是文章的正式版本。完整文章是权威的内容来源。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。

要查看此由AI生成的简单语言摘要，您必须具有高级访问权限。