混合并行 Transformer 训练的显存安全分层规划

《ACM Transactions on Architecture and Code Optimization》:Memory-Safe Hierarchical Planning for Hybrid-Parallel Transformer Training

【字体: 大 中 小 】 时间:2026年08月30日 来源:ACM Transactions on Architecture and Code Optimization 2.9

编辑推荐:

   摘要:训练大规模解码器风格的Transformer模型,需要在严格的设备内存限制下组合数据并行、张量并行、流水线并行、上下文并行以及稀疏模型的专家并行。若没有可靠的预剖析准入模型,代数上合法但内存不可行的配置会消耗剖析预算却无法产生有用的吞吐量测量结果。选择流水线并行度也会留

  摘要:训练大规模解码器风格的Transformer模型,需要在严格的设备内存限制下组合数据并行、张量并行、流水线并行、上下文并行以及稀疏模型的专家并行。若没有可靠的预剖析准入模型,代数上合法但内存不可行的配置会消耗剖析预算却无法产生有用的吞吐量测量结果。选择流水线并行度也会留下一个结构化的层到阶段映射问题尚未解决。本文提出了Shockwave,一个层次化规划器,它通过Megatron风格稠密和稀疏Transformer运行时的公开启动器和分区接口来运作。Shockwave首先通过解析模型和后端校准的安全余量构建一个保守的内存可行域,然后剖析一个均衡基线和少量单维度锚点,以学习哪些并行度能在目标运行时上最有效地提升吞吐量,并利用该排序来选择全局策略。最后,它在固定的1F1B流水线调度下求解一个混合整数规划问题,以实现阶段感知的层分配。Shockwave作为Megatron-LM和MindSpeed之上的薄控制层实现,其性能匹配或超过专家策划的方案,在GPU上相比专家调优的Megatron混合配置取得1.08×的几何平均吞吐量提升,在NPU上相比专家MindSpeed方案取得1.04×的提升。与评估的自动基线相比,它在GPU上吞吐量提升1.33×,在NPU上提升1.10×,同时将配置搜索时间分别减少了4.59×和5.60×。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号