Conductor：基于多粒度控制的流水线并行动态编排

《Future Generation Computer Systems》：Conductor: Dynamically orchestrating pipeline parallelism with multi-granularity control

　　

# 摘要

流水线并行是大模型训练的基本支柱，但其效率经常受到慢工引发的流水线气泡制约。这一问题在静态调度方法（包括手工启发式方法和整数线性规划）下尤为严重，因为这些方法在面对真实世界的执行时间波动时本质上缺乏鲁棒性。在本工作中，我们提出了 Conductor——一个动态的两层调度框架，旨在在现实随机条件下几乎消除由慢工引发的气泡。关键技术洞察是将全局长时程调度与本地即时负载均衡解耦。在粗粒度层面，强化学习智能体利用毫秒级推理延迟生成鲁棒的全局调度方案，并适应传统静态求解器计算不可行的运行时动态场景。在细粒度层面，我们引入了一种动态计算迁移机制，通过将子计算（如注意力头）从瞬时较慢的工作节点卸载到较快的工作节点，以解决残余的微气泡问题。在大规模语言模型训练配置上的评估表明，我们的框架在吞吐量上比最先进的静态调度基线提高了5%到14%，并展现出对注入的系统噪声和执行波动的优异抗御能力。

# 引言

流水线并行（PP）[1], [2], [3], [4]已成为训练大规模深度学习模型的基本支柱，特别是具有数十亿参数的大语言模型（LLM）。通过将模型的层分配到分布式工作节点集群上，流水线并行使得计算能够超越单个设备的内存限制进行扩展。然而，这种方法的实际效率经常受到流水线气泡的瓶颈制约。流水线气泡是由于阶段间数据依赖导致计算资源无法充分利用的闲置时段。这些气泡的一个主要催化剂是慢工问题[5]，即不同微批或硬件阶段的执行时间差异导致整个流水线停滞等待最慢的任务完成。如图1所示，即使在计算时间上的细微波动也可能通过流水线中刚性的依赖链传播，导致显著的性能累积退化。

寻找最小化这些停顿的全局流水线调度方案是一个复杂的组合问题，通常被证明是NP-hard[6]。现有的静态调度策略大致可分为两类[7]，两者在面对现代分布式系统的动态随机性时都力不从心。第一类是手工启发式方法，例如GPipe[1]中的负载均衡方案和1F1B策略[2], [3]。虽然这些方法有助于更快的内存释放，但它们依赖于计算时间均匀的理想假设。在实践中，诸如自注意力的二次复杂度、前向和反向传播之间固有的不对称性[8]以及系统级噪声（如网络抖动或内核方差）等因素持续违反这些假设。第二类是基于优化的方法，如整数线性规划（ILP）[9]。虽然ILP可以找到理论上最优的静态方案，但其指数级的计算复杂度使其在大规模集群上不可行。更重要的是，静态最优解缺乏鲁棒性；它们无法适应真实GPU执行中不可避免的运行时扰动。虽然近期进展如DualPipe[10]和DynMo[11]在各自的设置下优化了通信重叠或动态分区，但在通用随机条件下鲁棒地减少残余气泡仍然是一个未解决的挑战。

为了应对这些挑战，我们提出从静态规划到多粒度动态控制框架的范式转变。我们的核心洞察是，性能损失出现在不同的操作尺度上，其中宏观层面的流水线依赖决定了基础气泡大小，微观层面的执行方差加剧了每一步的低效。因此，这些因素必须被解耦并用相应粒度的工具来解决。我们引入了Conductor——一个为鲁棒性和高吞吐量流水线编排而设计的两层框架。

在粗粒度层面，我们采用强化学习（RL）智能体来解决宏观级别的调度问题。与需要大量重新计算时间的静态ILP求解器不同，我们预训练的RL策略学习了一个泛化的决策策略。它利用毫秒级推理延迟来对运行时动态（如网络波动或节点抢占）提供近实时的调度调整。这确保了传统静态方法无法达到的鲁棒性和实时响应能力。

在细粒度层面，认识到全局策略无法完美缓解所有局部硬件方差，我们引入了一种动态计算迁移机制。基于对先前步骤的实时分析，该机制将可分解的子计算（如多层感知器块或特定注意力头）从瞬时较慢的工作节点反应性地卸载到较快的工作节点。仅在建模的重叠条件满足时发起迁移。未建模的通信、同步和争用开销在完全部署中仍可能留下残余停顿。

本工作的主要贡献总结如下：

1. **可处理的基于RL的流水线公式化：** 我们成功地将动态流水线调度问题建模为马尔可夫决策过程（MDP）。为管理难以处理的大动作空间，我们提出了一种两阶段训练策略：基于强启发式的行为克隆来引导智能体启动，随后通过域随机化的近端策略优化（PPO）进行精细化以增强对系统噪声的抗御能力。

2. **细粒度计算迁移机制：** 我们开发了一种方差缩减策略，利用对称配对算法来平衡流水线阶段内的工作负载。我们形式化地分析了建模的迁移通信可以被并发计算掩盖的条件。

3. **组件级实现与混合评估：** 我们在Megatron-LM上实现了细粒度迁移模块，并在最多16块A100 GPU上使用高达14.6B参数的GPT-3配置进行评估，同时RL调度器在硬件配置锚定的离线模拟器中进行评估。测量的Megatron-LM迁移结果在吞吐量上比评估的静态基线提高了5%–14%。我们明确区分这些测量的模块级结果与尚未完成的RL加迁移的Monolith Megatron-LM部署。

# 章节片段

## 性能方差的定量分析与建模

流水线并行的效率从根本上取决于其组成阶段的时间对齐。如近期大规模生产追踪[5]所示，慢工是系统性问题而非异常事件，约42.5%的训练作业因执行方差经历了至少10%的减速。在本节中，我们提供了将确定性模型架构转化为随机运行时系统的因素的定量分类。

## 相关工作

流水线气泡和执行方差的持续挑战推动了分布式训练从刚性的手工启发式向复杂的自适应编排框架的演进。本节将Conductor置于流水线并行和当代自适应系统的更广阔景观中，以及RL在系统级优化中的应用。

### 基于RL的动态流水线调度

手工启发式方法如零气泡风格调度在静态假设下是有效的，但当执行条件偏离轮廓情况时它们的灵活性较差。在线直接求解新的组合调度问题也是昂贵的。为了弥补这一差距，我们采用了一种启发式引导的RL调度器，该调度器保留了强基线的结构先验，同时学会在动态条件下改进局部调度决策。具体来说，不是直接学习全局调度策略...

### 动态的槽内计算平衡

虽然全局编排策略最小化了宏观层面的最大完工时间，但由于并行计算槽内的执行时间方差，显著残留的低效仍然存在。特定计算通道$P$（其中$P$属于前向、反向和权重更新操作集合）在时间槽$t$的完成时间受最慢的工作节点制约。这种慢工效应定义为$T_{col,P,t} = \max_i T_{i,P,t}$，我们的主要目标是通过动态调用来最小化这个值...

## 设置

我们采用适合学术原型的混合评估方法。首先，为了验证细粒度计算平衡机制，我们直接在Megatron-LM[15]上实现它，并在最多16块NVIDIA A100 GPU上使用GPT-3风格模型[25]测量模块级训练吞吐量。其次，小集群和预处理的训练输入通常相对稳定，不允许受控地重复再现广泛的非规律工作负载...

## 局限性与未来工作

本研究使用混合评估：RL调度器在硬件配置锚定的模拟器中测试，而计算迁移在最多16块GPU上的Megatron-LM中测量。这种划分反映了它们的控制时间尺度：RL用于全局调度，而确定性方程提供槽内迁移所需的低开销响应。因此，结果分别验证了这两个组件，而非一个完全集成的运行时。模拟器尚未...

# 结论

在本文中，我们提出了Conductor——一个用于缓解流水线并行训练中慢工的动态多粒度控制框架。该框架将粗粒度调度优化与细粒度计算平衡分离，允许以相应的控制时间尺度解决流水线低效的两个来源。

模拟器实验表明，RL调度器可以在测试的运行时扰动下改进全局操作排序，同时...

# CRediT作者贡献声明

Xingbo Dong：写作——审阅与编辑，写作——初稿撰写，监督，方法论，基金获取，形式化分析。
Ziyuan Liu：写作——审阅与编辑，写作——初稿撰写，方法论。
Yuezhe Yang：写作——审阅与编辑，写作——初稿撰写，方法论，概念化。
Yen-Lung Lai：写作——审阅与编辑，监督。
Zhe Jin：写作——审阅与编辑，监督。

# 利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本论文所报告的工作。

Xingbo Dong | Ziyuan Liu | Yuezhe Yang | Yen-Lung Lai | Zhe Jin

安徽省医学影像先进技