可塑任务工作流中静默错误的应对方法

《IEEE Transactions on Parallel and Distributed Systems》：Coping With Silent Errors for Workflows of Moldable Tasks

　　

摘要：

高效的工作流调度是大规模计算系统中的关键问题，因为它直接影响性能、资源利用率和弹性。本工作研究了由可塑任务组成的、受静默错误影响的工作流调度的检查点策略。我们基于三种在无损环境下针对可塑任务图的最先进调度与映射算法（Linprog、PropMap 和 CPA13），并在多个方向上对其进行扩展，以减轻静默错误的影响。我们设计了新的分配和映射策略，以防止任务的检查点不足和过度检查点。我们运行了一系列广泛的模拟，包含多种任务加速特征，其中我们的新算法 CkptRight 相比基线扩展 CkptCrossover（无损算法的基线扩展），以及两个自然竞争策略 CkptAll（所有任务设置检查点）和 CkptNone（不设置检查点），取得了重要收益。CkptRight 在所有模拟场景中均实现了超过 99% 的成功率，而 CkptCrossover 和 CkptAll 的成功率约为 94%，CkptNone 低于 41%。此外，只要 CkptCrossover 和 CkptAll 都没有超时，我们相比它们平均获得了 23% 的收益。通过与多核平台上进行的实验进行比较，证实了模拟的准确性。所有这些结果都证明了 CkptRight 的鲁棒性和效率。

I. 引言

科学工作流推动了众多科学领域的主要进步，包括天文学、物理学、气候科学、地震学和生物学 [1]、[2]。因此，在高性能计算（HPC）平台上高效调度并行工作流对于提高应用程序性能和系统利用率至关重要。这些工作流被表示为有向无环图（DAG），其中节点对应并行任务，边强制任务之间的依赖关系。根据灵活度，并行任务分为三类 [3]：（i）刚性任务，需要预先定义的固定数量的处理器来执行；（ii）可塑任务，其处理器数量在执行开始之前可以决定，但之后保持不变；以及（iii）可变任务，其处理器数量在执行期间可能会变化。本工作专注于可塑任务，因为它们可以适应可用资源的数量，不像刚性任务那样，同时比需要复杂运行时支持 [4] 的可变任务更易于编程和部署。基于消息传递接口（MPI）标准构建的应用程序是可塑任务的典型示例 [5]，因为 MPI 进程的数量在启动时指定，且（通常）之后不能更改。此外，科学库中的几个计算内核，例如用于线性代数的 SLATE [6] 和用于张量的 TiledArray [7]，作为可塑任务提供，可以部署在多种 1D 或 2D 网格大小上。此外，像 LSF [8] 和 SLURM [9] 这样的作业调度器允许用户指定每个任务可以调度的资源范围。总的来说，可塑任务在灵活性和部署便捷性之间提供了出色的权衡，这解释了它们在调度文献中受到的极大关注。