高性能计算集群中动态工作负载的MPI进程可塑性资源优化研究

为解决HPC环境中资源利用率低和作业调度僵化问题，研究人员开发了动态资源管理框架DMR，集成MPI进程可塑性技术。通过DMRlib与Proteo框架的Malleability Module协同优化，实验证明可使工作负载完成时间缩短40%，资源利用率提升20%以上，为Exascale计算提供了标准化弹性资源管理方案。

　　

随着Exascale计算时代的到来，高性能计算（HPC）集群面临资源利用率低下和静态分配策略僵化的双重挑战。传统静态资源分配无法适应科学计算中常见的动态负载变化，导致关键指标如作业周转时间和系统吞吐量难以优化。尽管MPI标准长期支持进程可塑性（Malleability）概念，但实际应用中仍受限于标准化缺失、运行时兼容性差等问题，使得这一能显著提升资源效率的技术在生产环境中普及受阻。

针对这一技术瓶颈，巴塞罗那超级计算中心联合海梅一世大学的研究团队开发了动态资源管理（DMR）框架。该研究创新性地将DMRlib重配置运行时与Proteo框架的Malleability Module（MaM）集成，构建出支持自然数节点伸缩的Slurm插件系统。通过世界顶级超算平台上的实验验证，该方案使多维正定平流传输算法（MPDATA）的工作负载完成时间缩短40%，资源利用率提升超过20%，相关成果发表于《Future Generation Computer Systems》。

研究采用三大关键技术：1）基于MPICH-4.2的DMRlib重构运行时，实现与Slurm-17.02的资源交互；2）MaM模块的动态策略选择算法，支持Baseline/Merge等进程生成模式；3）异步重配置技术，通过非阻塞通信实现计算与资源调整的并行化。实验在Marenostrum 5超算的Sapphire Rapids节点（112核/节点）完成，采用3类MPDATA工作负载（小型8192×2048×128网格至大型8192×8192×128网格）验证性能。

研究结果部分，"背景"章节阐明MPDATA算法通过N维块分解实现数据分布，其迭代特性天然适配DMR的同步点机制。"资源优化"章节显示，Merge方法较Baseline减少15%重配置时间（p<0.05），且内存开销符合M_M?M_B理论预期。"异步重配置"实验表明，虽然背景调整导致单次迭代延迟2倍（IS=0.5×），但整体仍保持94.6%的资源利用率。

结论部分强调，该工作首次实现MPI标准与Slurm在自然数节点规模的深度集成，其模块化设计支持TALP性能感知和EAR能耗感知策略的即插即用。特别值得注意的是，Merge方法通过MPI_COMM_WORLD内通信器合并技术，将典型扩展操作的内存需求从PS/NS+PS/NT+C降至PS/min(NS,NT)+C，这对内存受限的天气建模等应用具有突破性意义。讨论指出，未来通过扩展MaM对Open MPI的支持，可进一步扩大该框架在异构计算场景的适用性。