一种适用于多个OpenMP并行程序的可扩展线程限制方法

《ACM Transactions on Embedded Computing Systems》：An Extensible Thread Throttling Method for Multiple OpenMP Parallel Programs

OpenMP线程限速优化方法通过历史负载训练预测模型，结合双向山爬搜索快速确定线程数范围，实验表明平均性能提升10.6%，收敛速度提高22.7%

　　

摘要

OpenMP是高性能计算（HPC）领域中最流行的并行框架之一。许多研究人员提出了OpenMP线程节流技术，以寻找最佳的并行配置来提高计算效率。然而，现有研究主要集中在最优解上，忽略了搜索过程中程序的平均性能。此外，HPC生产环境中存在各种类型的工作负载，因此需要根据程序的实时运行状态来调整OpenMP配置。否则，实际优化效果可能与理论预期存在偏差。在本文中，我们提出了一种OpenMP线程节流方法。该方法利用历史工作负载的搜索结果训练性能预测模型，快速确定未知工作负载的最佳线程数范围，并使用基于邻域采样的双向爬山搜索算法在该范围内进行搜索。该方法提高了具有多个未知负载的HPC系统的实时优化效率。通过实验，我们展示了该方法相较于多种常用线程节流方法的优势。在最优解上仅有微小差异的情况下，该方法在搜索过程中的平均性能和收敛速度分别比最佳方法提高了10.6%和22.7%。