《Powder Technology》：Large-scale multiple-GPU-based DEM simulation of polyhedral particle systems
编辑推荐：
多GPU离散元方法框架通过整合MPI与CUDA实现了高效的大规模多面体颗粒模拟，验证了数值稳定性及与实验结果的吻合性，在16 GPU上对2×107颗粒系统达到14.8倍加速，并成功应用于工业场景的 silo沉积和固定床模拟。
徐家宇|张帅|张勇|张浩雷|徐吉|葛伟
中国科学院过程工程研究所（IPE）中科院微尺度科学与工程国家重点实验室，北京100190，中国
摘要
多面体颗粒在自然和工业过程中无处不在。GPU计算的最新进展极大地提高了离散元方法（DEM）对多面体颗粒模拟的可行性，然而，对于大规模模拟而言，准确模拟它们的集体行为仍然需要大量的计算资源。在这项研究中，开发了一个基于多GPU计算的分布式并行DEM模拟框架，以实现高性能的大规模模拟。该框架将消息传递接口（MPI）与NVIDIA的统一计算设备架构（CUDA）集成在一起，其中主要的计算流程（包括域划分、邻居列表构建、接触搜索和接触评估）在GPU上执行。所提出的方法通过数值和实验研究得到了验证。通过对颗粒-壁面碰撞和不同网格分辨率下的壁面力评估，验证了数值稳定性。在准二维旋转鼓中模拟的静态堆积结构和速度场与实验测量结果吻合良好。在一个涉及2×10^7个多面体颗粒的16个GPU上的可扩展性测试中，展示了出色的并行性能，与单GPU情况相比，速度提高了14.8倍。此外，大规模应用（例如，含有圆柱形催化剂颗粒的筒仓沉积和固定床）进一步证明了所提出框架在工业规模应用中的能力。
引言
颗粒材料在自然和工业过程中非常普遍，包括采矿[1]、化学工程[2]、制药[3]和粮食加工[4]。与连续介质材料不同，颗粒材料在外部载荷下可以表现出类似固体、液体和气体的宏观状态，并且可以在这些状态之间转换[5]。这种转换伴随着复杂的微观现象，如拱形形成[6]、剪切增稠[7]和堵塞[8]，这使得颗粒流动的预测和控制成为一个具有挑战性的研究问题。为了量化颗粒物质的动态，Cundall和Strack[9]引入了离散元方法（DEM），该方法直接模拟颗粒尺度的运动和相互作用。从那时起，DEM逐渐被应用于颗粒材料系统的预测和优化[10,11]。
然而，传统的DEM通常将颗粒材料建模为理想的球形颗粒。这种处理方法在算法上简单高效，但无法捕捉到实际颗粒中常见的非球形特征[12]。角度和形状引起的力链会显著改变应力分布和流动模式，而颗粒的角部和界面摩擦通常会促进互锁，从而抑制滚动并改变宏观响应[13]。为了更好地表示这些效应，在DEM框架内开发了各种形状方法，如多球体近似[14]、水平集方法[15]、超二次曲面[16]和非均匀有理B样条（NURBS）[17]等。这些方法在一定程度上提高了几何保真度。然而，对于超二次曲面及相关方法，表示非常尖锐的特征往往受到数值不稳定性和接触检测收敛困难的限制。相比之下，多面体表示方法可以缓解这一缺陷，并在再现真实颗粒材料的行为方面提供更高的保真度[18]。基于这种表示方法，多面体DEM已被广泛用于非球形颗粒的随机堆积和颗粒流动[19,20]，其中几何接触检测和力评估使系统达到沉积或准静态堆积状态，并能够分析堆积密度和配位数。从建模的角度来看，凸多面体可以被视为球形颗粒和更一般的不规则颗粒之间的中间层次。同时，真实颗粒形状的统计建模仍需要进一步研究。
工业过程通常涉及数十亿甚至更多的颗粒，因此在实际时间内更新颗粒状态仍然是DEM应用的主要瓶颈。对于大规模模拟，已经出现了基于并行计算的框架，例如，使用消息传递接口（MPI）的软件包LIGGGHTS[21]、Mercury[22]、ExaDEM[23]和MFIX[24]可以在CPU集群上模拟包含数百万颗粒的系统。尽管这些方法扩展了计算规模，但对于具有复杂几何形状的非球形颗粒，接触搜索和重叠评估仍然是主要成本。例如，在超二次曲面方法中，解决颗粒-颗粒和颗粒-壁面接触通常需要多次迭代才能达到稳定解[25]，这限制了整体效率。对于多面体接触检测，大多数DEM框架采用两阶段流程，包括宽阶段和窄阶段[26]。宽阶段通常使用边界原语（如AABB[27]、OBB[28]或边界球[29]）以及空间索引方案[30]来过滤候选对，而凸多面体的窄阶段通常依赖于分离轴定理（SAT）[31]或Gilbert–Johnson–Keerthi（GJK）算法[32]。扩展多面体算法（EPA）常用于进一步提取穿透信息[33,34]。此外，还报告了其他公式，如共面方法[35]、快速共面方法[36]和双空间方法[37]用于接触特征描述。一旦获得接触几何形状，通常使用基于惩罚的接触定律[38,39]或能量守恒方案[40]来评估力和扭矩，这些方法已被广泛用于计算力和相应的力矩。然而，对这些大量颗粒对的评估在计算上非常昂贵，这促使人们寻求超越基于CPU的DEM的有效并行策略。
随着图形处理单元（GPU）的快速发展，基于GPU的并行计算已成为传统CPU架构的高性能替代方案[41]。巨大的线程级并行性和高内存带宽为颗粒DEM中的重复接触搜索和力评估提供了显著的优势。在过去的十年中，基于GPU的并行性逐渐被纳入DEM中，大大提高了模拟规模和效率[29]。Xu等人[42]在Mole-8.5系统中开发了DEMms软件，实现了CPU和GPU异构计算，能够近乎实时地模拟工业规模的鼓，并支持随后在商业规模设备优化和设计中的应用[43,44]。随后，几个基于GPU加速的开源框架，包括PhasicFlow[45]和HOOMD-blue[46]，进一步证明了在GPU上进行的大规模DEM模拟的可行性。对于非球形颗粒，Ji等人[47]提出了SDEM，实现了基于GPU的超二次曲面颗粒模拟。Govender等人在BlazeDEM框架内实现了多面体颗粒的接触检测，为工业规模的非球形DEM模拟奠定了基础。Liu等人[49]引入了基于能量守恒接触理论的CoSim-DEM软件，实现了在单个GPU上的高精度多面体几何评估和螺旋输送的高性能模拟。Rocky DEM和EDEM等商业软件也添加了用于工业应用的GPU加速模块。
然而，大多数基于GPU的多面体颗粒DEM方法依赖于单个GPU或单个节点，这限制了工程规模的可扩展性，并阻止了多GPU集群的充分利用。除此之外，多面体颗粒的几何复杂性进一步复杂化了接触解决过程，包括凸包相交、重叠体积评估和法线提取。因此，文献中很少描述高效的解决方案工作流程和统一的并行实现。
为了解决这些限制，本研究建立了一个适用于CPU-GPU异构集群的分布式多面体DEM框架，该框架将MPI与NVIDIA的统一计算设备架构（CUDA）[50]集成在一起。关键的计算策略，包括域划分、邻居列表构建、接触搜索和接触评估在GPU上执行，而CPU处理进程间通信、轻量级调度和输入-输出操作。详细描述了多面体接触的几何特性，包括颗粒-颗粒相交和颗粒-三角化面的相互作用。随后验证了所提出的框架，并在不同规模的情况下评估了其效率。
部分摘录
方法
图1展示了基于多GPU的多面体颗粒的整体大规模DEM框架。在CPU端，处理参数读取、多面体拓扑解析、初始域划分和I/O操作，而所有其余的计算密集型任务都在GPU上执行。在每个时间步长，多面体颗粒数据在GPU之间交换，以同步每个域的边界区域，从而实现并行计算。每个GPU随后执行空间分箱
验证和性能评估
所有模拟都在中国科学院过程工程研究所怀柔中心的Mole-H超级计算机上进行。计算节点配备了两个Intel Xeon Silver 4410Y处理器和八个NVIDIA RTX 4090 GPU。操作系统是Linux CentOS 8。
工业规模应用
工业生产设备通常涉及复杂的几何形状。所提出的基于多GPU的多面体DEM框架在筒仓沉积和固定床中的颗粒堆积的大规模模拟下进行了验证，以现实条件进行了评估。
结论
本研究提出了一个多GPU DEM模拟框架，用于大规模凸多面体颗粒系统，通过将MPI与CUDA相结合。该框架详细描述了用于评估颗粒-颗粒接触中的重叠体积和颗粒-壁面接触中的重叠区域的算法。它通过分析、数值和实验结果进行了验证，并在多GPU平台上展示了可扩展的性能。
对于凸多面体，接触检测
CRediT作者贡献声明
徐家宇：撰写——原始草稿、可视化、软件、方法论、数据管理、概念化。张帅：监督、资金获取、概念化。张勇：资源、资金获取。张浩雷：撰写——审稿与编辑、监督、方法论。徐吉：撰写——审稿与编辑、监督、资源、方法论、概念化。葛伟：撰写——审稿与编辑、监督、资金获取、概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
作者衷心感谢国家自然科学基金（资助编号：22293024、22293021和22408373）、中国科学院战略性优先研究计划（资助编号：XDA29040200和XDA0490102）以及中国科学院特别研究助理资助计划的财政支持。本工作使用了中国科学院怀柔跨学科微尺度研究中心-IPE的设施。我们衷心感谢
