《Applied Ocean Research》:A massive MPI parallel framework of 3D local discontinuous Galerkin method for simulating large-scale underwater explosion problems
编辑推荐:
间断伽辽金方法(discontinuous Galerkin method, DGM)在处理具有强间断性的水下爆炸(underwater explosion, UNDEX)问题中已展现出吸引人的性能。然而,由于三维模拟所需的高昂计算成本,大多数DGM局限于轴对
间断伽辽金方法(discontinuous Galerkin method, DGM)在处理具有强间断性的水下爆炸(underwater explosion, UNDEX)问题中已展现出吸引人的性能。然而,由于三维模拟所需的高昂计算成本,大多数DGM局限于轴对称建模。在本工作中,研究人员开发了一个大规模MPI并行框架的3D局部间断伽辽金方法(local discontinuous Galerkin method, LDGM),用于模拟具有空化效应的大规模UNDEX问题。采用基于非结构化四面体单元的3D LDGM来求解关于UNDEX激发的动态压力的波动方程,并模拟UNDEX冲击波在流体域中的传播。为了加速3D LDGM的计算,设计了一个可在高性能计算机上扩展的MPI并行框架。为提高并行效率并扩大计算扩展性,在并行3D LDGM模型中融入了一些优化技术。特别是,数据通信的信息被连续存储在易于访问的数据结构中,以高效实现并发非阻塞通信。开发了具有局部并行I/O的实时内存管理策略,以减少延迟并控制内存利用率。执行了若干数值算例以评估基于MPI的并行3D LDGM模型的准确性、效率和可扩展性。结果表明,该模型能够准确高效地模拟UNDEX冲击波的传播,并很好地捕捉3D空间中空化区域的演化。即使对于1.55亿个四面体单元和12000个CPU核心,并行效率也可达到94.1%。
论文解读文章
大规模水下爆炸(underwater explosion, UNDEX)问题的数值模拟对于评估舰船系统损伤及提高生存能力至关重要。UNDEX过程涉及冲击波传播与反射、空化区域形成与溃灭、流体-结构相互作用等复杂物理现象。现有数值方法中,间断伽辽金方法(discontinuous Galerkin method, DGM)因其允许单元间断、适合处理强间断冲击波而表现出优越性。然而,大多数DGM研究局限于轴对称模型,这是由于三维(3D)模拟需要巨大的存储资源和计算时间,尤其当采用高阶DGM时自由度显著增加。为克服存储和计算效率的瓶颈,需借助高性能并行计算技术。尽管已有基于图形处理器和消息传递接口(message passing interface, MPI)的DGM并行实现,但针对UNDEX问题将3D单元规模扩展至数千万甚至数亿的MPI并行框架尚属罕见。因此,研究人员开展本研究,旨在开发一个大规模MPI并行框架的3D局部间断伽辽金方法(local discontinuous Galerkin method, LDGM),以高效模拟具有空化效应的大规模UNDEX问题。该研究对于推动UNDEX工程应用中高精度、高效率的3D数值模拟具有重要意义,论文发表在《Applied Ocean Research》。
研究人员采用了以下主要关键技术方法:(1)基于非结构化四面体单元的3D LDGM求解二阶波动方程,获取UNDEX激发的动水压力,并采用压力截止模型(pressure cut-off model)模拟空化效应;(2)采用METIS算法中的gpmetis程序进行域分解,实现负载均衡并最小化通信开销;(3)设计访问友好的数据结构,将通信信息连续存储,以便高效执行并发非阻塞通信(MPI_ISend/MPI_IRecv),实现计算与通信重叠;(4)实施实时内存管理策略,包括数据访问顺序优化、数据局部性增强、可复用内存池和灵活动态模块分配,以减少延迟并控制内存使用;(5)采用局部并行I/O,由各处理器同时执行负载均衡的I/O操作。
研究结果部分:
4.1 3D standing wave problem(3D驻波问题):为测试并行3D LDGM求解二阶波动方程的精度和收敛性,采用具有解析解的3D驻波问题。通过不同分辨率单元(从10
3到320
3子立方体细化)进行数值分析,最大规模达1.6384亿个四面体单元。L
2误差及收敛阶表明,3D LDGM模型可达到近二阶精度,且驻波传播特性在模拟中得到保持。
4.1.1 Spherical wave loading propagation in fluid domain(流体域中球面波载荷传播):为验证并行3D LDGM求解UNDEX冲击波问题的准确性,模拟球面波加载传播算例。将计算结果与ABAQUS软件实现的3D声学有限元法(acoustic finite element method, AFEM)进行对比,二者在测试点压力时程上吻合良好,证明模型足够准确。进一步进行强扩展性测试(40 million单元,60至7680核心),当核心数较少时出现超线性加速,在7680核心上并行效率仍达98.3%,表明模型具有高可扩展性。
4.2 Underwater shock impinging on a floating mass(水下冲击作用于浮动质量):为评估并行3D LDGM捕捉空化现象的能力,模拟一个浮动质量受水下冲击的算例。将浮动质量速度与Bleich和Sandler解析解对比,无论是否考虑空化效应,结果均吻合良好,证明模型能准确计算UNDEX空化效应。空化区域的时间演化(形成、扩展、收缩、溃灭)被成功捕捉。
4.3 Bulk cavitation near the free surface(自由表面附近的体空化):为评估模型处理3D UNDEX实际问题的性能,模拟Marcus实验。计算域离散为约1.55亿个四面体单元。将测试点压力时程与轴对称AFEM、轴对称LDGM及实验结果对比,3D LDGM结果在捕捉压力峰值(包括入射载荷峰值和空化再加载峰值)上与其他数值结果一致,与实验趋势吻合良好。压力云图和空化现象展示了冲击波传播和空化区域演化。强扩展性测试(1.55亿单元,375至12000核心)显示,模型在12000核心上保持94.1%的并行效率,实现近线性加速。
总结讨论部分:研究人员开发的基于MPI的并行3D LDGM模型,通过优化域分解、数据通信、内存管理和并行I/O等关键技术,能够准确高效地模拟大规模UNDEX冲击水动力学问题,支持超过1.5亿个四面体单元。结论部分翻译如下:
在本工作中,开发了一个基于MPI的、采用优化技术的3D LDGM并行框架,用于模拟大规模UNDEX水动力学问题。基于非结构化四面体单元的3D LDGM被用于求解二阶波动方程,以获得UNDEX引起的动水压力,从而模拟UNDEX冲击波的传播与反射。采用压力截止模型计算UNDEX空化效应。一些优化并行技术被纳入基于MPI的并行3D LDGM模型。首先,研究人员比较了gpmetis程序和mpmetis程序在域分解中的计算性能。与mpmetis程序相比,gpmetis程序消耗更低的内存占用和计算时间,尤其对于大规模问题。其次,设计了数据通信信息的访问友好数据结构,以实现多个非阻塞通信的高效并发,从而确保计算与通信的重叠。第三,通过优化数据访问顺序、增强数据局部性、可复用内存池和灵活动态模块分配,开发了旨在减少延迟和控制内存使用的内存管理策略。最后,实现了局部并行I/O以减轻处理器的工作负担,显著提高了并行3D LDGM模型的并行效率并增加了计算可扩展性。若干代表性数值算例表明,本模型能够准确计算UNDEX冲击波引起的动水压力和空化效应。在整个模拟过程中,可以全面观察冲击波的传播和空化现象的演化。在一系列强扩展性测试中,对于4000万个单元,在多达2000个核心上实现了超线性加速;对于1.55亿个单元,在多达12000个核心上实现了近线性加速。总之,借助基于MPI的并行优化技术,本并行3D LDGM模型能够准确高效地模拟超过1.5亿个四面体单元的大规模UNDEX冲击水动力学问题。未来工作将根据计算资源的可用性对并行框架进行测试和优化,并期望在使用更多核心时,代码可应用于更大规模(例如超过10亿甚至更多单元)。此外,本水动力学模型将结合结构动力学模型,建立UNDEX流固耦合(fluid-structure interaction, FSI)计算模型,应用于舰船系统抗冲击设计和事故评估等实际工程问题。