基于工作负载的硬件选择：独立CFD与DEM基准测试在CPU与GPU上的性能再分析

《Computation》：Workload-Based Hardware Selection for Separate CFD and DEM Benchmarks on CPUs and GPUs

　　

工业CFD（计算流体力学）与DEM（离散元方法）基准被重新分析，以研究工作负载特征和硬件约束如何影响Ansys Fluent和Ansys Rocky中的GPU（图形处理器）性能。数据集包括独立的CFD与DEM计算，而非耦合的流体–颗粒模拟。Fluent案例包括一个2,400万单元的燃烧室、一个400万单元的混合罐和一个以固定迭代次数评估的1.4亿单元外气动模型。Rocky案例涵盖球形与多面体颗粒、颗粒数量和粒径扫描以及选定的多GPU配置。记录的墙钟时间被用于计算各案例内部的加速比和扩展效率，而内存溢出（out-of-memory，OOM）结果则单独作为可行性结果处理。峰值FP₃₂（32位单精度浮点）吞吐量本身并不能解释求解器性能。已完成的工作负载表现出对内存带宽、内存类型、求解器路径、工作负载规模、颗粒形状和精度制度的不同敏感性。较小的工作负载在高档GPU之间的区分有限，而规模更大或要求更高的案例则更明显地受益于内存带宽和额外的GPU。OOM结果表明，VRAM（显存）容量主要充当可行性约束，多GPU执行既减少了运行时间，又使原本不可行的工作负载成为可能。研究结果支持一种工作负载感知的硬件选择框架，在该框架中，内存可行性在运行时和扩展之前进行评估。由于每个配置只有单次记录时间，详细的性能机制和统计排名仍未解决。

研究背景与开展的研究

计算流体力学（CFD）与离散元方法（DEM）已成为航空航天、汽车、能源、化工与制药工程的重要数值工具。登纳德缩放（Dennard scaling）终结后，性能增长从频率扩展转向多核与大规模并行架构，图形处理器（GPU）成为科学计算的主要加速平台。GPU加速的CFD已从部分内核卸载演进为GPU驻留求解器，GPU加速的DEM也使大规模非球形颗粒模拟成为可能。然而，硬件选择实践仍常以简化的理论峰值浮点吞吐量（FLOPS）为指引。研究人员指出，有限体积CFD与接触求解DEM的实际性能受内存带宽、内存容量、数据访问局部性、算术精度与通信开销共同支配：前者稀疏线性代数运算算术强度低，属内存带宽敏感型（Roofline模型）；后者强烈依赖颗粒数量、尺寸、形状与精度要求。GPU有限的板载内存施加严格可行性约束，而CPU可依赖更大的系统内存，故实践核心在于何种硬件约束支配给定的求解器、工作负载规模、颗粒制度与GPU配置。

为回答这一问题，研究人员对一项工业基准测试活动的既有记录进行求解器感知的回顾性再分析，对象为Ansys Fluent与Ansys Rocky在CPU、单GPU及多GPU平台上的基准结果，重组为硬件–工作负载解释框架而非设备排名。结论包括：峰值FP₃₂（32位单精度浮点）吞吐量不足以解释求解器性能；已完成工作负载对内存带宽、内存类型、求解器路径、规模、颗粒形状与精度制度呈现不同敏感性；小工作负载在高档GPU间区分有限，更大或更苛刻案例更受益于内存带宽与额外GPU；VRAM（显存）容量主要充当可行性约束；多GPU执行既缩短运行时间，又使原本不可行的工作负载成为可能，其意义在于提出工作负载感知的硬件选择框架，主张先评估内存可行性，再评估运行时间与扩展。

关键技术方法

本研究为回顾性再分析，样本队列为工业基准测试活动的既有记录。CFD基准采用Ansys Fluent 2025R1与2026R1，DEM采用Ansys Rocky 2026R1。CPU基线为运行Rocky Linux 8.10的节点，各配四颗Intel Xeon Gold 6448H处理器（单节点128核；四节点512核经200 Gbps InfiniBand互联）。GPU平台涵盖八个NVIDIA设备，横跨Pascal、Ampere、Hopper、Ada Lovelace与Blackwell架构，包括P100、A100、H100 PCIe、H200 PCIe、RTX Pro 6000 Blackwell及工作站级GPU；A100、H100、H200多GPU采用NVLink通信，RTX Pro 6000 BW未采用。CFD含2400万单元燃烧室、400万单元混合罐与1.4亿单元F1外气动案例；DEM含球形颗粒（500 μm下500万至8000万数量扫描、50至500 μm粒径扫描）与多面体扫描。分析指标包括相对加速比、多GPU并行效率、粗归一化CFD吞吐量、版本改进比率与CPU强扩展效率；OOM结果单独作为二元可行性结果，不纳入计时类指标。

研究结果

4.1 CPU强扩展基线
通过对比128核与512核墙钟时间计算CPU强扩展效率：燃烧室为0.86与0.87，F1约0.97，混合罐最低（0.70与0.68）。结论：工作负载规模决定强扩展收益，小工作负载受固定开销与并行效率下降影响更明显。

4.2 单GPU CFD性能与硬件指标敏感性
以128核CPU为基线：燃烧室案例中H200墙钟时间最短（301.9 s，加速比5.34），H100为4.65，RTX Pro 6000 BW与A100为3.17与2.66，名义FP₃₂最高的RTX Pro 6000 BW慢于两款Hopper设备；混合罐案例中H100（2.09）与H200（2.08）区分有限，工作站级GPU（0.31、0.53、0.47）甚至慢于CPU基线。结论：名义FP₃₂不能描述实际性能，小工作负载对固定开销更敏感。

4.3 多GPU CFD扩展与Fluent版本效应
燃烧室案例中H100自347.2 s降至113.5 s、H200自301.9 s降至113.6 s，四GPU加速比几乎相同（14.21与14.20）；混合罐四GPU加速比仅4.76与4.44；F1仅在四GPU完成（10.59与11.25）。结论：增加GPU数普遍缩短墙钟时间，但扩展收益依工作负载规模而异。

4.4 CFD大规模内存适合可行性
F1案例（1.4亿单元、耦合求解器）在任何单GPU配置均无法完成，仅在H100与H200四GPU完成；RTX Pro 6000 BW（最高FP₃₂、96 GB VRAM/ GPU）与A100均失败。结论：最大型工作负载由VRAM容量而非执行速度决定可行性，须先确认内存适合再比较运行时间。

4.5 跨颗粒形状和工作负载族的单GPU DEM性能
以P100为参考：球形数量扫描中H100与H200在500万至2000万颗粒差异微小，8000万颗粒仅H200完成，其余OOM；球形粒径扫描中H200加速比达5.10至7.10；多面体扫描遵循FP₆₄（64位双精度浮点）路径，A100在多面体各案例均快于RTX Pro 6000 BW。结论：Rocky性能随颗粒形状、规模、精度制度与内存适合可行性变化，而非仅遵循峰值算术吞吐量。

4.6 多GPU DEM扩展与大规模颗粒可行性
H200（1、2、4 GPU）墙钟时间随GPU数一致下降，最大加速比由5M的1.90升至8000万案例的2.96，且8000万案例单H200即可运行（740.5 h降至250.6 h）；RTX Pro 6000 BW的8000万案例单GPU因OOM失败、双GPU完成，三GPU相对双GPU加速比1.40。结论：增加GPU数既缩短运行时间，又对内存受限案例扩展可行问题规模。

讨论总结

讨论部分基于Roofline模型指出低算术强度内核受内存带宽而非峰值吞吐量限制，峰值FLOPS是不充分的独立选择指标；RTX Pro 6000 BW虽具最高FP₃₂，但结合GDDR7内存与较低FP₆₄能力，不及采用HBM类内存、高带宽与高空FP₆₄能力的Hopper设备。工作负载规模与求解器路径决定硬件能力显现程度：中大型完成负载更受益于高带宽与多GPU，小型负载受固定开销限制，耦合求解器大型案例将主要问题从运行时间缩短转向内存适合可行性。DEM方面，球形颗粒可解释为FP₃₂路径，多面体涉及更复杂的面–边–顶点接触并遵循FP₆₄路径。内存适合可行性与计算性能是互补维度：OOM表示不可行而非缓慢；多GPU可行性扩展不宜简单视为显存算术求和，因其还取决于区域分解、鬼影数据、接触列表分布与负载均衡。研究人员据此归纳五个工作负载制度：小工作负载/开销敏感制度、带宽敏感完成制度、精度敏感DEM制度、VRAM受限可行性制度与多GPU扩展制度。工程意义上，CPU、单GPU与多GPU是互补执行路径；当工作负载接近内存极限时，充足VRAM可能比最高名义算力更重要。

研究结论翻译

本研究表明，求解器感知的再分析支持基于工作负载制度而非GPU排名的求解器–硬件选择。CPU基线既是性能归一化参考，也是大工作负载下因系统内存而保持可行的路径。所选GPU相对CPU基线缩短了固定迭代Fluent运行时间，DEM比较则采用P100或平台内GPU参考；两类求解器中峰值FP₃₂吞吐量均未能重现所观察到的排名。扩展行为随规模与求解器公式而异：小规模工作负载在高档GPU间区分有限，更大且求解器密集的工作负载对内存带宽、内存容量与并行能力更敏感，对最大型CFD工作负载须先确立内存适合可行性。DEM结果呈现跨球形与多面体的工作负载依赖模式，表明基于峰值FP₃₂选择DEM硬件存在局限。VRAM容量主要充当可行性约束，多GPU执行既可缩短运行时间又可扩展可行问题规模。工业部署应依据目标工作负载制度，综合考量工作负载规模、求解器路径、内存带宽、内存适合条件、颗粒形状、精度要求与GPU数量来选择CPU、单GPU或多GPU配置。