DGNA：通过微基准测试与数据分析剖析 GPU NUMA 架构

《ACM Transactions on Architecture and Code Optimization》：DGNA: Dissecting GPU NUMA Architecture through Microbenchmarking and Data Analysis

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您必须拥有高级访问权限。

了解更多登录

摘要

摘要

图形处理器（GPU）凭借其庞大的并行处理能力，已成为游戏和人工智能等各领域的核心组件。随着 GPU 核心的重大进步，GPU 内存效率却相对滞后，由此产生的瓶颈可能限制工作负载的效率。为弥合这一差距，深入了解 GPU 内存架构——特别是 L2 缓存和 DRAM 中的非均匀内存访问（NUMA）机制——对于优化应用程序、设计新架构以及构建准确的模拟器至关重要。然而，来自 NVIDIA 和 AMD 等厂商的最新 GPU 硬件仍然是一个黑箱，使研究人员难以了解其设计细节。

本文提出了 DGNA，一种通过微基准测试和数据分析揭示 GPU 内存层级 NUMA 架构的方法论。具体而言，我们提出了一种在不依赖架构内部指令的情况下测量 L2 缓存和 DRAM 延迟的方法，并应用高斯混合模型过滤异常值，准确确定延迟分布。我们将 DGNA 应用于 NVIDIA 的 A100 和 H100 GPU，揭示了 NUMA 节点架构、SM 与 NUMA 的关系，以及用于维护缓存一致性的 NUMA 感知内存分配策略。据我们所知，这是第一篇详细描述 GPU 内存子系统中 NUMA 架构的论文。

AI 摘要

AI 生成的摘要（实验性）

此摘要由自动化工具生成，未经本文作者撰写或审阅。该摘要旨在辅助发现、帮助读者评估相关性，并帮助来自相关研究领域的读者理解该工作。它意在补充作者提供的摘要，后者仍然是论文的主要摘要。全文仍是权威的正式版本。 点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性发表评论。这将有助于改进和未来的重新生成版本。

要查看此 AI 生成的简明摘要，您必须拥有高级访问权限。