Cambricon-FlexLLM：基于芯粒的灵活混合架构，用于设备端700亿参数大语言模型推理

《ACM Transactions on Architecture and Code Optimization》：Cambricon-FlexLLM: A Flexible Chiplet-Based Hybrid Architecture for On-Device 70B LLM Inference

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

在智能手机和机器人等边缘设备上部署先进的大语言模型（LLM）是一种日益增长的趋势，它能在提升用户数据隐私性和网络连通性韧性的同时，保留智能能力。然而，此类任务呈现出单批次计算模式，算术强度极低，对资源有限的边缘设备提出了巨大的内存占用和带宽需求方面的严峻挑战。

为解决上述问题，我们提出了 Cambricon-FlexLLM，这是一种基于芯粒（chiplet）的混合架构，结合 NPU 与专用 NAND 闪存芯片，以实现 70B LLM 的高效设备端推理。该混合架构同时利用了 NPU 的强大计算能力和 NAND 闪存芯片的数据容量，并采用所提出的硬件分块策略，将 NPU 与 NAND 闪存芯片之间的数据搬运开销降至最低。具体而言，经过我们创新的闪存内计算和片上 ECC 技术增强的 NAND 闪存芯片，擅长执行精确的轻量级片上处理。同时，NPU 与闪存芯片协作进行矩阵运算，并处理超出闪存片上处理能力的特殊函数计算。此外，为利用现代 LLM 中普遍存在的激活稀疏性，我们提出了一种受协同激活神经元启发的权重重排算法和一种稀疏性感知的动态分区方案。这些优化显著减少了无效权重数据的传输。实验结果表明，Cambricon-FlexLLM 在 70B LLM 上实现了 3.44 tokens/s 的推理速度，在 7B LLM 上实现了 36.34 tokens/s 的推理速度，相比最先进的闪存卸载框架快 22×–45×。借助激活稀疏性，Cambricon-FlexLLM 实现了额外的 1.7× 平均加速比，相较于密集推理加速范围为 1.3× 至 2.0×。这些结果为资源受限的边缘设备上的隐私敏感、离线和回退场景提供了本地 70B 级别解码的实现路径，同时也凸显了在预填充延迟、能耗、热行为以及共享存储约束方面仍需加以管理。

AI 摘要

AI 生成的摘要（实验性）

本摘要由自动化工具生成，并非由文章作者撰写或审核。其目的是支持信息发现，帮助读者评估相关性，并协助相邻研究领域的读者理解本文工作。该摘要旨在补充作者提供的摘要，后者仍然是论文的正式摘要。全文仍为权威的正式版本。点击此处了解更多。

点击此处对本摘要的准确性、清晰度和实用性进行评论。这将有助于改进和未来的重新生成版本。

要查看此 AI 生成的简明摘要，您需要拥有高级访问权限。