面向飞腾多核处理器Llama 3推理的阶段感知优化方法

《Applied Sciences》：Stage-Aware Optimization of Llama 3 Model Inference for Language Services on Many-Core CPUs

　　

摘要

基于大语言模型（LLM）的语言服务（如摘要、翻译和问答）需要低延迟且成本高效的推理，但在许多部署场景中，GPU资源可能价格高昂、不可用或难以集成。多核CPU提供了一种灵活的替代方案，但要实现高效推理，需要针对预填充（Prefill）和解码（Decode）阶段各自独特的计算特征进行针对性优化。本文提出了一种面向Llama 3推理的阶段感知优化方法，应用于两款飞腾（Phytium）多核处理器（FT-2000+/64和FT-1500A）。细粒度性能分析表明，解码阶段的矩阵-向量乘法（MVM）占解码总时间的99.4%，而预填充阶段则展现出额外的令牌级并行性。因此，在预填充阶段，我们将多个令牌级MVM操作重组为矩阵-矩阵乘法，并根据微批处理粒度选择GEMM实现方案，包括一种分块C型GEMM（相比令牌级MVM最高可达7.8× 倍）以及基于LibShalom的切块计算路径。在解码阶段，我们对MVM、RMSNorm、Softmax和注意力头计算应用了基于OpenMP的核内并行。在代表性GLUE负载上的实验表明，自定义内核实现在双线程时将每输出令牌时间（TPOT）提升了（八线程时提升了）。完整的基线研究进一步表明，经过调优的BLAS GEMV可对主导性的解码MVM实现额外的加速；遵循阶段感知选择原则，最终配置达到141.9 ms的TPOT——端到端加速比达（每16核节点7.05 tokens/s）——且扩展性可持续至全部核心。在飞腾FT-2000+/64上的内核级可扩展性研究（解码MVM在八线程时最高可达）进一步表明，八线程以上的性能饱和是内核实现本身的特性，而非平台固有局限。这些结果表明，阶段感知的特征分析和按阶段选择实现方案可显著提升多核CPU上单请求Llama 3推理效率，并为语言服务部署中的CPU端优化提供了指导。