CoSEI：基于算子感知划分与最小化同步的低延迟边缘大语言模型协同推理

《IEEE Transactions on Mobile Computing》：Scaling LLMs Via Collaboration: Efficient LLM Inference Across Resource-Constrained Devices

　　

摘要：

大语言模型（LLM）展现出卓越的能力，但在内存和算力受限的边缘设备上仍然难以部署。一个自然的问题是：多个设备能否以低延迟协同执行逐 token 的推理？现有的并行化方案是为数据中心 GPU 和面向批处理的负载设计的，在边缘设备上因划分方式不合适以及同步开销过大而失效。我们确定了三个核心挑战：(i) 解码过程中逐 token 的同步主导了延迟；(ii) 简单的扩展方式会放大通信成本；(iii) Transformer 算子中存在隐藏的异构计算-通信特性，且尚未得到充分利用。我们的关键洞察是，划分与同步必须协同优化，才能实现可扩展的边缘协同。我们提出了 CoSEI，该系统引入了算子感知的划分和最小化同步的执行方式，由轻量级规划器和定制的运行时进行指导。基于 llama.cpp 构建的原型在八节点边缘设备集群上实现了比流水线基线低至 5.4 倍的延迟，同时支持超出单设备内存容量的模型。结果表明，通过正确的设计，协同边缘推理可以使大语言模型在云端之外也具有实用性。