E 2 LLM：在分布式边缘物联网环境中，基于结构引导的高效推理方法用于大型语言模型（LLMs）

《IEEE Transactions on Mobile Computing》：E 2 LLM: Structure-Guided Efficient Inference for LLMs in Distributed Edge-IoT Environments

边缘计算环境中高效分布式大语言模型推理框架设计与性能优化研究，提出E2 LLM框架通过结构化规划与轻量级KV缓存协同机制，在异构边缘-物联网设备间实现并行解码，降低78.3%通信开销并提升9-12倍能效，验证了其显著性能优势。

　　

摘要：

大型语言模型（LLMs）越来越多地被应用于边缘计算环境，以减少延迟并保护隐私。然而，它们的推理过程对资源受限的物联网（IoT）设备来说存在根本性挑战。LLM的推理过程包含计算上不对称的阶段：可并行化的提示处理和顺序化的令牌解码。这种不对称性导致了部署瓶颈：IoT设备缺乏处理提示的能力，而边缘节点则面临效率低下的顺序解码问题。本文介绍了E