综述：大语言模型推理服务的负载均衡：一篇面向控制与学习的综述

《Neurocomputing》：Load balancing for large language model inference serving: A control and learning oriented survey

　　

摘要

大语言模型（LLM）被广泛部署为交互式神经推理服务，其性能取决于在非平稳需求下如何分配计算资源、内存、通信带宽和持久状态。本综述将 LLM 推理服务的负载均衡研究视为大规模学习系统中的智能调度与资源分配问题。分析聚焦于由预填充-解码阶段不对称性、键值（KV）缓存驻留、重尾请求变异性、异构硬件及服务等级目标（SLO）所引发的不均衡。本文采用结构化综述协议，按不均衡来源、可观测信号、控制旋钮、假设、局限性及评估证据对代表性研究进行编码。我们引入状态-动作-约束抽象框架，比较了六类策略族，并围绕尾部延迟、首 token 时间（TTFT）、token 节拍、有效吞吐量（goodput）、鲁棒性及每 SLO 合规 token 能耗综合评估实践。我们还探讨了长上下文与多模态服务、去中心化部署、绿色推理及自主自适应服务等方面的开放方向。

引言

基于 Transformer 架构的大语言模型已从离线研究产物转变为始终在线的神经计算服务。它们支撑着对话代理、代码生成、检索增强推理、多模态助手以及工具使用型应用。这一转变植根于 Transformer 架构[143]，以及由 GPT-4、PaLM 和 LLaMA 等系统[1]、[15]、[142]所代表的规模化发展轨迹。然而，一旦这些模型以在线服务的形式暴露，核心性能问题便发生变化：一个有用的模型不仅需要生成高质量的答案，还必须在突发且异构的需求下，以可预测的延迟、可接受的成本以及稳健的服务等级目标（SLO）合规性来交付这些答案。

从神经计算的角度来看，LLM 服务属于神经与学习系统的基础设施实践的一部分。服务运行时决定了神经计算如何在加速器上进行调度、批处理、分布、缓存与自适应调整。因此，负载均衡并非边缘性工程问题，它直接影响单位时间内能交付多少神经计算量，交互式服务能否维持首 token 时间（TTFT）与输出节拍，以及多租户学习应用能否可靠地共享硬件。已有综述对推理加速、模型压缩、内核优化及分布式执行等方面提供了有价值的覆盖[72]、[99]、[167]。然而，负载均衡通常被当作服务系统的子主题，而非连接神经模型行为、运行时状态与服务目标的组织性问题。

经典负载均衡通常假设请求是近似独立的工作单元，且副本级别的指标如请求数量、CPU/GPU 利用率或队列长度足以提供充分信息。LLM 推理在三个重要方面违反了这些假设。第一，推理具有阶段不对称性。预填充阶段以提示处理为主，更适合批处理；而解码阶段是自回归的、有状态的，且通常受限于内存带宽和 KV 缓存访问。因此，在准入时看似均衡的路由规则可能在后续引发解码端拥塞。DistServe 和 Splitwise 表明，将预填充和解码分离可以暴露阶段特定的控制通道，并可在现实 SLO 下提升有效吞吐量[104]、[185]。

第二，LLM 请求是强有状态的。在生成过程中，每个活跃序列都会累积一个 KV 缓存，其占用空间随上下文长度和生成 token 数增长。PagedAttention 等系统表明，即使计算利用率尚未饱和，碎片化、分页和分配粒度仍可决定可持续的并发度[68]。因此，相关的负载概念必须包含驻留状态、可分配性以及未来 KV 增长，而不仅仅是瞬时工作速率。

第三，请求成本高度可变。提示长度、生成长度、推理预算、适配器选择、检索上下文以及 MoE 专家路由可能产生重尾服务时间和队头阻塞效应。在这种变异性下，最大化平均吞吐量的策略会恶化尾部延迟并降低 SLO 合规的有效吞吐量。因此，队列感知服务系统、方差感知批处理和截止时间感知策略变得必要[4]、[140]、[183]。这些观察促使我们撰写一篇将负载均衡视为神经推理服务闭环控制与智能资源分配的综述。

LLM 服务相关文献横跨多个社区：机器学习、系统、分布式计算、硬件加速、排队与资源管理。这种广泛性虽有价值，但也造成了碎片化问题。一条研究路线改进内核和内存管理器；另一条分离预填充和解码；另一条设计缓存感知或局部性感知路由；还有路线学习成本预测器或调度排序。缺乏共同的解析语言，使得比较假设、理解失效模式或判断何时偏好一种方法而非另一种变得困难。

控制与学习导向的视角有助于组织这一文献。此处"控制"一词采用广义系统含义：运行时观测多维状态信号，选择动作如准入、批处理、路由、放置、抢占、压缩和扩缩容，并使用 SLO、成本、公平性和能耗目标评估结果。"学习导向"反映了预测器、学习排序策略、语义相似性、缓存预测和自适应推理预算的日益广泛应用。控制术语作为一种分析抽象，用于在在线神经推理中将可观测信号、策略旋钮与服务结果联系起来。

本综述采用操作性而非纯基于组件的负载均衡定义。当一种机制直接改变在线分配决策——准入、路由、批处理、放置、阶段分配、状态迁移、资源池分配或扩缩容——或直接改变此类决策的可行域或反馈信号时，该机制即为范围内。因此，该定义关注机制在跨受限资源分配请求、阶段或持久状态中的因果作用。

这一边界将负载均衡与相邻的服务优化区分开来，但并未将它们视为无关。内核融合、注意力内核、模型压缩、量化及通用内存分配器在本综述中不构成独立的负载均衡族。仅当它们改变在线控制器观测的状态、扩展或收缩分配可行域，或与调度决策协同设计时，才被纳入。例如，当可分配块决定准入或放置时，KV 分页在范围内；当精度选择与路由或资源分配耦合时，阶段感知量化在范围内；纯内核加速则属于背景上下文，除非它改变了服务控制器的决策问题（表1、表2、表5、表7）。

自回归解码器专用服务是主要研究范围，因为预填充-解码不对称性和不断增长的 KV 状态使在线负载形成尤为突出。当编解码器模型的阶段结构产生可迁移的放置或队列耦合问题时也纳入其中。混合专家模型（MoE）服务因专家路由和 all-to-all 通信直接产生架构特定不均衡而被纳入。检索增强生成（RAG）、多模态和智能体工作负载作为条件扩展处理：综述涵盖其对 LLM 服务的后果，如上下文扩展、模态依赖的请求成本或工具引发的到达突发，但不声称独立综述检索引擎、模态编码器或工作流编排。

表3通过将与代表性综述的对比来限定新颖性声明。区别不在于相邻综述忽略服务优化，而在于它们的组织贡献并非对在线 LLM 负载均衡的显式负载形成与状态-动作-约束分析。

本文综述了 LLM 推理服务的负载均衡，侧重于智能调度、资源分配及实用的神经计算环境。其主要贡献如下：

• 可复现的综述协议与范围定义。我们定义了明确的研究问题、搜索来源、纳入/排除标准及编码维度，使综述范围和证据基础透明化。

• 基于第一性原理的负载形成分析。我们解释了 LLM 服务负载为何是多维的、有状态的且时变的，并将阶段不对称性、KV 缓存增长、并行性、拓扑及重尾工作负载与可测量的运行时信号联系起来。

• 统一的状态-动作-约束抽象框架与批判性分类法。我们将负载均衡策略映射到其观测的信号、控制的动作、假设、最佳适配场景及失效模式。这使得分类法成为一种分析性比较，而不仅仅是组织性列表。

• 评估与未来设计指导。我们综合了以 SLO 为中心的评估实践，包括有效吞吐量、TTFT、token 节拍、稳定性曲线、KV 压力、鲁棒性、公平性以及每 SLO 合规 token 能耗，并确定了长上下文、多模态、去中心化、绿色及自主服务方面的开放问题。

论文结构如下（见图1）。第2节描述综述方法论与范围。第3节分析 LLM 推理特征与负载形成。第4节提炼系统级挑战。第5节综述并批判性比较负载均衡策略。第6节总结评估与基准测试实践。第7节讨论开放问题与未来研究方向，第8节总结全文。

章节摘要

综述方法论与范围

对 LLM 推理服务进行严格的综述需要明确的研究选择标准和透明的综合程序。我们定义了综述范围、编码维度以及用于构建分类法的分析类别。该协议支持跨策略族的可复现比较，并有助于区分机制层面的洞察与工作负载或系统特定的性能主张。

LLM 推理特征与负载形成

LLM 服务不同于传统的无状态服务，因为推理是多阶段的、有状态的、异构的，且通常分布在非均匀硬件上。有效负载由计算、内存、带宽、驻留 KV 状态、队列动态及 SLO 目标塑造，而不仅仅由请求数量决定。以下分析聚焦于与调度和评估最相关的负载信号。

LLM 负载均衡中的系统级挑战

LLM 负载均衡已从简单的副本选择转向对阶段、状态、异构资源和目标的闭环控制。随着规模、上下文长度和部署复杂度的增加，主要瓶颈往往从计算迁移到 KV 驻留、方差与队头阻塞效应、拓扑及多租户约束。因此，现代服务系统需要在 SLO 下进行协调控制，而非简单的均匀请求分配。

我们按以下结构组织讨论：

LLM 推理服务的负载均衡策略

LLM 推理服务的负载均衡机制可通过系统导向的视角进行综合。核心观察是，在线生成中的不均衡很少源于均匀请求路由本身；而是源于结构化服务不对称性、随机变异性以及跨服务管线的内存中心化可行域约束的交互作用。因此，我们将文献组织为六个策略族：（5.1 阶段与流水线感知调度，5.1.1）

评估方法与基准测试

评估是负载均衡主张变得可信或脆弱的地方。由于被综述系统优化不同目标并暴露不同控制旋钮，本节将评估视为可复现性问题：研究应不仅披露标题吞吐量或延迟，还应披露 SLO 语义、工作负载生成、阶段行为、KV 压力、拓扑及仪器化。相应地，评估应揭示每种策略成功或失败的条件。

开放问题与未来方向

LLM 负载均衡中的开放问题日益由状态（KV 驻留与局部性）、方差（重尾、条件路径及网络抖动）和多目标约束（SLO、成本、能耗、隐私及公平性）所塑造。由于这些因素非线性交互，进展依赖于暴露正确的系统信号、定义稳定的控制回路以及使模型行为与运行时架构和调度目标对齐。

结论

LLM 已成为在线神经计算服务，其性能由在显式 SLO 下协调计算、内存、通信和状态的负载均衡决策所决定。LLM 推理服务的负载均衡因此是一个控制与学习导向的调度问题，而非简单的副本选择。关键原因在于 LLM 负载是内生的：预填充-解码不对称性、持久 KV 缓存增长、重尾请求变异性、模型并行性、拓扑……

CRediT 作者贡献声明

Hanbo Ma：撰写–审阅与编辑，撰写–初稿，可视化，验证，方法论，调查研究，数据整理。Zhongguo Li：撰写–审阅与编辑，验证，监督。Junan Wang：撰写–审阅与编辑，调查研究。Chunyi Cao：撰写–审阅与编辑。Donglin Li：撰写–审阅与编辑。Jun Yang：撰写–审阅与编辑。Zhengtao Ding：撰写–审阅与编辑，验证，监督。

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些关系可能影响本文所报告工作的客观性。

Hanbo Ma 于2022年获得吉林大学（中国长春）自动化工学学士学位，2025年获得北京航空航天大学（中国北京）电子与信息工程工学硕士学位。目前他正在英国曼彻斯特大学电子与电气工程学院攻读博士学位。他的研究兴趣包括大语言模型（LLM）推理服务、分布式系统、资源调度与优化。

Hanbo Ma | Zhongguo Li | Junan Wang | Chunyi Cao | Donglin Li | Jun Yang | Zhengtao Ding
英国曼彻斯特大学 电子与电气工程学院，曼彻斯特，M13 9PL，英国