数据驱动的分布式LLM-adapter服务GPU效率优化

《Future Generation Computer Systems》：Data-driven optimization of GPU efficiency for distributed LLM-adapter serving

　　

大型语言模型（LLM）adapter能够实现低成本的模型特化，但在分布式服务系统中引入了复杂的缓存和调度挑战，这些系统中必须同时承载数百个adapter。虽然先前的研究主要聚焦于延迟和吞吐量优化，但通过接近峰值利用率来最小化GPU资源需求仍 largely 未被探索。本文提出了一种数据驱动pipeline，对于给定的工作负载，计算一种adapter放置方案，该方案以最少数量的GPU服务工作负载，同时避免请求饥饿和GPU内存错误。为此，该方法通过利用从真实服务行为中学习的准确性能预测，识别每块GPU上可达到的最大可行吞吐量。所提出的pipeline集成了三个组件：（i）针对LLM-adapter服务定制的数字孪生（Digital Twin, DT），（ii）在DT生成数据上训练的蒸馏机器学习（Machine Learning, ML）模型，以及（iii）利用基于ML的性能估计来最大化GPU效率的贪心放置算法。DT以高保真度模拟真实系统动态，在可预测和不可预测的工作负载下，吞吐量估计误差低于5%，同时执行速度比完整LLM基准测试快高达90倍。学习到的ML模型进一步加速性能估计，且精度损失可忽略不计，从而支持可扩展的优化。实验结果表明，该pipeline显著提升了GPU效率，在评估场景中，维持目标工作负载所需的GPU数量平均减少了60%。除GPU效率外，该pipeline还可适应其他目标，如延迟最小化，凸显了其在未来大规模LLM服务基础设施中的多功能性。

论文解读：数据驱动的分布式LLM-adapter服务GPU效率优化

一、研究背景与问题

随着大型语言模型（Large Language Model, LLM）的快速发展和广泛应用，对LLM-adapter的需求显著增长。LLM是大规模模型，经过训练以在多种语言任务上实现强性能，而adapter通过轻量级参数添加将这种通用知识特化到具体应用。使用adapter远比从头训练或微调新模型更快，后者是一个繁琐且漫长的过程，需要细致的数据整理和高计算能力。此外，adapter在性能上可与上下文学习（in-context learning）或提示调优（prompt tuning）等其他等效方法相媲美。

随着adapter越来越多地用于跨不同任务特化和部署LLM，高效管理其推理执行已成为关键的系统问题。虽然adapter最初设计为合并到骨干模型中以避免额外计算并保持延迟，但当代服务系统通常将其保持未合并状态。这种设计使得能够在共享骨干之上服务多个任务特定adapter，而无需在GPU内存中复制其大型参数足迹。这种方法特别适合多租户环境，其中系统必须服务多个用户，每个用户需要不同的模型特化。由于adapter紧凑，单个GPU可以服务同一LLM的数百甚至数千种不同特化。这种整合通过聚合来自所承载adapter的请求来提高每GPU吞吐量，这些adapter的单个到达率通常太低而无法使GPU饱和。

然而，过度的adapter打包可能跨越一个临界阈值，此时出现请求饥饿（request starvation）。在这种状态下，GPU缺乏足够的中间请求状态（即KV cache）内存，因此请求累积速度快于处理速度，延迟持续增加。确定一种最大化每GPU吞吐量（从而最大化GPU利用率）而不触发饥饿的分配方案并非易事。这个最优点（Maxpack）取决于adapter大小和请求到达率之间的相互作用，这些因素在不同部署和不同时间会变化。adapter大小限制了可用于中间状态的GPU内存并增加了计算时间，而到达率则控制每个adapter引入的负载。

为缓解adapter权重的GPU占用，服务系统通常采用基于利用率的动态机制，在CPU和GPU内存之间交换adapter。驻留在GPU内存中的adapter可以与其他驻留adapter并行执行请求，而交换则允许在不同时共存于GPU上的adapter之间交错执行。一些框架（如vLLM）还强制对加载的adapter数量设置静态上限（Amax），并在初始化时预分配相应的GPU内存。这个选择直接塑造了Maxpack：增加Amax会减少可用于请求处理的内存，而减少它则限制了可实现的并行性。Amax的不当调优因此可能引发饥饿，在极端情况下甚至导致GPU内存错误。

基于这些观察，这项工作解决了以下问题：给定一个由具有异构大小和请求到达率的adapter组成的预期未来工作负载，确定一种GPU分配策略，通过实现Maxpack最大化每GPU吞吐量，从而以最少数量的GPU服务工作负载而不产生饥饿或内存错误。虽然先前的工作通过内核级增强、内存管理技术和调度策略探索了LLM-adapter服务的优化，但adapter缓存问题在很大程度上仍未得到探索。最相关的方法（如dLoRA和LoRAServe）提出了基于估计的长期工作负载模式的主动adapter放置策略，旨在通过充分利用可用硬件资源来减少延迟或提高吞吐量。相比之下，本文的目标是通过对部分设备的接近峰值利用来最大化硬件效率，最小化所需GPU数量，同时将剩余GPU留作替代工作负载或降低能耗。

二、研究内容与结论

为此，研究人员提出了一种数据驱动pipeline，包含三个阶段：（i）模拟在线LLM-adapter服务系统的数字孪生（Digital Twin, DT）；（ii）利用DT生成数据的机器学习（Machine Learning, ML）阶段；（iii）计算最终adapter放置以解决缓存问题的贪心算法。与依赖启发式或部分服务行为知识的先前方法不同，该方法将分配决策建立在ML阶段在多样工作负载和系统条件下学习的完整服务行为之上。贪心算法利用这种性能知识接近最优打包点（Maxpack），同时确定每块GPU合适的Amax配置。

实验结果表明，该pipeline显著提升了GPU效率，在评估场景中，维持目标工作负载所需的GPU数量平均减少了60%。除GPU效率外，该pipeline还可适应其他目标（如延迟最小化），凸显了其在未来大规模LLM服务基础设施中的多功能性。

三、关键技术方法

研究人员采用了以下主要关键技术方法：

1. 1.
   数字孪生（Digital Twin, DT）：针对LLM-adapter服务定制的仿真系统，以高保真度模拟真实系统动态，吞吐量估计误差低于5%，执行速度比完整LLM基准测试快高达90倍。该DT能够高效生成合成数据以支持ML阶段，避免了在真实LLM-adapter服务系统上进行性能分析的昂贵成本。
2. 2.
   机器学习（Machine Learning, ML）模型：在DT生成的数据上训练的蒸馏ML模型，用于加速性能估计且精度损失可忽略不计，从而支持可扩展的优化。
3. 3.
   贪心放置算法：利用基于ML的性能估计来最大化GPU效率，计算最终adapter放置方案，确定每块GPU的Amax配置。

评估使用广泛采用的vLLM框架和LoRA adapter进行，使用Llama-2-7B和公开LoRA adapter在NVIDIA H100 Hopper GPU上处理4096个提示。

四、研究结果

4.1 说明adapter缓存问题

图1在均匀工作负载下说明了单GPU上的adapter缓存问题。每条曲线显示吞吐量作为并发服务adapter数量的函数。每条线中始终观察到两个不同的状态。最初，随着额外adapter引入更多可以高效批处理的请求负载，吞吐量近似线性增加。超过某一点后，由于GPU内存不足以进行KV cache分配，吞吐量饱和或下降，导致请求饥饿。两个状态之间的转换标志着最优打包点（Maxpack），这是本工作针对的目标，它在避免饥饿的同时最大化吞吐量。在实践中，该点被识别为保持高于总传入token速率90%的最高测量吞吐量。

Maxpack的位置对adapter大小、到达率和配置的Amax值高度敏感，这是adapter服务开销的结果。较大的adapter减少了可用于请求处理的内存并增加了计算成本，产生较低的Maxpack。

4.2 开销分析

研究人员对LLM-adapter服务中的主要开销进行了全面分析，量化了它们在多样工作负载下的相互作用，并推导出系统配置和优化的可操作指南。

4.3 数字孪生验证

DT以高保真度模拟真实系统动态，在可预测和不可预测的工作负载下，吞吐量估计误差低于5%，同时执行速度比完整LLM基准测试快高达90倍。

4.4 ML模型评估

学习到的ML模型进一步加速性能估计，且精度下降可忽略不计，使优化能够扩展到大规模场景。

4.5 贪心算法效果

贪心算法利用基于ML的性能估计来最大化GPU效率，在评估场景中，维持目标工作负载所需的GPU数量平均减少了60%。

五、讨论与结论

讨论部分指出，该pipeline可以适应除GPU效率外的其他目标，如延迟最小化，凸显了其在未来大规模LLM服务基础设施中的多功能性。

研究结论部分总结：本文提出了一种数据驱动pipeline来解决adapter缓存问题，旨在最小化服务预期工作负载所需的GPU数量。该方法通过最大化每GPU利用率同时防止请求饥饿和内存错误，集成了数字孪生、ML学习阶段和贪心分配算法。结果表明，所提出的解决方案提高了资源效率，在评估场景中，维持目标工作负载所需的GPU数量平均减少了60%。据研究人员所知，本文引入了首个用于LLM-adapter服务的数字孪生，其运行速度比真实系统快数个数量级，同时准确再现关键性能指标，并支持高效生成合成数据以支持ML阶段。此外，研究人员提供了对LLM-adapter服务中主要开销的全面分析，量化了它们在多样工作负载下的相互作用，并推导出系统配置和优化的可操作指南。