混合或拆分:面向边缘 - 云大语言模型推理的时延感知调度
《IEEE Transactions on Parallel and Distributed Systems》:Mix-or-Split: Latency-Aware Scheduling for Edge–Cloud LLM Inference
【字体:
大
中
小
】
时间:2026年09月23日
来源:IEEE Transactions on Parallel and Distributed Systems 5.9
编辑推荐:
摘要:本文提出了一种延迟感知调度器,用于跨移动设备、边缘服务器和远程云的大语言模型(LLM)推理。我们的细粒度延迟模型捕获了OFDMA上行/下行速率、KV缓存回传串行化以及经过画像的GPU规划块资源约束,实现了每个请求在(i)仅云执行、(ii)云预填充+边缘解码拆分执行和(i
摘要:
本文提出了一种延迟感知调度器,用于跨移动设备、边缘服务器和远程云的大语言模型(LLM)推理。我们的细粒度延迟模型捕获了OFDMA上行/下行速率、KV缓存回传串行化以及经过画像的GPU规划块资源约束,实现了每个请求在(i)仅云执行、(ii)云预填充+边缘解码拆分执行和(iii)边缘预填充-解码混合执行之间的路由。该调度器通过四阶段循环实现高有效吞吐量和SLO达成率:窗口化准入、δ-相似提示分桶、tile选择和SM可行的预填充/解码分配及动态执行调整。我们界定了填充浪费、预填充延迟标准差和桶的数量,并分析了在高带宽、低负载条件下可行分配前沿如何受活动寄存器、SMEM和warp墙的塑造。在A800/A6000异构测试平台上,重复的真实服务实验验证了所有三种路由决策。在Qwen3-8B异构重放中,在线策略将平均端到端延迟降低了6.4%,相比最佳固定平均基线达到100%的SLO,同时其P95置信区间与固定云和边缘本地执行的重叠。在异构Llama-3重放中,策略为18/21/6个请求选择了云/混合/拆分;它在四个主要工作负载制度中达到100%的SLO,在提供的负载点上达到95.6--100%。真实的CUDA启动分析进一步表明,主导的预填充/解码内核对在两种GPU上的所有37种Llama形状都未能满足联合驻留资源边界;受保护的替代内核对分别占A800和A6000上分析的内核对权重的41.4%和26.9%。
I. 引言
大语言模型(LLM)推理日益受到其两个执行阶段之间不对称性的影响。预填充处理整个输入提示,是计算密集型,而解码逐个生成标记,受KV缓存流量、内存带宽和每标记延迟主导 [1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。现有服务系统通过批处理、KV缓存内存管理、SLO感知调度和预填充/解码重叠来改进这种两阶段执行 [9]、[10]、[11]、[12]。一旦服务位置和资源池固定,这些技术就非常有效。然而,在移动边缘-云推理中,第一个决策更为根本:对于每个请求,预填充和解码应该同置于边缘、在云和边缘之间拆分,还是完全在云中执行?
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号