混合或拆分:面向边缘 - 云大语言模型推理的时延感知调度

《IEEE Transactions on Parallel and Distributed Systems》:Mix-or-Split: Latency-Aware Scheduling for Edge–Cloud LLM Inference

【字体: 大 中 小 】 时间:2026年09月23日 来源:IEEE Transactions on Parallel and Distributed Systems 5.9

编辑推荐:

   摘要:本文提出了一种延迟感知调度器,用于跨移动设备、边缘服务器和远程云的大语言模型(LLM)推理。我们的细粒度延迟模型捕获了OFDMA上行/下行速率、KV缓存回传串行化以及经过画像的GPU规划块资源约束,实现了每个请求在(i)仅云执行、(ii)云预填充+边缘解码拆分执行和(i

  

摘要:

本文提出了一种延迟感知调度器,用于跨移动设备、边缘服务器和远程云的大语言模型(LLM)推理。我们的细粒度延迟模型捕获了OFDMA上行/下行速率、KV缓存回传串行化以及经过画像的GPU规划块资源约束,实现了每个请求在(i)仅云执行、(ii)云预填充+边缘解码拆分执行和(iii)边缘预填充-解码混合执行之间的路由。该调度器通过四阶段循环实现高有效吞吐量和SLO达成率:窗口化准入、δ-相似提示分桶、tile选择和SM可行的预填充/解码分配及动态执行调整。我们界定了填充浪费、预填充延迟标准差和桶的数量,并分析了在高带宽、低负载条件下可行分配前沿如何受活动寄存器、SMEM和warp墙的塑造。在A800/A6000异构测试平台上,重复的真实服务实验验证了所有三种路由决策。在Qwen3-8B异构重放中,在线策略将平均端到端延迟降低了6.4%,相比最佳固定平均基线达到100%的SLO,同时其P95置信区间与固定云和边缘本地执行的重叠。在异构Llama-3重放中,策略为18/21/6个请求选择了云/混合/拆分;它在四个主要工作负载制度中达到100%的SLO,在提供的负载点上达到95.6--100%。真实的CUDA启动分析进一步表明,主导的预填充/解码内核对在两种GPU上的所有37种Llama形状都未能满足联合驻留资源边界;受保护的替代内核对分别占A800和A6000上分析的内核对权重的41.4%和26.9%。

I. 引言

大语言模型(LLM)推理日益受到其两个执行阶段之间不对称性的影响。预填充处理整个输入提示,是计算密集型,而解码逐个生成标记,受KV缓存流量、内存带宽和每标记延迟主导 [1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]。现有服务系统通过批处理、KV缓存内存管理、SLO感知调度和预填充/解码重叠来改进这种两阶段执行 [9]、[10]、[11]、[12]。一旦服务位置和资源池固定,这些技术就非常有效。然而,在移动边缘-云推理中,第一个决策更为根本:对于每个请求,预填充和解码应该同置于边缘、在云和边缘之间拆分,还是完全在云中执行?

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号