Chat-Fusion:一种面向大语言模型的无冗余批处理推理系统

《IEEE Transactions on Parallel and Distributed Systems》:Chat-Fusion: An efficient batch inference system for cloud LLMs serving

【字体: 大 中 小 】 时间:2026年09月18日 来源:IEEE Transactions on Parallel and Distributed Systems 5.9

编辑推荐:

   摘要:批处理对于优化各种硬件资源(如GPU、CPU和其他专用加速器)的利用率非常有用,对于提高LLM服务的吞吐量也很重要。已经有很多研究工作致力于寻找更好的批处理和调度策略,以提高云端LLM服务系统的效率,增强数据局部性和资源利用率。在我们对实际云端LLM追踪的分析中,我们

  

摘要:

批处理对于优化各种硬件资源(如GPU、CPU和其他专用加速器)的利用率非常有用,对于提高LLM服务的吞吐量也很重要。已经有很多研究工作致力于寻找更好的批处理和调度策略,以提高云端LLM服务系统的效率,增强数据局部性和资源利用率。在我们对实际云端LLM追踪的分析中,我们观察到在处理同时到达的用户提示批处理时存在大量的计算和内存低效问题。这种低效源于提示之间的填充和表示等价的令牌,这可能导致重复或不必要的操作。现有的LLM推理系统忽略了批处理中冗余令牌所提供的这些优化机会,导致了大量的冗余计算和存储,尤其是KV缓存内存的浪费,这严重限制了批处理大小,无法充分利用GPU并行计算的潜力。为了解决这些问题,我们构建了Chat-Fusion,一个高效的无冗余批处理推理系统。在调度层面,Chat-Fusion包括:(1)一种动态批处理策略,避免了因提示长度不同而导致的填充和错位问题;(2)一个运行时环境,用于将令牌聚类为无重复的密集格式,并提供提示恢复的索引机制;以及(3)一种紧凑的KV缓存布局策略,避免了碎片化。在执行层面,由于压缩改变了推理过程,我们重新实现了必要的Transformer和KV缓存操作,以在压缩后的输入请求上实现高效、无冗余的LLM计算。我们的评估表明,在相同延迟下,与ORCA和vLLM等最先进的其他推理系统相比,Chat-Fusion将流行LLM的吞吐量提高了1.1到3.4倍。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号