SETA:基于GPU-HBF分层架构的代理式大语言模型会话执行系统

《IEEE Computer Graphics and Applications》:SETA: Lifecycle-Aware Session Execution Tiering in Agentic LLM Serving with High-Bandwidth Flash

【字体: 大 中 小 】 时间:2026年10月23日 来源:IEEE Computer Graphics and Applications 2.1

编辑推荐:

   在代理式大语言模型服务中,一个会话通过多轮交互处理用户请求,累积的上下文KV缓存会耗尽GPU高带宽内存(HBM)容量。现有系统将空闲会话的KV缓存卸载到主机DRAM或固态硬盘(SSD),但恢复时成本高昂。而GPU-HBF卡用高带宽闪存(HBF)替代HBM,在相当带宽下提供远大

  在代理式大语言模型服务中,一个会话通过多轮交互处理用户请求,累积的上下文KV缓存会耗尽GPU高带宽内存(HBM)容量。现有系统将空闲会话的KV缓存卸载到主机DRAM或固态硬盘(SSD),但恢复时成本高昂。而GPU-HBF卡用高带宽闪存(HBF)替代HBM,在相当带宽下提供远大的容量。这适合成熟会话;大型KV缓存保持驻留并原地提供服务,且同时活跃的会话较少,因此单位容量带宽较低即可满足需求。相比之下,早期会话仍更适合HBM;它们的KV缓存较小,且同时活跃的会话很多。我们提出SETA,它将会话执行分层,而不仅仅是KV缓存放置。每一层是一个使用不同存储技术的GPU池,决定了会话的KV缓存驻留位置及其后续轮次的处理位置。会话从传统GPU层开始,随着成熟迁移到GPU-HBF层。在生产级代理工作负载中,SETA有效消除了KV缓存交换,实现了4.0-35倍的首令牌时间(TTFT)降低,1.5-2.1倍的轮次延迟降低,以及1.9-2.2倍的服务吞吐量提升,相比仅GPU基线。我们估计GPU-HBF卡成本为GPU的0.39倍,且在10年部署期内无需因闪存磨损而更换。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号