SETA:基于GPU-HBF分层架构的代理式大语言模型会话执行系统
《IEEE Computer Graphics and Applications》:SETA: Lifecycle-Aware Session Execution Tiering in Agentic LLM Serving with High-Bandwidth Flash
【字体:
大
中
小
】
时间:2026年10月23日
来源:IEEE Computer Graphics and Applications 2.1
编辑推荐:
在代理式大语言模型服务中,一个会话通过多轮交互处理用户请求,累积的上下文KV缓存会耗尽GPU高带宽内存(HBM)容量。现有系统将空闲会话的KV缓存卸载到主机DRAM或固态硬盘(SSD),但恢复时成本高昂。而GPU-HBF卡用高带宽闪存(HBF)替代HBM,在相当带宽下提供远大
在代理式大语言模型服务中,一个会话通过多轮交互处理用户请求,累积的上下文KV缓存会耗尽GPU高带宽内存(HBM)容量。现有系统将空闲会话的KV缓存卸载到主机DRAM或固态硬盘(SSD),但恢复时成本高昂。而GPU-HBF卡用高带宽闪存(HBF)替代HBM,在相当带宽下提供远大的容量。这适合成熟会话;大型KV缓存保持驻留并原地提供服务,且同时活跃的会话较少,因此单位容量带宽较低即可满足需求。相比之下,早期会话仍更适合HBM;它们的KV缓存较小,且同时活跃的会话很多。我们提出SETA,它将会话执行分层,而不仅仅是KV缓存放置。每一层是一个使用不同存储技术的GPU池,决定了会话的KV缓存驻留位置及其后续轮次的处理位置。会话从传统GPU层开始,随着成熟迁移到GPU-HBF层。在生产级代理工作负载中,SETA有效消除了KV缓存交换,实现了4.0-35倍的首令牌时间(TTFT)降低,1.5-2.1倍的轮次延迟降低,以及1.9-2.2倍的服务吞吐量提升,相比仅GPU基线。我们估计GPU-HBF卡成本为GPU的0.39倍,且在10年部署期内无需因闪存磨损而更换。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号