SwiftKV:一种协同设计的面向边缘的注意力算法及多头加速器,用于快速高效的大语言模型解码
《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》:SwiftKV: A Co-Designed Edge-Oriented Attention Algorithm and Multihead Accelerator for Fast, Efficient LLM Decoding
【字体:
大
中
小
】
时间:2026年09月18日
来源:IEEE Transactions on Very Large Scale Integration (VLSI) Systems 3.2
编辑推荐:
**摘要:** 大语言模型(LLMs)的边缘加速,尤其是在解码阶段提高生成速度,对于其广泛应用至关重要。然而,在资源受限的边缘加速器上实现快速注意力推理和高效解码仍具有挑战性。本文提出了SwiftKV,一种协同设计的面向边缘的注意力算法(SwiftKV Attention)和
**摘要:** 大语言模型(LLMs)的边缘加速,尤其是在解码阶段提高生成速度,对于其广泛应用至关重要。然而,在资源受限的边缘加速器上实现快速注意力推理和高效解码仍具有挑战性。本文提出了SwiftKV,一种协同设计的面向边缘的注意力算法(SwiftKV Attention)和多头加速器(SwiftKV-MHA)。SwiftKV Attention是一种逐token流水化的单次通过注意力算法,以统一的逐token流水线将KV缓存中的每个 $(k_t, v_t)$ 恰好处理一次,无需分数物化、块级softmax或第二次遍历,从而在不依赖资源密集型并行性的情况下实现边缘加速器上的快速注意力计算。为了进一步加速端到端解码并解决现有加速器中多头支持有限的问题,SwiftKV-MHA在同一处理器阵列上支持高精度注意力和低精度GEMV运算,实现了多头并行推理,并使每个处理器能够独立完成单头的全部操作,从而实现快速高效的解码。实验结果表明,在Xilinx Alveo U55C上,SwiftKV Attention相比原生注意力实现了 **7.16倍** 的加速,并显著优于现有的注意力算法。在SwiftKV-MHA中,注意力仅占端到端推理延迟的3.19%;在相同设置下,其生成速度提升了17.4%,效率提高了 **1.98倍**,优于当前最先进的方案。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号