跨请求的多上下文串联技术在大型语言模型（LLMs）中的应用 曹子怡（Ziyi Cao）、 张京斌（Jingbin Zhang）、 王帅（Shuai Wang）、 李少波（Shaobo Li）、 刘炳全（Bingquan Liu） 以及 谢恒（Heng Xie）

《Axioms》：Multi-Context Concatenation Across Requests for LLMs Ziyi Cao, Jingbin Zhang, Shuai Wang, Shaobo Li, Bingquan Liu and Heng Xie

CatLLM通过拼接多请求上下文解决大语言模型中跨注意力机制不足的问题，利用加权内积方法优化KV缓存计算，实验显示F1提升6%且减少需缓存上下文数量。

　　

摘要

在使用大型语言模型处理多上下文场景时，重复利用预先填充的关键值（KV）缓存已成为一种常见做法。然而，这会导致上下文之间的交叉注意力机制缺失。为了解决这个问题，我们提出了CatLLM，这是第一种在离线过程中将多个上下文连接起来的方法，以弥补这一缺陷。具体来说，在离线处理过程中，CatLLM通过将未连接上下文中的Q和K向量的加权内积纳入到连接后的Q和K内积的等效变换公式中，来识别那些严重缺乏交叉注意力的上下文。这样就得到了一个权重????+????，该权重对应于输出向量的差异。这个权重可以用来识别那些严重缺乏交叉注意力的上下文，并将它们合并成一个上下文，以便进行KV缓存计算。实验结果表明，与单独缓存（即不进行连接）的基线相比，完全连接所有上下文可以将F1分数提高6%。同时，所提出的方法将需要缓存的上下文数量从10个减少到7个，同时F1分数提高了3%，从而在最大化性能提升的同时最小化了上下文压缩的程度。