《Proceedings of the ACM on Management of Data》：CatKV: Accelerating Position-Independent Caching with Context-Adaptive KV Cache Compression
要查看此由 AI 生成的摘要，您必须具有高级访问权限。
摘要
摘要
上下文缓存被广泛采用，以降低各种大型语言模型（LLM）应用程序中长输入的预填充成本。最近，位置无关缓存（PIC）出现，以改进 KV 缓存的复用率，而不仅仅是严格的前缀匹配。然而，在实际部署中，所需的 KV 缓存通常存储在持久的远程存储中，这使得 KV 数据传输成为从开始到获得第一个标记（TTFT）时间的新瓶颈。现有的 KV 压缩技术主要针对长文本上下文设计。由于 PIC 中的文本片段较短，这些技术无法提供足够的压缩效果，或者会导致生成质量显著下降。
在这项工作中，我们提出了 CatKV，这是一个端到端的 PIC 服务系统，用于高效利用 KV 缓存。具体来说，我们在 CatKV 中设计了一种基于上下文的混合精度压缩方案，该方案将 SVD 因式分解与潜在空间中的自适应标量量化结合起来。给定一个目标压缩比，CatKV 通过使用肘部方法分析奇异值谱来自动确定 SVD 和量化配置。为了提高系统效率，CatKV 将冷文本片段的在线压缩任务卸载到 CPU 上进行异步执行，并利用跨片段的组合因式分解来进一步减少存储消耗。此外，CatKV 引入了一个六阶段的层次化流水线来减少端到端的延迟。广泛的实验表明，CatKV 在 3 种 PIC 算法、4 个基准测试和 3 个 LLM 中表现出优越性。特别是，与基线相比，CatKV 的 TTFT 快了 2-5 倍，压缩比提高了 6-10 倍，同时保持了模型准确性。CatKV 是开源的，代码位于 https://github.com/AlayaDB-AI/CatKV.git。
AI 摘要
AI 生成的摘要（实验性）
此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助发现内容、帮助读者评估相关性，并协助来自相关研究领域的读者理解本文。它旨在补充作者提供的摘要，后者仍然是文章的官方版本。完整文章具有最终权威性。点击此处了解更多。
请点击 此处 对摘要的准确性、清晰度和有用性进行评论。您的反馈将有助于改进未来的版本。
摘要
摘要
上下文缓存被广泛用于降低各种大型语言模型（LLM）应用程序中长输入的预填充成本。最近，位置无关缓存（PIC）技术出现，旨在改进 KV 缓存的复用率，而不仅仅是严格的前缀匹配。然而，在实际部署中，所需的 KV 缓存通常存储在持久的远程存储中，这使得 KV 数据传输成为从开始到获得第一个标记（TTFT）时间的新瓶颈。现有的 KV 压缩技术主要针对长文本上下文设计。由于 PIC 中的文本片段较短，这些技术无法提供足够的压缩效果，或者会导致生成质量显著下降。
在这项工作中，我们提出了 CatKV，这是一个端到端的 PIC 服务系统，用于高效利用 KV 缓存。具体来说，我们在 CatKV 中设计了一种基于上下文的混合精度压缩方案，该方案将 SVD 因式分解与潜在空间中的自适应标量量化结合起来。给定一个目标压缩比，CatKV 通过使用肘部方法分析奇异值谱来自动确定 SVD 和量化配置。为了提高系统效率，CatKV 将冷文本片段的在线压缩任务卸载到 CPU 上进行异步执行，并利用跨片段的组合因式分解来进一步减少存储消耗。此外，CatKV 引入了一个六阶段的层次化流水线来减少端到端的延迟。广泛的实验表明，CatKV 在 3 种 PIC 算法、4 个基准测试和 3 个 LLM 中表现出优越性。特别是，与基线相比，CatKV 的 TTFT 快了 2-5 倍，压缩比提高了 6-10 倍，同时保持了模型准确性。CatKV 是开源的，代码位于 https://github.com/AlayaDB-AI/CatKV.git。
AI 摘要
AI 生成的摘要（实验性）
此摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现内容、评估相关性，并协助来自相关研究领域的读者理解本文。它旨在补充作者提供的摘要，后者仍然是文章的官方版本。完整文章具有最终权威性。点击此处了解更多。
请点击 此处 对摘要的准确性、清晰度和有用性进行评论。您的反馈将有助于改进未来的版本。
