在提示信息可用时将其缓存起来——面向大型语言模型服务的碳意识缓存技术

《Proceedings of the ACM on Measurement and Analysis of Computing Systems》：Cache Your Prompt When It's Green — Carbon-Aware Caching for Large Language Model Serving

大语言模型（LLM）的存储环节成为碳排放新焦点，研究提出GreenCache框架动态平衡性能约束与碳减排，在70B参数模型测试中实现平均15.1%的碳减排，部分场景达25.3%。

　　

摘要AI 摘要

要查看此由 AI 生成的摘要，您必须具有高级访问权限。

了解更多登录

摘要

摘要

随着大型语言模型（LLMs）的广泛应用，它们对环境的影响——尤其是碳排放——受到了更多关注。以往的研究主要集中在与计算相关的碳排放上。在本文中，我们发现存储是另一个关键因素。LLM 的缓存机制通过保存和重用键值（KV）缓存来减少重复计算，从而降低运营过程中的碳排放。然而，这种好处是以高容量、高速 SSD 所带来的碳足迹为代价的。随着 LLM 规模的扩大，存储的碳足迹显著增加。为了解决这一权衡问题，我们提出了 GreenCache，这是一个具有碳意识的内存管理框架，能够动态地为 LLM 服务分配资源。GreenCache 分析了碳排放与服务水平目标（SLO）满足度之间的关联，并根据动态工作负载情况重新配置资源，以在 SLO 和碳排放之间保持平衡。实际测试表明，在 FR 网络环境中为 Llama-3 70B 提供服务时，GreenCache 平均降低了 15.1% 的碳排放；在超过 90% 的请求中，碳排放降低幅度甚至达到了 25.3%，同时仍满足了延迟要求。

AI 摘要

AI 生成的摘要（实验结果）

该摘要是使用自动化工具生成的，并非由文章作者撰写或审核。提供该摘要的目的是为了帮助读者发现研究价值、评估文章的相关性，并帮助来自相关研究领域的读者理解本文内容。它旨在补充作者提供的摘要，后者仍是文章的官方总结。完整文章才是权威版本。点击此处了解更多。

点击 此处 对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的摘要版本。

要查看此由 AI 生成的简单语言摘要，您必须具有高级访问权限。