迈向可持续的端侧智能：基于小语言模型的节能RAG系统综述

《Neurocomputing》：Toward sustainable on-device intelligence: A survey on energy-efficient RAG systems with small language models

　　

• 端侧AI、RAG与绿色AI/可持续性的统一综合。
• ALEMC：面向可持续端侧RAG的五维评估框架。
• 对109篇关于模型压缩、端侧RAG与能耗的论文进行系统性综述。
• 提出三种集成模式及边缘智能面临的六项开放挑战。

**引言**

大型语言模型（LLMs）从根本上改变了自然语言处理领域，在推理、生成和指令遵循方面展现出卓越的能力。然而，这一进展伴随着不断攀升的计算成本。据估算，训练GPT-3消耗了约1287兆瓦时的电力，排放了约552吨二氧化碳，相当于123辆汽油私家车行驶一年的排放量[8]。大规模推理的能耗更为惊人：最新估算表明，部署一个广泛使用的对话式AI系统，其每日能耗已超过训练该模型的全部能耗[93]。与此同时，产业界正竞相将AI能力迁移至边缘设备——智能手机、可穿戴设备、物联网网关和嵌入式系统——这背后的驱动力包括隐私保护需求、低延迟要求、离线运行能力以及降低对云端的依赖。这种"越来越大、越来越不可持续的模型趋势"与"边缘硬件资源受限的现实"之间的鲜明对比，正是本综述所关注的核心张力。

我们认为，三条独立发展成熟的研究线索正在以需要统一分析的方式汇聚。每一条都应对着这一挑战的关键维度，但现有的框架尚无一种能将三者整合为连贯的系统视角。本综述旨在弥合这一缺口，将端侧检索增强生成（RAG）视为一个具有可持续性意识的系统设计问题——在该问题中，模型架构、检索管道设计、硬件约束和环境影响必须协同优化。

**支柱一：端侧AI与小语言模型。** 能够在移动功耗范围内实现22–75 TOPS算力的神经网络处理器（NPU）的出现，使本地推理不仅可行，而且日益实用。与此同时，新一代小语言模型（SLMs）——参数量大致在1亿到70亿之间——已证明精心设计的架构配合精选数据训练，可以在特定任务上与更大的模型媲美。MobileLLM[67]在2GB内存预算内运行于智能手机上；TinyLlama[108]表明，在3万亿token上进行扩展训练可以弥补参数量减少带来的性能损失；Gemma[36]则提供了具有强大多语言能力的开源模型，参数量在20亿至70亿之间。结合GPTQ[31]和AWQ[62]等激进的量化技术，这些模型可以被压缩至每权重3–4比特而精度损失微乎其微，能够轻松适配现代移动硬件的内存和计算约束。

**支柱二：检索增强生成。** RAG已成为将语言模型输出与外部知识结合、缓解幻觉以及在不付出高昂重训成本的前提下实现知识更新的范式。Lewis等人[59]将该方法形式化为联合检索-生成架构，DPR[55]等稠密检索方法随后为开放域问答建立了强基线。除广为人知的这些优势之外，RAG还具有一个被低估的可持续性优势：通过仅检索与查询最相关的段落，它使生成器能够在紧凑的、有针对性的上下文上运行，而非纯长上下文推理所需的冗长提示。由于预填充计算量与上下文长度成线性关系——对于标准注意力机制则为二次关系——而解码期间KV缓存的能耗与缓存的前缀成正比，因此精确限定范围的检索直接降低了每次查询的能耗。在这个意义上，RAG不仅是一种知识锚定技术，更是一种计算简约机制，用证据导向的上下文传递取代了无差别的长上下文处理。然而，标准的RAG管道假设有云计算级资源：大型嵌入模型、GPU支持的向量索引以及为长上下文生成提供充足的内存预算。将该范式迁移到边缘设备需要对每一个组件重新思考。MiniRAG[27]和EdgeRAG[81]等近期系统已经开始进行这种迁移，证明了端侧RAG可以通过轻量级嵌入、压缩向量索引和选择性上下文检索来实现——尽管代价是设计复杂度的增加以及精度-效率权衡的微妙变化。

**支柱三：绿色AI与可持续性。** 越来越多的研究记录了AI扩展范式的环境代价。Strubell等人[85]表明，训练单个大型Transformer模型可能排放相当于五辆汽车整个生命周期寿命的二氧化碳，而Schwartz等人[80]提出的具有影响力的"红色AI/绿色AI"区分则倡导效率应与准确率并列作为一等指标进行报告。CodeCarbon[18]等碳追踪工具和CO2-Meter[34]等推理专用估算器如今使得在每次查询粒度上测量AI工作负载的环境足迹成为可能。可持续性关注点还延伸到运营能耗之外的上游材料供应链：He等人[41]指出，AI数据中心的扩展日益受到稀土元素可用性的制约，由此带来的成本和进度风险与碳排考量相互叠加，促使业界向更小、边缘部署的系统转变，后者对每次部署查询所需的专用硬件加速器更少。然而，可持续性考量仍然基本脱离端侧AI和RAG的设计流程：模型为速度和内存而压缩，而非为碳排而优化；检索管道为召回率而优化，而非为能耗而优化。

上述三大支柱各自已有成熟的综述加以覆盖，但每一篇至多覆盖其中两个维度。关于端侧语言模型部署的全面综述——Xu等人[103]、Zheng等人[111]、Wang等人关于SLM的综述[94]、Chen等人关于模型压缩与系统的综述[12]以及Wang等人关于边缘智能的综述[98]——涉及硬件约束、压缩和部分推理时能耗效率问题，但忽略了RAG集成。这些综述进一步建立在广泛的LLM综述[51]、[109]以及对高效架构[89]、模型压缩[113]和推理模型高效推理[66]的专门论述之上，这些构成了我们综合所依托的单支柱基础。Gao等人[35]和Sharma[82]的RAG综述对检索策略、评估框架和失效模式进行了全面覆盖，但未考虑端侧部署或可持续性。绿色AI的系统性综述——Verdecchia等人[92]、Rojahn和Grum[78]以及Devadas关于碳感知AI分类法的工作[23]——绘制了能耗测量和生命周期模型，但很少考察RAG管道或NPU特定优化。**没有任何一篇先前的综述将三者交汇——即可持续端侧RAG系统所在的单一设计空间——作为统一对象来研究。** 事实上，这一交叉领域出奇地稀疏：仅有少数论文正位于其中——端侧LLM的碳足迹估算器（CO2-Meter[34]、EnviroLLM[3]）、能耗感知服务与报告（GreenLLM[65]、AI-CARE[1]）以及碳感知自适应（Carbon-Aware LoRA Scaling[110]、GaiaFlow[33]）——且多数为2025–2026年的预印本，仅针对个别组件而非集成系统。正是由于这一文献尚处于萌芽和碎片化阶段，综合才具有价值：本工作的贡献不在于编目大量既有的交叉研究成果，而在于在三者各自惯例尚未分化之前，将三个相邻社区统一到一个连贯的框架中。这种缺失之所以成问题，是因为设计决策之间存在深度耦合：量化位宽的选择同时影响NPU吞吐量和每token能耗；检索策略决定了答案质量和上下文处理的计算开销；部署位置——边缘还是云——不仅改变延迟和隐私特性，还将碳方程从运营排放转向内嵌排放。

本综述做出以下贡献：

1. **三方交汇处的统一综合。** 在端侧LLM[94]、[103]、[111]、RAG[35]、[82]以及绿色AI[78]、[92]的成熟单支柱和双支柱综述基础上，我们提供了一个跨领域综合，将端侧AI推理、检索增强生成和绿色AI/可持续性作为单一设计空间共同覆盖——这一组合是先前单支柱和双支柱综述仅以碎片化方式触及的。由于真正的三方交叉文献仍然很小[1]、[3]、[33]、[34]、[65]、[110]，我们的贡献是一种综合——分析设计选择之间的相互依赖关系，这是任何先前单支柱或双支柱综述所未能捕捉的——而非对一个成熟交叉领域的编目。

2. **109篇论文的系统性分类。** 我们将2017至2026年间发表的109篇论文划分为九个类别，涵盖基础模型、SLM架构、量化与压缩、NPU硬件、RAG基础、端侧RAG系统、绿色AI测量、评估框架和应用案例研究。

3. **ALEMC框架。** 我们提出ALEMC——精度、延迟、能耗、内存、碳排——这一评估框架在传统性能指标基础上增加了显式的能耗和碳排维度，为在可持续性的整个谱系范围内比较端侧RAG配置提供了原则性基础。

4. **端侧RAG集成模式。** 我们综合了三种设计模式：量化SLM配合轻量级检索器、边缘-云混合回退、以及碳感知自适应管道。它们在精度、效率和可持续性之间的权衡空间中占据不同的点位。

5. **开放挑战与研究路线图。** 我们识别了六项开放挑战，涵盖NPU硬件差距、标准化能耗基准、生命周期感知的模型选择、联邦端侧RAG、多模态边缘检索以及法规影响。我们为每一项挑战勾勒出未来的研究方向。

图1展示了本综述的范围，即三个研究领域的交汇。本文其余部分组织如下。第2节描述我们的系统综述方法，包括搜索策略、筛选标准和分类体系。第3节介绍基于Transformer的语言模型背景、向SLM的演进、RAG范式、绿色AI基础以及使边缘部署成为可能的NPU硬件格局。第4节综述模型压缩技术——量化、剪枝、知识蒸馏和推理优化——特别关注其与NPU数据通路的兼容性。第5节综述端侧RAG系统架构、效率技术和失效模式。第6节考察能耗测量框架、可持续推理策略以及端侧与云部署之间的碳排对比。第7节呈现核心综合：ALEMC评估框架、设计空间分类法、集成模式以及可持续端侧RAG的案例研究。第8节识别开放挑战和未来研究方向。第9节总结全篇。

**章节摘要**

**综述方法**

本综述遵循受PRISMA 2020指南[75]启发的结构化文献综述方法。以下描述我们的搜索策略、筛选标准和分类体系。

**背景与预备知识**

本节建立端侧RAG系统的基础概念。我们追溯从大型语言模型到小语言模型的演进，介绍RAG范式，形式化绿色AI视角，并综述使边缘部署成为可能的端侧硬件格局。

**面向端侧部署的模型压缩**

在边缘设备上部署语言模型要求在保持任务精度的同时大幅缩减模型体积、内存带宽和算术复杂度。本节综述四类互补的压缩与优化技术——量化、剪枝、低秩适配与蒸馏、以及推理级优化——特别关注其与第3节中介绍的神经网络处理器（NPU）数据通路的兼容性。本文综述的上述技术——

**端侧RAG系统**

图7对比了（a）基于云的RAG管道与（b）端侧RAG管道，突出了边缘部署如何消除广域网依赖并改善隐私和每次查询能耗，代价是端侧内存和计算预算十分紧张。将RAG管道从数据中心基础设施迁移到边缘设备，从根本上重塑了"先检索后生成"范式的每一个阶段。基于云的RAG享有几乎无限的GPU内存、高吞吐量的向量数据库以及大规模的重新排序——

**绿色AI：AI生命周期中的能耗与碳排**

现代语言模型的计算需求带来了显著且不断增长的环**境**成本。Strubell等人[85]通过估算单个大型Transformer模型的训练可能排放相当于五辆汽车整个生命周期寿命的碳排，最早引起了对这一问题的关注。更近的研究中，de Vries[93]预测，如果当前的扩展趋势持续，到2020年代后期AI相关电力消耗可能比肩整个国家的消耗量。作为回应，绿色AI领域——

**汇聚：走向可持续端侧RAG**

前述三节分别从模型压缩（第4节）、端侧RAG架构（第5节）以及绿色AI测量与策略（第6节）角度考察了 largely independent 的研究线索。然而在实践中，每一次端侧RAG部署都是从三个领域中提取决策的联合实例化：量化方案既决定了检索索引可用的内存余量，也决定了每生成token的能耗；检索深度同时影响——

**开放挑战与未来方向**

前述各章揭示，可持续端侧RAG在技术上是可行的，但远未成熟。在硬件、软件、评估和政策等共同定义这一设计空间的维度上，重大差距依然存在。本节识别六项开放挑战，分析每一项为何对该领域的长期轨迹至关重要，并为研究社区提出具体的研究方向。

图13概述了跨越近期、中期和长期的分阶段研究路线图。结论：本综述回顾了109篇论文，涵盖端侧AI推理、检索增强生成与绿色AI三者交汇的领域，为该设计空间提供了统一且跨领域的综合总结，而此前单支柱或双支柱的综述仅以碎片化的方式涉及。通过追溯从大规模云端语言模型向配备NPU的边缘设备部署小型量化模型的演变历程，并探讨RAG流水线如何必须重新架构以在内存和延迟等约束条件下运行……作者贡献声明：陈志远：撰写原稿、项目管理、方法论、调查、正式分析、概念化。赖龙英：撰写审稿与编辑、可视化、调查、正式分析、数据整理。刘月：撰写审稿与编辑、正式分析。孙宇：撰写审稿与编辑、正式分析。利益冲突声明：作者声明不存在任何可能影响本文报告工作的已知竞争性财务利益或个人关系。陈志远是一位独立研究者，专注于能效友好的端侧AI，包括结合小型语言模型的检索增强生成以及可持续、低碳的推理系统。他拥有斯坦福大学可持续设计与建造硕士学位以及同济大学土木工程学士学位。他的工作致力于通过将推理从云端数据中心转移至客户端设备来减少AI的能耗和碳足迹，涉及的主题涵盖……陈志远 | 赖龙英 | 刘月 | 孙宇