迈向通过小型语言模型实现可持续与节能的智能代理人工智能：一项全面综述

《Computer Science Review》：Towards sustainable and energy-efficient agentic AI via small language models: A comprehensive survey

　　

## 摘要

代理式 AI 的泛滥正在引发一场能源消耗危机，这既无法通过渐进式的硬件改进解决，也无法仅凭可再生能源采购化解。本文综述主张，通往可持续自主智能的最可行路径，并不在于让大语言模型（LLMs）更"绿色"，而在于从根本上重新思考代理性（agency）的单位：以小型语言模型（SLMs）取代单体化的前沿模型，这些 SLM 面向大量已部署代理式工作负载所具备的受限、重复、专用任务特征进行针对性设计。本文对小型模型生态进行了结构化回顾，汇总已发表证据表明，在 1B–7B 参数范围内的 4 位量化模型在若干类别的代理式子任务上已可接近 LLM 级性能；在各自所评估的具体模型对、硬件与工作负载条件下，单项研究报告每令能耗降低约一个数量级；同时使得亚瓦级神经形态硬件与嵌入式硬件的边缘部署成为可能，这是前沿模型无法企及的。本文综述了多个应用领域，识别了贯穿代理式技术栈的开放研究挑战，并提出"每瓦智能"（Intelligence-per-watt, IPW）概念，作为可持续自主智能研究的核心组织性指标。本文综述提供了对文献的概念性分析，基于已发表数据开展数量级估算，并未进行原创的物理测量。

## 1. 引言

AI 从工具走向自主代理，是计算史上最重大的架构转变之一。经典 AI 系统对离散查询作出响应：用户提交输入，收到输出，系统随即返回空闲状态。代理式 AI 系统的工作方式不同：它们自主地追求多步目标，将任务分解为子问题，调用外部工具，从记忆存储中检索与更新知识，派生专用子代理，监控执行结果，并依据环境反馈修订计划，全程无需持续的人类监督 [1], [2], [3]。这种架构转变不仅仅是能力升级，它从根本上重构了 AI 的能源代谢方式。

经典语言模型推理的能源剖面是有界且片段化的：一次查询、一次前向传播、一次响应。代理式系统的能源剖面则是连续的、多层的、且在架构上无界的。一个负责软件系统调试的编码代理可能在每项任务中发起 20–50 次 LLM 调用，每次调用都伴随着不断增长的上下文窗口，其间还穿插着对向量数据库的检索操作、跨外部 API 的工具执行，以及与协作代理之间的消息传递交换 [4], [5], [6]。由于每次迭代都在更长的上下文之上进一步发起模型调用，这种工作流的累积能耗在量级上远大于向静态模型提出一次等效查询的能耗，且倍增因子随循环深度与上下文增长而递增。迄今为止，从未有过任何经同行评议的端到端测量，对标准化代理式工作负载的该倍率给出过定量结果，因此我们将此视为一种结构性属性，而非一个比值。

对此问题的传统应对方式在技术与经济上均不充足。可再生能源采购并不减少消耗，只是转移了其碳归因。更根本的是，部署一个拥有数百亿参数的前沿模型去完成构成大多数代理式工作负载的例行、重复、范围受限的任务，这种架构浪费无论多少绿色能源都难以抵消。正如 Belcak 等人 [7] 所论断——本文综述所依托并组织并定位于此既有证据体系之上的立场——"用前沿 LLM 来格式化一段 JSON 响应，如同用超音速飞机送邮件：技术上令人赞叹，但在经济上和能耗上都是荒谬的。"

架构层面的答案是 SLM：在 100 M–10 B 参数范围内紧凑、高效且能力日益增强的语言模型，可针对特定代理任务类别进行针对性设计和微调，部署于本地边缘硬件之上，并以前沿模型推理几近零头的能耗成本持续运行。自 2023 年以来，SLM 生态已显著成熟：Phi 家族 [8], [9]、Gemma [10]、TinyLLaMA [11]、SmolLM [12]、MobileLLM [13]、Qwen2.5 [14] 以及基于 Mamba 的 SSM [15] 共同表明，10 B 以下模型的能力前沿已大幅超越了此前认为在该规模下所能达成的水平。Lu 等人 [16] 报告称，在 1B–5B 范围内的 SLM 在其所描述硬件与工作负载条件下的多个代理式子任务类别上达到或超过了其评估的 LLM 基线。[17], [18] 对其所评估的模型对与平台报告了每令能耗约降低一个数量级的结果；由于这些数字来自不同的测量边界，彼此之间不能直接比较。

### 1.1. 主要贡献

本文的主要贡献共六点。第一，建立一个统一框架——即一个连贯的概念架构，将 SLM、代理式 AI 与可持续自主智能串联于同一分析框架之内。第二，提出一种五层能耗分类法，对代理式 AI 的能耗进行新的分解，包含计算层、内存层、通信层、具身/边缘层与可持续优化层。第三，开展系统化的 SLM 分析：在能效、代理能力、边缘可部署性与量化支持等维度上对 SLM 生态进行比较分析，并对 20 个模型进行逐一表征。第四，综述可持续架构，对可用于整个代理式技术栈的能耗削减策略进行全面回顾。第五，绘制应用生态，对广泛的领域进行综述，并对每个领域展开架构、能耗与部署分析。最后，提出 IPW 作为可持续自主智能的核心优化指标。表 1 将上述贡献与既有综述进行定位比较。

**表 1. 本文综述与代表性相关综述的覆盖对比。**

| 贡献 | 本文 | [16] | [19] | [2] | [6] | [20] | [7] |
|---|---|---|---|---|---|---|---|
| SLM 用于代理式 AI（统一框架） | ? | | | | | | |
| 五层能耗分类法 | ? | | | | | | |
| 认知环路（PCEL）能耗分析 | ? | | | | | | |
| SLM 边缘部署能耗 | ? | | | | | | |
| 优化技术分类法 | ? | | | | | | |
| 可持续架构 | ? | | | | | | |
| 硬件部署连续谱 | ? | | | | | | |
| 应用领域 | ? | | | | | | |
| 批判性对比评估 | ? | | | | | | |
| 能耗/碳排放测量综合 | ? | | | | | | |
| IPW 指标 | ? | | | | | | |
| 神经形态 SLM 代理 | ? | | | | | | |
| 研究缺口全景与路线图 | ? | | | | | | |
| TAI 愿景 | ? | | | | | | |

*图例：完全支持 / 部分或有限支持 / 不支持或缺失*

### 1.2. 综述方法

共检索了八个数据源：Scopus、Web of Science、IEEE Xplore、ACM DL、ScienceDirect、arXiv、DBLP 与 Google Scholar。后三者之所以加入，是因为此类文献中大量内容最初以预印本形式出现，并且 Google Scholar 被用于前向引文追踪。在支持字段化检索的数据源上，查询针对标题、摘要与关键词进行；在其他数据源上则针对全文进行，除各接口自身的截断与引号语法外，检索式在各源间保持一致：

- **S1** `("small language model*" OR "compact language model*" OR "on-device language model*" OR "tiny language model*" OR SLM) AND (efficien* OR compress* OR quantiz* OR distill* OR prun*)`
- **S2** `("agentic AI" OR "LLM agent*" OR "autonomous agent*" OR "multi-agent system*" OR "tool-using language model*") AND (plan* OR reason* OR orchestrat* OR memory OR "tool call*")`
- **S3** `(energy OR power OR carbon OR sustainab* OR "green AI" OR efficiency) AND ("language model*" OR inference OR "neural network*") AND (measur* OR benchmark* OR report*)`
- **S4** `("edge AI" OR "edge comput*" OR TinyML OR microcontroller OR NPU OR neuromorphic OR "embedded inference") AND ("language model*" OR transformer OR agent*)`
- **S5** `(S1 AND S2) OR (S1 AND S3) OR (S2 AND S3) OR (S1 AND S4)`

综述时间覆盖自 2017 年 Transformer 架构 [21] 提出至本修订稿提交日；少量更早的文献因提供基础背景而保留，最终参考文献表中的大多数条目处于 2017–2026 年窗口内。记录被保留的标准是：引入、评估或综述了参数规模大致在 10 B 以下的语言模型，或面向该规模模型的压缩技术；涉及自主语言模型代理的架构、编排、记忆、规划或工具使用；报告了神经工作负载的能耗、功率、碳或热测量，或获取这些测量的方法论；或涉及在边缘、嵌入式、移动或神经形态硬件上的部署。记录被剔除的标准是：非英文；与已保留记录重复，同行评议版本取代了预印本；为仅有立场而缺乏方法学或实证内容的立场文章；或无法获取全文。缺乏技术描述的非档案性材料同样被剔除，但模型卡（model card）与厂商文档除外，此类材料被保留并作了相应标注。

筛选分六个阶段进行：**识别**阶段汇集所有数据源与检索式的原始命中；**去重**阶段合并共享 DOI、arXiv 标识符或规范化"标题—作者"签名记录；**标题/摘要筛选**阶段应用上述准则；**全文阅读**阶段重新应用这些准则，特别关注所报告的能耗数字是否附带明确的测量边界；**资格评估**阶段剔除未通过该项检查的记录；**前向与后向滚雪球检索**阶段进一步补充记录，直至再无任何新工作符合条件。每条保留记录被赋予一个主类别及若干副类别：(C1) SLM 架构与家族，(C2) 压缩与优化，(C3) 代理式架构、规划、记忆与工具使用，(C4) 能耗、功率与碳测量，(C5) 边缘、嵌入式与神经形态部署，(C6) 应用领域，(C7) 评估与基准。分配依据为记录在其摘要中声明的主要贡献，而非其被引用的章节位置；跨类别记录被归入与其评估方法学相匹配的类别，因为该因素决定了该记录可作为何种证据被引用。

### 1.3. 论文组织

第 2 节追溯 AI 范式的历史演进。第 3 节奠定代理式 AI 的基础。第 4 节综述面向代理式部署的 SLM，包含模型设计与优化技术的分类法。第 5 节提出五层能耗分类法及其操作化测量方法论。第 6 节回顾可持续架构与硬件部署连续谱。第 7 节绘制应用生态全景。第 8 节考察集群规模部署的约束。第 9 节对各方法家族开展批判性对比评估。第 10 节将跨章综合提炼为决策框架。第 11 节识别开放研究挑战，第 12 节将其综合为研究缺口全景与面向可持续代理式智能的未来方向。第 13 节讨论本工作的局限及其效度威胁。第 14 节作结。表 2 汇总关键术语。

**表 2. 缩略语与缩写列表。**

| 缩写 | 含义 |
|---|---|
| ACM | Association for Computing Machinery（美国计算机协会） |
| AI | Artificial Intelligence（人工智能） |
| ANN | Approximate Nearest Neighbour（近似最近邻） |
| API | Application Programming Interface（应用程序编程接口） |
| ARM | Advanced RISC Machines（高级 RISC 机器） |
| CNN | Convolutional Neural Network（卷积神经网络） |
| CoT | Chain-of-Thought（思维链） |
| CPU | Central Processing Unit（中央处理器） |
| DB | Database（数据库） |
| DBLP | Digital Bibliography and Library Project（数字书目与图书馆项目） |
| DE | Derived Estimate（证据类型：推导估算） |
| DL | Digital Library（数字图书馆） |
| DOC | Official Documentation（证据类别：官方文档） |
| DOI | Digital Object Identifier（数字对象标识符） |
| DoS | Denial of Service（拒绝服务） |
| DRAM | Dynamic Random-Access Memory（动态随机存取存储器） |
| ECG | Electrocardiogram（心电图） |
| FL | Federated Learning（联邦学习） |
| FLOP | Floating-Point Operation（浮点运算） |
| GPU | Graphics Processing Unit（图形处理器） |
| GQA | Grouped-Query Attention（分组查询注意力） |
| HBM | High-Bandwidth Memory（高带宽存储器） |
| HVAC | Heating, Ventilation and Air Conditioning（暖通空调） |
| HW | Hardware（硬件） |
| IE | Illustrative Extrapolation（证据类型：示意性外推） |
| INT4 | 4-bit Integer（4 位整数，量化格式） |
| INT8 | 8-bit Integer（8 位整数，量化格式） |
| IO | Input/Output（输入/输出） |
| IoT | Internet of Things（物联网） |
| IP | Intellectual Property（知识产权） |
| IPW | Intelligence-per-watt（每瓦智能） |
| JSON | JavaScript Object Notation（JavaScript 对象表示法） |
| KD | Knowledge Distillation（知识蒸馏） |
| KL | Kullback–Leibler（散度） |
| KV | Key-Value（键值缓存） |
| LAN | Local Area Network（局域网） |
| LATS | Language-Agent Tree Search（语言代理树搜索） |
| LCA | Life-Cycle Assessment（生命周期评估） |
| LLM | Large Language Model（大语言模型） |
| LoRA | Low-Rank Adaptation（低秩适应） |
| LSTM | Long Short-Term Memory（长短期记忆） |
| MAS | Multi-Agent System（多智能体系统） |
| MCU | Microcontroller Unit（微控制器单元） |
| MEC | Multi-access Edge Computing（多接入边缘计算） |
| ML | Machine Learning（机器学习） |
| MoE | Mixture-of-Experts（混合专家） |
| N/A | Not Applicable（不适用） |
| NIC | Network Interface Controller（网络接口控制器） |
| NLP | Natural Language Processing（自然语言处理） |
| NN | Neural Network（神经网络） |
| NPU | Neural Processing Unit（神经处理单元） |
| PCEL | Persistent Cognitive Energy Loop（持久认知能耗环路） |
| PEFT | Parameter-Efficient Fine-Tuning（参数高效微调） |
| PP | Preprint（证据类别：预印本） |
| PR | Peer-Reviewed（证据类别：同行评议） |
| PTQ | Post-Training Quantization（训练后量化） |
| QAT | Quantization-Aware Training（量化感知训练） |
| QLoRA | Quantization-Aware Low-Rank Adaptation（量化感知低秩适应） |
| RAG | Retrieval-Augmented Generation（检索增强生成） |
| RAM | Random-Access Memory（随机存取存储器） |
| RAPL | Running Average Power Limit（运行平均功率限制） |
| REPO | Public Repository（证据类别：公开仓库） |
| RNN | Recurrent Neural Network（循环神经网络） |
| SLM | Small Language Model（小型语言模型） |
| SLO | Service-Level Objective（服务等级目标） |
| SM | Source-Measured（证据类型：来源实测） |
| SoC | System-on-Chip（片上系统） |
| SpO2 | Peripheral Oxygen Saturation（外周血氧饱和度） |
| SSM | State-Space Model（状态空间模型） |
| SVM | Support Vector Machine（支持向量机） |
| TAI | Tiny Agentic Intelligence（微型代理式智能） |
| TinyML | Tiny Machine Learning（微型机器学习） |
| TPU | Tensor Processing Unit（张量处理单元） |
| UAV | Unmanned Aerial Vehicle（无人机） |
| VLA | VLA（视觉—语言—动作模型） |

## 2. AI 向可持续自主智能的演进

下文综述的范式转变，不仅改变了 AI 系统能做什么，也改变了它们的能耗所投向何处。图 1 追溯了自预训练 Transformer 时代来临至今的语言模型研究轨迹，将其里程碑划分为扩展时代、效率时代，以及当前的"小型化与代理化"模型时代。表 3 则以更宏观的视角，将本文所倡导的可持续自主智能与从符号推理以来每一个范式加以对比，涵盖共同决定能耗剖面的架构、计算、内存与部署诸维度。

**图 1.** 语言模型研究自单体化扩展向能效、代理化与小型化模型的演进。

**表 3. AI 范式与能耗剖面的演进。**

| AI 范式 | 架构 | 计算特征 | 内存需求 | 推理复杂度 | 能耗特征 | 部署约束 |
|---|---|---|---|---|---|---|
| 符号 AI | 逻辑/LISP 引擎 | 片段式、低吞吐 | 符号知识库 | 低 | 极低；无训练 | 大型机；脆弱 |
| 统计 ML | SVM、提升、浅层 NN | 批训练、CPU | 特征向量 | 极低 | 中等；以训练为主导 | CPU 服务器 |
| 深度学习 | CNN、RNN、LSTM | GPU 批；规模递增 | 权重 + 激活 | 中 | 训练高；推理便宜 | GPU 集群 |
| LLM | Transformer（B–T 参数） | 大规模并行；耗月 | 巨大权重 + KV 缓存 | 高（上下文为二次） | 训练与推理均极高 | 超大规模 GPU |
| 代理式 AI | LLM + 工具 + 记忆 | 多次调用循环 | 模型 + 向量库 + KV | 极高（含循环） | 倍增；连续 | 当前仅云部署 |
| SLM | 紧凑 Transformer/SSM | 轻推理；边缘可行 | 1–16 GB | 低–中 | 低；边缘可部署 | 移动、IoT、边缘 |
| 可持续自主智能 | SLM + 神经形态 + 边缘 | 自适应；事件驱动 | 极简；压缩 | 自适应 | 超低；能量收集 | 嵌入式；永续运行 |

### 2.1. 符号 AI 与专家系统

最早的 AI 范式依赖显式的符号表示和由领域专家手工维护的知识库 [22]。诸如 MYCIN、XCON 与基于 LISP 的规划器等系统呈片段式运作，仅在推理查询时消耗电力，既无需持久状态，也无需学习或连续运行 [23]。以现代标准衡量，其能耗足迹可忽略不计；但其脆弱性使其在经济上无法规模化——编码与维护知识库所需的人力投入构成了一项隐性能耗成本，阻碍其在接近当代 AI 规模上的部署。

### 2.2.

机器学习与深度学习

向统计学习的转变引入了训练阶段，作为一项前置的能量投资。浅层模型在普通硬件上的训练时间以小时计，而推理的计算负担则微不足道[24]。2012年ImageNet的突破性进展表明，GPU加速的深度卷积网络能够在视觉识别任务上超越人工特征工程[25]，由此触发了长达十年的硬件加速扩展浪潮，训练成本从数小时增长到数月，从单机扩展到数千GPU组成的集群。Strubell等人[26]量化了这一轨迹的能量影响，证明训练单个大型NLP模型并使用神经架构搜索，其CO2排放量相当于五辆汽车全生命周期的排放量。

2.3. 大型语言模型与基础模型

Transformer架构[21]的引入以及随后扩展到互联网规模训练的基础模型（BERT [27]、GPT-3 [28]、GPT-4 [29]、LLaMA [30]），证明了足够大的模型在足够多样化的数据上训练后，能够在语言理解、生成、推理和代码合成等方面发展出广泛的、可迁移的能力[31]。前沿模型单次训练的能量成本已达数千兆瓦时[32]，但更具深远意义的是，大规模部署将主要能量来源从训练转移到了推理：Luccioni等人[33]证实，推理现已占已部署AI服务运营排放的大部分。

2.4. 智能体AI：一种新的能量范式

将大语言模型集成到自主智能体框架中（ReAct [34]、LangChain、AutoGen [4]、MetaGPT [5]），已经创造了一种本质不同的能量结构。单个智能体任务的完成可能需要比单次查询多一到两个数量级的模型调用，每次调用都伴随着不断增长的上下文窗口，并穿插着工具调用、检索查询和智能体间消息。Chen等人的综述[6]首次对智能体推理能量进行了系统分析，指出多智能体通信是一个此前被忽视但具有结构性意义的能量开销。

2.5. 小语言模型：重新校准能量-能力前沿

自2023年以来兴起的SLM革命代表了对能量-能力权衡的有意识重新校准。小语言模型不再以不惜一切能量代价最大化能力为目标，而是提出：在特定部署场景下，实现足够能力所需的最小模型规模是多少？文献中浮现的经验答案远比先前预期的更加乐观。Lu等人[16]证明，具有10亿至50亿参数的小语言模型在常识推理、数学问题解决和代码生成方面能够取得具有竞争力的性能，其推理延迟和能量成本与电池供电的边缘部署兼容。

3. 智能体AI的基础

3.1. 定义智能体AI

智能体AI涵盖一类系统，其中一个或多个AI模型作为自主智能体运行：感知其环境、维护内部状态、选择并执行以实现目标的行为，并在响应反馈时调整自身行为，而无需持续的人类监督[2]、[3]。与早期AI范式的根本区别在于代理性：即主动发起行动、追求目标、并在不确定环境中跨长时间范围运行的能力。Xi等人的综合综述[3]调查了开源的大语言模型智能体在记忆、规划、行动和学习方面的能力，确立了四组件框架作为自主智能体的标准架构分解。

大语言模型智能体是一种自主智能体，其核心认知能力通过语言模型推理来实现。由于大语言模型具有广博的知识、可靠的指令遵循能力和涌现的推理能力，这一架构已成为主流，但它施加了一种随模型规模和循环深度而扩展的能量成本结构。多智能体系统协调多个同时活跃的智能体以达成集体目标，引入了智能体间通信、任务分配和共享状态管理等额外的能量开销组件[4]、[5]、[35]。

3.2. 智能体能力与推理范式

智能体系统的行为由多个不同能力家族的交互所产生。图2将这些能力组织成一个能力分类法，与图3的架构视角互补：后者描述组件，前者描述能力，每项能力都由一系列技术实现，各自具有不同的能量影响。智能体AI的基本框架[36]和近期领域分析[37]、[38]为这种分解提供了动机。

推理与规划

主流智能体推理范式以额外的推理计算换取更高的任务成功率。思维链提示[39]引导模型产生中间步骤；自一致性采样[44]聚合多条推理链；思维树[40]和思维图[41]在分支推理结构上进行搜索；从少到多[60]和规划-求解[42]提示显式分解问题。ReAct[34]将推理与行动交替进行，LATS[43]通过蒙特卡洛搜索统一了规划、行动和反思。每一步都成倍增加模型调用次数，这正是将单次调用成本降至小语言模型规模对可持续推理至关重要的原因。

记忆

持久性智能体需要超出上下文窗口的记忆。检索增强生成[45]将推理锚定在外部语料库中；MemGPT[46]引入了类似操作系统的上下文与外部存储之间的分页机制；CoALA框架[38]为语言智能体形式化了工作记忆、情景记忆、语义记忆和程序记忆。近期的一项综述[47]编目了各种记忆机制及其成本。在大规模场景下，记忆访问在I/O方面和能量方面都非常密集，使记忆架构成为首要的可持续性关注点。

行动与工具使用

工具使用让智能体将计算卸载给专业的外部系统。Toolformer[48]以自监督方式教会模型调用API；HuggingGPT[49]编排专业模型；API-Bank[50]对工具增强型智能体进行基准测试；Mind2Web[51]针对通用网页操作。对于推理成本较低的小语言模型智能体而言，规范的工具使用往往是最节能的能力获取途径，将工作转移给专用的确定性系统而非扩展模型规模。

学习、反思与协调

反思型智能体通过自我生成的反馈来改进：Reflexion[52]在不同尝试间维护口头自我反馈；Self-Refine[53]迭代性地批评自身输出；Self-RAG[54]学习何时检索和批评。Voyager[55]展示了开放式技能获取。在多智能体层面，CAMEL[56]研究角色扮演通信，生成式智能体[57]模拟社会，ChatDev[58]和AgentVerse[59]协调智能体团队完成复杂任务。此类系统的对齐涉及指令微调[61]和宪法方法[62]。

智能体行为评估

评估这些能力需要专门的智能体基准测试。GAIA[63]测试通用助手的推理能力，AgentBench[64]在八个环境中评估智能体，SWE-bench[65]衡量真实世界软件工程任务的完成情况。这些基准测试越来越多地同时报告成本和准确率，与本综述的效率必须成为首要评估维度的论点相一致。

3.3. 架构组件及其能量特征

推理引擎

智能体核心的大语言模型或小语言模型执行感知、规划、反思和行动生成。其能量成本是模型规模、推理精度、上下文长度和每个任务前向传播次数的函数。关于嵌入式硬件上紧凑型模型的研究报告，其每令牌能量大约比云端GPU上前沿模型的报告值低两个数量级[17]、[18]，但由于测量边界不同，两组数据不可直接比较。

记忆系统

智能体记忆涵盖工作记忆、情景记忆和长期参数记忆。在长上下文长度下，键值缓存的增长主导了持久性智能体的记忆能量消耗[66]、[67]，而向量数据库检索在高查询率下引入了I/O密集型的能量开销[68]。

工具与行动子系统

使用工具的智能体[69]、[70]调用外部API、代码解释器和搜索引擎，产生超出大语言模型推理的每次调用能量开销。对于基于小语言模型的智能体，工具调用的相对成本高于基于大语言模型的智能体，因为小语言模型的推理成本更低，使得工具效率优化成为更为重要的设计考量。

规划与编排

通过思维链推理[39]、思维树搜索[40]或ReAct循环[34]进行的多步规划，成倍增加了每个任务的有效大语言模型调用次数。对于小语言模型，紧凑型推理的能量优势必须与为在复杂任务上匹配前沿模型推理质量而可能需要更深的循环深度进行权衡。

智能体间通信

多智能体框架需要在智能体之间进行消息生成、传输和解释，如果以自然语言生成，每条消息都需要一次完整的模型前向传播。Chen等人[6]报告称，与其分析中假设的协议和信道相比，传输压缩嵌入而非自然语言可以大幅降低智能体间通信能量。

3.4. 持久认知能量循环

智能体系统定义的标志性能量现象是PCEL（图4）：自主智能体为实现单一高层目标而执行的反复模型调用、工具调用、记忆更新和状态转移序列。与阶段性推理不同，PCEL没有固定的终止条件并持续运行，积累的能量成本与任务深度成正比。对ReAct智能体[34]的经验分析显示，每个任务的平均循环长度为4至12次模型调用；代码生成智能体[71]需要5至20次调试修复迭代；网页导航智能体[72]每次任务完成执行15至45次环境交互。小语言模型的引入并不能消除PCEL，但将其每次迭代的能量成本从O(N_LLM)压缩到O(N_SLM)，其中N_SLM远小于N_LLM，从而按比例降低循环总能量。

4. 用于智能体AI的小语言模型

4.1. 定义小语言模型

小语言模型与大语言模型之间的界限在定义上是流动的，是当代硬件约束的函数，并随设备内存增长而演变[16]。就本综述而言，我们采用Lu等人[16]的定义：小语言模型是具有1亿至100亿参数的基于Transformer或等效的仅解码器语言模型，专为或可部署于具有1至32GB内存的硬件上，并能够在从智能手机和物联网平台到紧凑型边缘服务器的设备上实时推理。推动本综述的关键经验发现是，小语言模型与大语言模型在智能体子任务上的能力差距远小于在开放式通用对话或创造性生成方面的差距。针对这些结构化任务优化的小语言模型据报告在相关任务类别和协议中，用少一到两个数量级的参数匹配了大语言模型基线[7]、[16]、[19]。

4.1.1. 操作性分类规则

上述定义以总参数表述，这对稀疏架构而言是模糊的，且对可部署性未作说明。由于本综述并行比较稠密模型、混合专家模型和状态空间模型，我们贯穿全文采用统一的操作性规则：一个模型是否为小语言模型，依据其在推理时每令牌的活跃参数——即参与单个生成令牌前向传播的参数——小语言模型的参数区间为不超过100亿。对于稠密模型，这等于总参数；对于稀疏的混合专家模型，它是共享主干加上路由为该令牌选中的专家。因此该标准是关于计算量的陈述，决定了每令牌的算术能量。另有三个量与之并列报告，且从不替代它：总存储参数，决定需要保存在内存中的量；特定精度下的内存占用，决定模型是否适合设备；以及部署层级，即支持交互延迟的最粗粒度硬件类别。

混合专家模型使得这种区分变得不可避免，因为一个模型可以在每令牌仅激活一小部分参数的同时，所有专家仍需驻留或分页加载以实现路由。Mixtral 8×7B[73]是典型案例，在计算轴上处于小语言模型边界，但在内存轴上远超区间，这正是内存占用而非计算量决定了混合专家模型部署可行性的原因：在浮点运算方面类似小语言模型的架构，在能够轻松运行同等活跃规模稠密模型的设备上可能无法部署，因为约束条件是DRAM容量和权重加载带宽而非算术吞吐量。因此混合专家模型适合内存充足但功率预算受限的边缘服务器，而非手机或微控制器。每令牌活跃参数在100亿至150亿之间的模型刚好落在区间之外。我们将其保留为边界案例以保持比较连续性，因为它们是紧邻小语言模型区间的最近邻，也是小语言模型能力声明最常对比的系统，移除它们将使能量-能力前沿的上端缺乏记录。

4.2. 小语言模型设计的分类法

在逐一考察具体模型之前，我们将小语言模型设计空间组织成一个层次化分类法（图5），该分类法构成了本节余下内容的结构，并为我们的比较分析提供了框架。该分类法沿四个正交轴对小语言模型研究进行划分。

架构主干轴将稠密的仅解码器 Transformer（占据主导地位的家族，涵盖 Phi [8]、[9]、[74]、[75]、Gemma [10]、[76]、[77]、Qwen [14]、[78]、[79] 以及 Llama 衍生 [11]、[80]、[81] 系列模型）与稀疏混合专家（MoE）设计 [73]、[82]、[83]、状态空间和线性注意力模型 [15]、[84]、[85]、[86]、[87]、[88]，以及交替注意力与循环的混合堆叠 [89]、[90] 区分开来。参数规模轴跨越低于 1 亿的"纳米"层级、以 SmolLM [12]、[91] 和 MobileLLM [13] 为代表的 1 亿至 10 亿"微型"层级、10 亿至 30 亿"迷你"层级，以及处于 SLM/LLM 边界的 30 亿至 100 亿"紧凑"层级。效率来源轴识别模型参数效率的来源：数据筛选 [74]、[91]、[92]、[93]、架构创新 [13]、[15]、[94]、压缩 [95]、[96]、[97]，或知识迁移 [98]、[99]、[100]。最后，部署目标轴涵盖从微控制器级 TinyML [101] 到移动 NPU 再到紧凑型边缘服务器的范围。下载：下载高分辨率图片（385KB） 下载：下载全尺寸图片 图 5. SLM 设计空间的四轴分类。 4.3 架构家族与代表模型 当代 SLM 领域由多个不同的模型家族构成，每个家族都体现了关于在小规模下实现能力的最有效路径的不同假设。 Phi 家族 微软研究院的 Phi 系列是 SLM 设计中"数据优先"方法的典范：Phi 模型通过严格的训练数据筛选实现高性能，而不是扩展参数，从互联网规模语料中提取高质量的教育和推理丰富文本 [8]、[9]。基础的"教科书是你所需的一切"研究 [74]、[92] 确立了在合成和过滤后的教科书质量数据上训练能在推理和编程方面产生不成比例的参数收益。Phi-2（27 亿参数）表明，一个专门在筛选数据上训练的紧凑模型可以在编程和数学推理基准上与 300 亿+参数模型匹敌 [9]。Phi-3-mini（38 亿）将这一范式扩展到指令跟随，在大多数基准上达到 GPT-3.5 级别的性能，同时在兼容的 NPU 硬件上以 1-3 瓦功率本地运行 [8]、[16]，而 Phi-4 [75] 通过以合成数据为中心的训练进一步锐化推理能力，强调了筛选而非规模是该家族的主要效率来源。 数据筛选与移动优化的稠密家族 Gemma [10]、[76] 从 Gemini 项目派生开放权重模型，并添加注意力软限制和交错滑动窗口注意力，以在减少计算量的同时提高质量。TinyLLaMA [11] 表明，小规模下的大量预训练计算能让 11 亿模型接近早期 70 亿模型，使其成为电池供电下可行的 PCEL 推理引擎。SmolLM 和 SmolLM2 [12]、[91] 通过数据筛选追求相同目标，后者通过 FineWeb-Edu 流水线实现。MobileLLM [13] 则从架构上攻克亚 10 亿参数领域，这是该家族中最清晰的证明，即在小规模下约束条件是内存移动而非参数数量。Qwen2.5 [14] 覆盖 5 亿至 70 亿参数，具有强大的多语言、编程和数学能力，而 MiniCPM [102] 为 SLM 领域标定扩展定律，报告称精心筛选的数据混合优于在较低质量数据上训练的同尺寸模型。 Mamba 和状态空间模型 Mamba [15] 及其后继 Mamba-2 [84] 为 SLM 部署提供了基于注意力 Transformer 的架构替代方案：选择性状态空间模型在序列长度方面实现线性时间推理，大幅减少了 KV 缓存能量惩罚，后者使标准 Transformer 中的长上下文智能体推理成本高昂。对于 PCEL 场景，智能体必须处理不断增长的对话和任务历史，Mamba 的 O(n) 内存成本相对于 Transformer 的 O(n2) 提供了结构性能量优势，这种优势在循环迭代中累积。 RWKV、RetNet 和线性注意力循环模型 除了 Mamba，一类更广泛的无注意力和线性注意力架构以相同的 O(n) 推理目标为目标。RWKV [86] 将 Transformer 重新表述为可并行训练但循环推理的线性注意力 RNN，提供恒定的每令牌内存。RetNet 的保留机制 [87] 同样支持并行、循环和块循环形式，而 Hyena [103] 和底层的 H3 层 [104] 用从结构化状态空间模型 [85] 派生的隐式长卷积替换注意力。线性 Transformer 将注意力表示为核特征图 [105]，是该家族的 conceptual 根源。对于积累长历史的 PCEL 智能体，这些架构消除了主导长上下文 Transformer 推理的二次 KV 缓存能量项。 混合架构 认识到纯循环可能牺牲召回能力，混合设计将注意力与状态空间或门控循环层交错。Griffin [88] 混合门控线性循环与局部注意力；Jamba [89] 将 Mamba 和 Transformer 块与 MoE 交错，以小的活跃参数成本达到长上下文；而 xLSTM [90] 用指数门控和矩阵内存现代化 LSTM，以在可比规模上与 Transformer 匹敌。这些混合架构是吸引人的 SLM 主干，因为它们保留了循环的能量特征，同时保持注意力的上下文精度。 小活跃规模下的混合专家 稀疏 MoE 模型 [83]、[106]、[107] 通过将每个令牌路由到少量专家子网络来解耦总参数量和每令牌计算，使具有数百亿存储参数的模型执行远小于的稠密模型的 FLOPs。Mixtral 8×7B [73] 每个令牌仅激活其 470 亿参数中的约 130 亿；DeepSeekMoE [82] 引入细粒度专家分割和共享专家以提高专业化；而 GLaM [108] 和专家选择路由 [109] 展示了有利的质量-FLOP 扩展。对于智能体部署，MoE 将约束条件从计算转移到内存容量，这是边缘服务器内存充裕但功率预算有限时的诱人权衡，但在手机和微控制器上是行不通的，因为在这些设备上容量而非算术率先失效。 开放稠密谱系 早期 Qwen 代 [14]、[78]、[79] 建立了上述家族，此处不再赘述。Llama 谱系 [80]、[81] 催生了开放权重生态系统，是许多 SLM（TinyLlama [11] 等）的架构祖先；DeepSeek-V3 [110] 完善了大规模 MoE 训练，并有效蒸馏到以下紧凑推理模型中。 完全开放和可复现的模型 一个独特的研究路线优先保证科学可复现性，发布数据、代码和检查点。OLMo [111] 和 Pythia [112] 提供完全开放的训练流水线和中间检查点，使受控研究扩展和涌现能力成为可能；OpenELM [113] 引入逐层参数扩展以提高效率；而 MobiLlama [114] 面向透明、可设备上部署的 SLM。数据方面得到 FineWeb [93] 等开放语料库的支持，加上早期开放模型包括 GPT-2 [115]、T5 [116]、BLOOM [117] 和 Falcon [118]，后者确立了 SLM 现在压缩的谱系。 蒸馏谱系 在现代生成式 SLM 之前，一族蒸馏和参数高效的编码器建立了该领域现在依赖的许多技术。DistilBERT [119] 通过蒸馏减少参数同时保留 BERT 的大部分准确率；TinyBERT [120] 添加 Transformer 层蒸馏；MobileBERT [121] 引入瓶颈结构用于设备上推理；而 ALBERT [122] 使用跨层参数共享和分解嵌入。这些模型对于嵌入在智能体流水线中的嵌入、检索和分类子例程仍然相关，其压缩策略直接启发当代生成式 SLM 设计。 4.4 SLM 智能体的量化与压缩 量化是 SLM 边缘部署中最广泛采用的压缩策略。GPTQ [95]、AWQ [96] 和 SmoothQuant [123] 使 SLM 能够进行 4 位权重量化，在其评估套件上报告的 质量成本较小，与各论文自身的完全精度基线相比。Husom 等人 [17] 在 Raspberry Pi 4 硬件上的综合基准测试报告称，与 16 位基线相比，4 位量化 SLM 的每令牌能量减少约三倍，测量于设备电源轨，并识别 4 位为所评估工作负载的近 Pareto 最优。低于 4 位时，准确率退化变得任务类依赖：结构化输出任务能很好地容忍 2 位量化，而多步数学推理则显著退化。从 LLM 到 SLM 的知识蒸馏是一种互补策略，用于能力迁移而无需扩展。思维链蒸馏 [99] 对智能体应用特别有效，将结构化推理模式从教师迁移到在紧凑学生模型中比在教师通用知识中更高效表示的推理模式。DeepSeek-R1 蒸馏的 70 亿模型 [100] 表明这种方法可以产生在数学推理上与 GPT-4 级别性能匹敌的 SLM，这或许是近期 SLM 能力在 LLM 可比质量下最重要的展示。 4.5 SLM 智能体的能效优化技术 部署的 SLM 智能体的能力在很大程度上取决于应用于它的优化技术，而不仅仅是其基础架构。我们将这些技术组织成一个压缩层级（图 6），从数值精度降低到结构稀疏化、知识迁移到推理时加速。这些方法在很大程度上是可组合的：生产 SLM 智能体通常将数据高效预训练、蒸馏、结构化剪枝、低位量化和投机解码串联成单个部署流水线（图 7），每个阶段都对整体每任务能量减少贡献一个乘数因子。下载：下载高分分辨率图片（245KB） 下载：下载全尺寸图片 图 6. SLM 压缩层级。下载：下载高分辨率图片（298KB） 下载：下载全尺寸图片 图 7. SLM 智能体的代表性端到端优化流水线。 量化 PTQ 在不重新训练的情况下降低权重和可选地激活的数值精度。LLM.int8() [124] 引入混合精度分解以在 8 位下保留离群特征；GPTQ [95] 执行一次性二阶权重量化到 4 位；AWQ [96] 保护从激活统计中识别的重要权重通道；而 SmoothQuant [123] 将激活离群值迁移到权重中以实现 INT8 激活量化。更低推进方面，SqueezeLLM [125]、QuIP [126]、SpQR [127]、OmniQuant [128] 和 AQLM [129] 达到 2-4 位并控制退化，而 ZeroQuant [130] 针对跨栈高效 INT8。极端前沿由 1 位和 1.58 位模型占据：BitNet [131] 和 BitNet b1.58 [132] 从头训练三值权重 Transformer，用更大的参数量换取大幅减少的乘法能量。QLoRA [133] 统一量化与微调。设计空间的一般处理见 [134]。表 4 比较了代表性方法。表 4. SLM 代表性量化方法比较。 方法 类型 位宽 权重 激活 免重训 关键思想 LLM.int8() [124] PTQ 8 离群感知混合精度 GPTQ [95] PTQ 3-4 二阶一次性权重量化 AWQ [96] PTQ 4 激活感知通道缩放 SmoothQuant [123] PTQ 8 离群迁移 W?A SqueezeLLM [125] PTQ 3-4 基于敏感度的非均匀 QuIP [126] PTQ 2 相干性预处理 SpQR [127] PTQ ~4 稀疏量化离群存储 OmniQuant [128] PTQ 2-4 可学习裁剪 + 变换 AQLM [129] PTQ 2 加性向量量化 QLoRA [133] QAT 4 4 位基座 + LoRA 微调 BitNet b1.58 [132] QAT 1.58 三值权重，从头训练 完全支持 部分/有限 不支持/缺失 （权重/激活列：低位支持程度） 剪枝与稀疏 剪枝移除冗余参数或结构组件。彩票票假设 [135] 和经典幅值剪枝 [136]、[137] 确立了网络能容忍大量稀疏性。对于现代 SLM，SparseGPT [97] 在其报告的稀疏度水平下一次性剪枝约一半权重；Wanda [138] 通过权重×激活幅值剪枝而无需重训；移动剪枝 [139] 在微调期间调整稀疏度。结构化方法移除整个单元，从而在通用硬件上产生实际加速，包括 SliceGPT [140]，通过计算不变性变换删除行/列，以及 Sheared-Llama [141]，将大模型剪枝成较小的模型并继续预训练。深度学习稀疏性的综合分析见 [142]。表 5（上块）总结了代表性剪枝方法。表 5. 代表性剪枝/稀疏和知识蒸馏方法。 方法 家族 结构化 免重训 HW 加速 关键思想 剪枝与稀疏 SparseGPT [97] 非结构化 PTQ 一次性 50-60% 稀疏 Wanda [138] 非结构化 权重×激活准则 Movement [139] 非结构化 稀疏在微调中学习 SliceGPT [140] 结构化 通过不变性删除行/列 Sheared-Llama [141] 结构化 先剪枝再继续预训练 知识蒸馏 KD（logits）[98] 基于响应—软标签匹配 Seq-KD [143] 序列级—教师生成目标 Step-by-step [144] 基于推理—蒸馏推理轨迹 MiniLLM [145] 反向 KL—生成对齐目标 R1-Distill [100] 推理—长 CoT 到 15-70 亿学生 完全支持 部分/有限 不支持/缺失 知识蒸馏 蒸馏将较大教师的行为迁移到紧凑学生中。开创性公式 [98] 匹配软化输出分布；序列级蒸馏 [143] 将此扩展到生成。对于推理，思维链和逐步蒸馏 [99]、[144] 迁移中间推理轨迹，而 MiniLLM [145] 用反向 KL 重新公式化目标以更好地适应生成学生。近期最具影响力的展示是 DeepSeek-R1 的蒸馏模型 [100]，其中与远大于系统相当的推理能力被压缩到 15-70 亿学生中：直接证据表明智能体推理可以在 SLM 规模打包。表 5（下块）列出了代表性蒸馏方法。 PEFT 将 SLM 适应新的智能体领域不需要更新所有权重。LoRA [146] 注入可训练低秩矩阵同时冻结基座模型；其量化变体 QLoRA [133] 使单张消费级 GPU 能微调十亿参数模型。Adapter 模块 [147]、前缀微调 [148]、提示微调 [149] 和 (IA)3 [150] 提供替代插入点，而 AdaLoRA [151] 和 DoRA [152] 自适应分配或分解更新预算。统一综述见 [153]。对于多租户智能体部署，PEFT 使单个共享基座 SLM 能承载许多轻量级任务特定适配器，在能力间摊销内存和能量。表 6 比较了主要方法。表 6.

SLM智能体的参数高效微调（PEFT）方法。方法名称：低参数需求；无额外延迟；多任务支持。LoRA [146]：低秩权重增量。QLoRA [133]：基于4位底座的LoRA。适配器 [147]：瓶颈层。前缀 [148]：可训练的前缀键/值。提示 [149]：软提示嵌入。（?????）3 [150]：学习到的激活重缩放。AdaLoRA [151]：自适应秩预算。DoRA [152]：幅度/方向分解。

高效注意力与长上下文机制。由于注意力成本随序列长度呈二次方增长，高效注意力方法是实现能效型长程智能体的核心。一项广泛综述 [154] 对该领域进行了分类。稀疏和局部注意力模式（Longformer [155]、BigBird [156] 和稀疏Transformer [157]）将注意力矩阵缩减至近线性规模。低秩和核化近似方法包括 Linformer [158]、Performer [159] 和 Reformer [160]。正交地，通过多查询注意力 [161] 和分组查询注意力 [94] 实现的KV缓存缩减技术，在推理阶段削减了占主导地位的内存-能耗项，这些技术现已成为MobileLLM和Gemma等SLM中的标准做法。IO感知的精确注意力（FlashAttention [162] 和 FlashAttention-2 [163]）以及分页KV缓存服务 [164] 在无近似的条件下实现了显著的实际加速，而旋转位置编码 [165] 和ALiBi [166] 位置方案则实现了长度外推。表7（上半部分）总结了这些机制。

表7. 高效注意力与推理加速方法。

| 方法 | 类别 | 精确 | 亚二次方 | 主要收益 |
|------|------|------|----------|----------|
| Longformer [155] | 高效注意力/长上下文 | ? | 线性 | 局部+全局注意力 |
| BigBird [156] | | ? | 稀疏/随机 | 具有理论表达力的稀疏性 |
| Linformer [158] | | | ? | 将键/值投影到低秩 |
| Performer [159] | | | ? | FAVOR+ 随机特征 |
| GQA [94] | KV缓存 | ? | | 共享KV头，缓存更小 |
| FlashAttention-2 [163] | IO感知精确 | ? | 平铺，减少HBM读写 | |

| 方法 | 类别 | 精确 | 亚二次方 | 主要收益 |
|------|------|------|----------|----------|
| 推测解码 [167] | 推理加速 | | 草稿-验证 | 2–3倍加速，保持分布不变 |
| Medusa [169] | | | 自草稿头 | 多头，无需草稿模型 |
| EAGLE [170] | | | 特征级草稿 | 在特征空间中草稿 |
| LayerSkip [171] | | | 提前退出 | 提前退出 + 自推测 |
| PowerInfer [173] | | | 稀疏卸载 | 热/冷神经元CPU–GPU分割 |

推理加速与推测解码。在部署阶段，自回归生成受限于顺序令牌生产的延迟和能耗瓶颈。推测解码 [167], [168] 使用小型草稿模型提出候选令牌，由目标模型并行验证，在保持目标分布不变的前提下实现了 [167], [168] 中报告的实测加速效果；加速增益取决于草稿令牌的接受率。Medusa [169]、EAGLE [170] 和 LayerSkip [171] 等自草稿变体通过预测多个令牌或提前退出，消除了对独立草稿模型的依赖。结合分页注意力服务 [164] 和针对内存受限场景的权重卸载 [172], [173]，这些方法对SLM智能体尤其有价值，因为小型草稿模型的开销极低，且验证器本身也是小型模型。表7（下半部分）列出了代表性方法。

**4.6. SLM-LLM协作架构**

一个特别有前景的架构方向是异构智能体系统，其中SLM承担大部分智能体工作负载，而LLM仅在选择性场景下被调用以处理超出SLM能力的任务。Wang等人 [174] 提供了跨四个目标——性能、成本效益、云边隐私和可信任性——的SLM-LLM协作策略系统性综述。Belcak等人 [7] 将此架构正式化为生产级智能体系统的自然设计目标，论证异构架构能在现实部署约束下实现最佳的能效-能力平衡。表8汇总了可作为此类系统默认工作单元的SLM代表模型。

表8. 代表性SLM在智能体部署中的综合对比。

| 模型 | 总参数量 | 每token激活参数 | 架构 | 上下文长度 | 内存 | 功耗 | MMLU | 开源/多语言 | 层级/智能体角色 |
|------|----------|----------------|------|-----------|------|------|------|------------|----------------|
| SmolLM-135 M [12] | 135 M | 135 M | 稠密 | 2 K | 0.1 GB | N/A | N/A | MCU级NPU；唤醒/触发推理 |
| SmolLM-360 M [12] | 360 M | 360 M | 稠密 | 2 K | 0.2 GB | N/A | 36 | MCU级NPU/移动设备 |
| MobileLLM-1B [13] | 1.0B | 1.0B | 稠密 | 2 K | 0.6 GB | 0.1–0.5 W | N/A | 移动SoC；工具调用、结构化输出 |
| OLMo-1B [111] | 1.0B | 1.0B | 稠密 | 2 K | 0.6 GB | 0.3–1 W | N/A | 移动SoC；可复现研究基座 |
| TinyLlama [11] | 1.1B | 1.1B | 稠密 | 2 K | 0.6 GB | 0.3–1 W | 26 | 移动SoC；基础推理 |
| DeepSeek-R1-1.5B [100] | 1.5B | 1.5B | 稠密（蒸馏） | 32 K | 0.9 GB | 0.3–1 W | N/A | 移动SoC；蒸馏推理链 |
| SmolLM2-1.7B [91] | 1.7B | 1.7B | 稠密 | 8 K | 1.0 GB | 0.3–1 W | 50 | 移动SoC；知识+推理 |
| Gemma-2-2B [76] | 2.0B | 2.0B | 稠密 | 8 K | 1.2 GB | 0.5–2 W | 52 | 移动SoC；多语言推理 |
| MiniCPM-2B [102] | 2.0B | 2.0B | 稠密 | 4 K | 1.2 GB | 0.5–1 W | 53 | 移动SoC；出色的端侧表现 |
| Phi-2 [9] | 2.7B | 2.7B | 稠密 | 2 K | 1.5 GB | 0.5–2 W | 56 | 移动SoC/嵌入式GPU；代码、数学 |
| Mamba-2.8B [15] | 2.8B | 2.8B | SSM | 线性 | 1.6 GB | 0.5–2 W | N/A | 嵌入式GPU；线性上下文、长程任务 |
| Qwen2.5-3B [14] | 3.0B | 3.0B | 稠密 | 128 K | 1.8 GB | 0.5–2 W | 65 | 嵌入式GPU；数学、代码、多语言 |
| Phi-3-mini [8] | 3.8B | 3.8B | 稠密 | 128 K | 2.2 GB | 1–3 W | 69 | 嵌入式GPU；推理、代码、工具调用 |
| Qwen2-7B [79] | 7.0B | 7.0B | 稠密 | 128 K | 4.0 GB | 2–5 W | 70 | 边缘服务器；强大的通用智能体能力 |
| Mixtral-8×7B [73] | 47B | ≈13B | MoE | 32 K | 26 GB | 3–10 W | 71 | 边缘服务器；受内存而非计算限制 |
| Phi-4 [75] | 14B | 14B | 稠密 | 16 K | 8.0 GB | 3–8 W | 75 | 边缘服务器；强推理能力 |

**5. 智能体AI的能耗分类体系**

本综述的核心方法论贡献是一套五层能耗分类体系，将智能体AI系统的总能耗分解为物理上和架构上彼此独立的组成部分。现有的AI系统能耗分析框架主要聚焦于训练和单轮推理能耗 [32], [175]，它们对于智能体系统而言存在系统性不足——因为智能体系统的主导能耗来自迭代循环、内存管理、通信开销和边缘部署约束，这些在云端单模型服务中均不存在对应项。图8展示了该分类体系的架构。

图8. 可持续智能体AI的五层能耗分类体系。

**5.1. 第一层：计算能耗**

计算能耗层涵盖神经网络运算中所有处理器执行的算术运算。对于智能体系统，该层的主导因素不是单次前向传播的每token推理成本，而是PCEL（感知-认知-执行循环）的乘性开销：每次循环迭代至少需要一次完整的前向传播，复杂任务可能需要数十次。从LLM转向SLM提供了该层最具影响力的单一优化手段。Argerich和Patino-Martinez [18] 报告，在1B–70B参数范围内，推理能耗随参数量呈亚线性增长，其7B配置在相同批量大小下每token能耗约为70B配置的一个数量级。Husom等人 [17] 分别报告了单板机和NPU硬件上1B规模模型的每token能耗，比GPU集群上70B模型的能耗低数个数量级。两者使用不同的设备、边界和工作负载，因此该差距是数量级指示而非受控比较。思维链开销通过推理token与答案token的比率放大计算能耗；[39], [176] 在其多步基准测试上报告了约一个数量级的膨胀。该比率取决于提示、任务和解码配置，因此未给出跨研究的平均值。对于SLM，该开销因平均思维链较短而部分缓解，但对于需要真正多步推理的任务从未完全消除。表9汇编了所综述架构中报告的每token和每任务能耗数据。

表9. 各智能体AI架构与模型规模的能耗对比。

| 架构 | 参数量 | 推理硬件 | 每token能耗(mJ) | 每智能体任务能耗(J) | 关键能耗驱动因素 |
|------|--------|----------|----------------|-------------------|------------------|
| GPT-4（估）[29] | ～1.8T MoE | 云GPU A100 | 10–100 | 500–5000 | 规模 + 循环开销 |
| LLaMA-3 70B [30] | 70B | 云GPU H100 | 5–20 | 100–1000 | 规模；未使用高效MoE |
| LLaMA-3 8B [30] | 8B | 边缘GPU/NPU | 0.5–3 | 10–150 | 上下文长度增长 |
| Phi-3-mini (INT4) [8] | 3.8B | Jetson Orin/NPU | 0.2–1 | 5–80 | 内存带宽（长上下文） |
| Qwen2.5-3B (INT4) [14] | 3B | 边缘NPU | 0.1–0.5 | 3–50 | 工具调用循环深度 |
| TinyLLaMA (INT4) [11] | 1.1B | MCU/移动NPU | 0.05–0.2 | 1–20 | 中等上下文下的KV缓存 |
| SmolLM2-1.7B [91] | 1.7B | 移动NPU | 0.05–0.3 | 2–30 | 通信开销 |
| MobileLLM-350 M [13] | 350 M | 手机SoC | 0.01–0.05 | 0.3–5 | 工具可靠性；循环深度 |
| Mamba-2.8B [15] | 2.8B | GPU/边缘 | 0.1–0.5 | 2–40 | 选择性扫描开销 |

**5.2. 第二层：内存能耗**

内存能耗涵盖智能体认知所依赖的所有信息存储——包括KV缓存、向量数据库和长期情景记忆——的读取、写入和维护成本。随着上下文长度增长和检索系统规模化，该层的占比日益显著。

对于基于SLM的智能体，KV缓存管理尤为重要，因为SLM虽为效率而设计，但其上下文窗口增长仍受与更大模型相同的???(??2)注意力复杂度约束（Mamba等SSM架构除外）。StreamingLLM [177] 表明，通过维护初始token的注意力汇聚点并结合滑动窗口管理近期上下文，可在不发生KV溢出的情况下处理无限输入流，这对持续运行的SLM智能体而言是关键能力。在等效上下文长度下，SLM的KV缓存远小于LLM：一个1.7B参数、32个注意力头、64维头大小的SLM，在128K上下文、16位精度下约需0.5 GB，而70B模型需16 GB，从而支持更激进的上下文管理策略。

RAG增强的SLM智能体引入的向量数据库检索带来IO密集型能耗开销，在高查询率下可能主导系统总能耗。Aumüller等人 [178] 的ANN基准测试表明，在数亿向量索引上进行近似最近邻搜索，其浮点比较次数比单个token的算术运算高多个数量级（在其测试的索引配置和召回目标条件下）。GPTCache [179] 报告了语义缓存在其评估的工作负载上显著降低检索频率；节省程度与命中率成正比，而命中率是查询分布的属性而非机制本身的属性。

**5.3. 第三层：通信能耗**

多智能体SLM系统引入了智能体间通信开销，其绝对量虽小于基于LLM的智能体通信，但相对于紧凑模型的推理成本仍不可忽视。对于与云基础设施通信以获取模型更新、知识同步或任务升级的边缘部署SLM智能体，通信能耗取决于传输协议和网络层级。

在边缘IoT设备上，一次云API调用的能耗可能超过本地SLM推理成本，且随着推理成本降低，这一差距将进一步扩大。我们未发现针对标准化智能体工作负载的端到端比率测量发表，因此仅作定性陈述：一旦推理足够廉价，通信最小化将与推理最小化同等重要。

**5.4. 第四层：具身与边缘能耗**

对于具身SLM智能体，总能耗预算不仅包括AI推理，还涵盖感知、执行、运动和热管理。在移动机器人平台上，这些具身成本通常以显著的、平台相关的裕度超过推理成本，但其分配受到AI决策质量的强烈影响。

能力更强的SLM智能体可能在每次决策时消耗更多计算能耗，但通过更优的决策以更少的执行动作大幅降低系统总能耗。这种"以智能替代能耗"的原则是具身SLM智能体设计中的核心考量：最优智能水平不是最低可行智能，而是在任务完成过程中使系统总能耗最小化的智能水平。

Palossi等人 [180] 在微型无人机的极端案例中验证了这一原则，表明在27克Crazyflie四旋翼飞行器上搭载AI驱动的人体姿态估计（每推理帧0.43 mJ），可实现无AI时因路径修正和低效轨迹而需消耗更多能量的导航行为。

**5.5. 第五层：可持续优化**

可持续优化层涵盖使第1–4层与目标能耗预算相兼容的算法、架构和系统级策略。对于基于SLM的智能体系统，该层包括模型压缩、自适应推理、内存管理、通信优化，以及将能耗密集型操作与可再生能源可用性对齐的碳感知调度 [181], [182]。

**5.6. 能耗与碳排放的测量与报告**

优化上述五层的前提是具备测量它们的能力。绿色AI议程将效率重新定位为与准确性同等重要的首要评估标准 [183]，此后的一系列工作构建了执行该优化的测量工具。现有工具和方法论已覆盖完整生命周期：每次运行的能耗与排放追踪器 [184]、训练运行的标准化测量协议 [185]、已部署模型的功耗特征分析 [186]，以及在实际启动前预估大型训练任务碳足迹的预测模型 [187]。对于SLM倡导而言尤为关键的是，推理时计算趋势的分析表明，对于广泛部署的模型，服务而非训练主导了全生命周期能耗 [188], [189]，而更广泛的核算体系已将账簿范围从电力扩展至数据中心冷却所消耗的水资源 [190]。硬件能效的基础性论述 [191] 和绿色深度学习的综述 [192] 将这些指标置于高效计算的更长历史脉络中，而近期的批评指出效率必须从整体角度而非通过任何单一代理指标来评估 [193]。表10整理了能耗感知的SLM评估应报告的主要指标、各指标所关联的分类体系层级，以及获取这些指标的典型测量方法。

表10. SLM智能体效率报告的推荐能耗与可持续性指标。

| 指标 | 单位 | 分类层级 | 测量方法 |
|------|------|----------|----------|
| 每token能耗 | J/token | L1–L2 | 解码过程中设备端电源轨/RAPL计数器 |
| 每任务能耗（PCEL） | J/task | L1–L4 | 完整智能体循环的端到端计量 |
| 推理功耗 | W | L1 | 服务负载下加速器的持续功耗 |
| 峰值/驻留内存 | GB | L2 | 给定量化下分配器高水位标记 |
| 通信能耗 | J/MB | L3 | 无线电/NIC功耗 × 每步传输字节数 |
| 训练能耗 | kWh | L1–L5 | 记录功耗×时间的追踪器 |
| 运营碳排放 | kg CO2e | L5 | 能耗 × 电网碳强度 |
| 具身/预测碳足迹 | kg CO2e | L5 | 基于计算预算的先验估计 |
| 水足迹 | L（升） | L5 | 冷却+电力的水强度 |
| IPW得分 | W/基准 | | 按功率归一化的基准准确率 |

**6. 面向能效智能体AI的可持续架构**

**6.1. SLM智能体的边缘AI与分裂计算**

将SLM部署在边缘端消除了每个智能体推理步骤的云往返能耗，以本地计算能耗换取大幅降低的通信能耗。分层云-边-设备连续体 [194], [195] 提供了SLM智能体运行的部署架构：SLM在本地执行感知和常规推理；边缘服务器提供紧凑的世界模型更新和情景记忆管理；云基础设施处理需要前沿模型能力的罕见高复杂度任务。

分裂计算 [196] 为SLM智能体提供了在本地计算与通信能耗之间动态权衡的机制。对于紧凑SLM，与较大模型相比，最优分裂点更偏向于完全设备端执行，因为SLM的总推理能耗与单次压缩特征图的通信能耗相当甚至更低。

图9将SLM智能体置于这一三级连续体中，明确展示了可用计算能力、功耗包络和往返延迟的数量级差异，这些因素决定了每个智能体功能应在何处执行。

可持续智能体AI的设计原则颠覆了以云为中心的传统默认模式：计算向设备端倾斜，而向更高层级升级则被视为能耗高昂的例外情况，仅在本地能力被证明不足时才会触发。下载：下载高分辨率图片（470KB）下载：下载全尺寸图片图9. 可持续智能体AI的云-边-设备连续体。较低两个层级的硬件底座是异构的，涵盖从微控制器级神经网络处理单元到多加速器边缘服务器。来自高效视觉骨干网络（如MobileNets [197]和EfficientNet [198]）的经验，以及硬件感知的神经架构搜索[199]和一次搞定网络[200]，可直接迁移至SLM部署：与在手机上实现CNN实时处理类似的模型拓扑与目标加速器的协同设计，如今主导着transformer衍生SLM能否适配特定边缘设备的内存与功耗预算。领域专用加速器进一步重塑了能耗计算，越来越多的工作[201]、[202]综述了跨越该硬件谱系的端侧及资源高效LLM/SLM服务。表11沿与智能体SLM负载最相关的维度比较了代表性部署平台。表11. 智能体SLM部署连续体上的代表性硬件平台。平台类别层级内存功耗可行SLM网络主要智能体角色MCU + NPUNPU设备<2 MB–16 MB0.1–2 W<0.3B可选始终在线感知、唤醒/触发推理Mobile SoC设备4–12 GB2–8 W0.5–3B间歇性端侧助手、隐私推理嵌入式GPU设备8–64 GB7–60 W1–8B可选机器人控制、多模态感知边缘TPU/NPU棒设备/边缘N/A0.5–4 W<1B可选加速工具/感知卸载5G MEC/微型数据中心边缘16–128 GB50–400 W7–14B始终在线世界模型更新、联邦聚合本地边缘GPU服务器边缘24–192 GB0.3–1.5 kW8–70B始终在线多智能体编排、拆分推理云端加速器Pod云TB级kW–MW前沿始终在线蒸馏教师、罕见升级预言机6.2. 联邦智能体联邦学习使SLM智能体能够在不集中化原始传感器数据的情况下协同改进模型[203]、[204]。对于运营数据可能包含私密对话、个人日程或敏感任务记录的智能体应用，SLM的联邦微调既是隐私要求，也是能效策略：通过联邦LoRA[146]更新一个1.7B参数的SLM，只需传输秩为16的低秩矩阵，而非完整模型梯度。这些载荷之间的比例是基于参数量、LoRA秩和假设精度的初步估算；由于链路能耗大致与传输字节数成正比，能耗降低处于同一数量级。这是配置的算术结果，而非实测节约，且不包含协议开销和每轮协调成本。6.3. 自适应推理与动态令牌预算自适应推理特别适用于SLM智能体系统，因为智能体循环中子任务难度分布高度偏斜：大多数步骤是常规任务，而少数需要深度推理。早期退出架构允许SLM在中间层对常规输入短路推理。主要研究[205]、[206]报告，在其自身基准测试和退出阈值下，平均计算量呈乘法级减少，质量代价很小；节约效果取决于输入流的难度分布。动态令牌预算提供了一种互补的能耗管理机制。更短的推理预算按比例减少思维链能耗；[176]报告，针对任务难度分布校准的预算，在研究涉及的任务和规模上，能以部分令牌成本恢复无界预算的大部分准确率。可恢复比例因任务而异。表12总结了这些机制以及本综述中讨论的其他能耗降低策略。表12. SLM智能体AI的能耗降低策略。策略目标层级典型节约质量代价SLM适用性成熟度INT4量化[95]、[96]L13 ×<5%非常高生产级结构化剪枝[207]L11.5 ?3 ×2–8%高生产级KD/思维链蒸馏[99]、[100]L15 ?50 ×特定任务非常高生产级LoRA微调[146]L1100 ×参数极少非常高生产级早期退出[206]L1+L22 ?5 ×平均<3%高研究-生产级动态令牌预算[176]L11.5 ?2 ×任务依赖高研究级Mamba/SSM[15]L1+L22 ?5 ×长上下文有竞争力高研究-生产级StreamingLLM[177]L2无界上下文可忽略关键（PCEL）生产级KV缓存压缩[67]L22 ?5 ×内存<5%非常高生产级语义缓存[179]L22 ?5 ×检索无（命中）高生产级语义通信[6]L33 ?5 ×消息能耗解释损失多智能体研究级联邦LoRA[146]、[203]L3140 ×通信收敛非常高研究-生产级边缘部署[194]L1+L42 ?10 ×系统模型大小非常高生产级碳感知调度[182]L510 ?40 × CO2延迟中等生产级（云）6.4. SLM智能体的神经形态加速器Intel Loihi 2[208]、[209]和IBM NorthPole[210]等神经形态计算提供与基于SLM的智能体感知计算模式根本一致的硬件底座：事件驱动、稀疏且异步。对于具身SLM智能体的感知预处理组件，神经形态硬件据报道在稀疏、事件驱动的工作负载上，每焦耳操作效率远超通用加速器，从而在极低平均功耗下实现始终在线感知。NeuEdge框架[211]报告，在Loihi 2上的每瓦操作效率相比其GPU基线提升了超过两个数量级，针对其描述的工作负载。该比较将事件驱动脉冲加速器与稠密GPU在稀疏有利的负载上进行比拼，因此描述的是该配对而非神经形态硬件整体。7. 小型智能体AI系统的应用基于SLM的智能体系统越来越多地部署在低延迟、数据隐私和严格能耗预算使得持续依赖云端托管LLM不切实际的领域。本节综述此类系统的代表性应用；表13总结了每个领域采用的智能体架构及相关能耗权衡。表13. 基于SLM的智能体AI应用：架构与能耗权衡。应用SLM规模硬件功耗预算延迟要求关键能耗挑战自主机器人3–7B INT4Jetson AGX Orin15–30 W50–200 ms具身执行主导；AI次之智慧城市IoT子100M INT8ARM Cortex-M55<100 mW100 ms–5 s始终在线；需能量收集医疗健康可穿戴设备350M INT4Qualcomm NPU100–300 mW100–500 ms电池寿命；隐私自动驾驶汽车1B–3B INT4专用SoC3–10 W50–200 ms续航里程影响；安全可靠性工业自动化3B–7B INT4Jetson/RK35885–25 W10–100 ms全天候运行；正常运行时间无人机/UAV1B–3B INT4Jetson Orin Nano5–15 W20–100 ms电池限制；推进主导可再生能源管理1B–3B INT4边缘服务器3–10 W<1 s电网稳定性；持续运行智能建筑1B–3B INT4边缘节点3–10 W100 ms–1 s始终在线HVAC控制；IoT协同边缘助手（移动）1B–3B INT4智能手机NPU1–5 W100–500 ms电池寿命；用户体验信息物理安全1B–3B INT4网络设备3–10 W10–100 ms误报能耗代价7.1. 自主机器人自主地面机器人和机械臂代表了典型的具身SLM智能体上下文。紧凑VLA模型的出现使得自然语言条件操控能以兼容机器人控制循环的推理速度在嵌入式GPU平台上运行。对于物流和制造业中的机器人集群，通过LoRA对SLM操控策略进行集群级联邦微调，可在不集中化原始传感数据的情况下实现持续改进。紧凑VLA模型继承了一条建立语言-动作耦合的机器人基础模型谱系，如今正为边缘进行小型化。RT-1[212]展示了在大规模机器人演示上训练的transformer可以吸收多样化操控技能，而RT-2[213]和PaLM-E[214]将网络规模视觉-语言预训练与具身控制融合，实现了语义泛化的涌现。SayCan[215]通过将语言模型与学习的价值函数配对，将高级语言指令接地于物理机器人的可供性，而Octo通用策略[216]展示了单一跨具身模型可跨机器人平台迁移。可持续机器人的核心挑战是，将这些大策略的语义能力蒸馏为亚十亿参数SLM控制器，同时遵守移动平台的功耗和延迟预算。7.2. 智慧城市与智能IoT部署SLM驱动IoT节点的智慧城市传感网络可以在不依赖云端的情况下提供语义丰富的态势感知。运行在ARM Cortex-M55 NPU硬件上的TinyML级SLM能够以低于100 mW的功耗在节点上进行文本生成，在本地生成事件报告和状态摘要，而无需向云服务器传输原始传感器数据[217]、[218]。7.3. 医疗健康监测与可穿戴智能体用于持续健康监测的可穿戴SLM智能体将TinyML级生物医学信号处理与紧凑语言模型相结合，实现自然语言交互和个性化健康建议。MobileLLM-350M可以在处理ECG、SpO2和活动传感器数据的同时维持持续健康对话界面，实现前沿LLM在架构上无法实现的隐私保护端侧健康智能[219]。7.4. 自动驾驶汽车对于L2–3级自动驾驶辅助，SLM提供车载自然语言交互，其能耗成本不会显著影响车辆续航里程。Katare等人[220]综述了用于能效自动驾驶的近似边缘AI技术，指出4位量化SLM在50–200 ms响应延迟和3–10 W功耗下，可用于车载驾驶员辅助对话。对于完全的L4–5级自主驾驶，主要AI能耗代价是感知-规划而非语言交互，但SLM提供了连接传感器输出与运动规划器输入的语义场景理解层[221]、[222]。7.5. 工业自动化用于预测性维护和流程优化的工业SLM智能体运行在局域网连接的嵌入式平台上，该平台提供足够的计算能力，以5–25 W运行3B–7B参数SLM推理。关键智能体能力是在无需往返云端AI服务的情况下，用自然语言自主报告异常。7.6. 可再生能源系统部署在可再生能源管理系统边缘硬件上的SLM智能体，可以对发电量预测[223]、储能状态和需求模式进行现场推理，并在不依赖云端的情况下生成调度决策和运维报告。边缘SLM推理的低延迟优势对于亚秒级时间尺度运行的微电网控制循环至关重要，在这些场景下云端往返延迟将使前沿模型推理无法适用[224]。8. SLM智能体机群的实用部署约束能耗并非部署机群唯一的制约因素。以下分析是概念性的，未报告任何测量值，且有意在法规方面保持一般性：此处内容不构成法律建议，也未引用任何法定条款。表14进行了总结。表14. SLM智能体机群部署的实用约束。约束对部署的影响缓解措施未解决问题热节流持续吞吐量低于峰值；延迟随循环深度非平稳占空比管理；准入控制；按持续包络尺寸设计无智能体基准报告持续负载行为电池衰减持续运行增加等效完整循环次数，提前触发更换充电感知调度；可延期工作推迟至市电供电持续端侧推理的全生命周期成本未量化硬件异构性单一导出无法在全机群以预期效率运行每目标构建矩阵；保守格式；能力门控量化算子无可移植性能契约模型更新成本传输能耗和带宽可能超过所运送的增益增量和适配器更新；低频基础更新所有能耗核算均不包含更新能耗法规合规本地处理改变了姿态，但例外路径仍会传输最小化升级和遥测；个性化范围限定于可擦除存储擦除与参数记忆在架构上未解决机群维护漂移最难检测之处恰是隐私架构最强的地方导出安全可观测性信号；群组对比无输入收集的漂移检测机群监控遥测消耗了采用SLM层级所要保护的预算批量、采样、端侧聚合、隐私报告智能体任务完成无公认SLO具身碳、电子废弃物制造成本先于任何推理，且可能占主导优先选择已存在的硬件；延长设备寿命边缘智能体机群无生命周期评估8.1. 热节流规格描述的是峰值性能；智能体负载具有持续占空比。持续循环会将芯片驱动至热极限，时钟下降，持续吞吐量远低于标称值。因此短期基准测试高估了部署能力，且高估幅度随循环深度增长；延迟变得非平稳，因此同一请求在会话后期成本更高，且按冷启动校准的预算会被打破；同封装内活跃的无线电或摄像头提高了推理起始温度。模型必须按持续而非峰值包络进行尺寸设计，实践中这意味着比规格建议的更小模型。8.2. 电池衰减电池随累计充电吞吐量、高荷电状态时间和温度老化，而持续运行的智能体驱动着全部三个因素。始终在线的智能体对每日功耗增加小幅比例，却可能每年增加不成比例的等效完整循环次数，提前触发更换。由此产生两个后果：如果端侧推理缩短设备寿命，则可持续性论证减弱，因为更换携带的具身碳远超运行中节约的能耗；且可延期工作应在充电时运行，使调度成为电池健康决策。我们未发现量化此成本的研究。8.3. 硬件异构性设备在加速器厂商和代际、运行时、支持的算子以及——最具后果地——哪些量化格式拥有高效内核方面存在差异，因此单一导出无法在所有地方以预期效率运行，且在一块NPU上快速的格式在另一块上可能回退到CPU。三种可用策略代价均高：每目标构建矩阵、最低公分母格式，或按设备类别功能门控。由于量化既是最高杠杆技术，也是碎片化最严重之处，机群可实现效率由其最弱支持目标而非最优目标决定。8.4. 模型更新成本更新本身就是一个具有能耗和带宽成本的系统。运送低秩适配器而非基础权重可改变传输量数量级，并使能力与基础模型变更解耦。版本管理比服务端更难，因为版本在现场无限期共存，因此行为是跨版本的分布。回滚是被低估最多的：回退回归需要先前权重驻留或可重新获取，而预留该存储是真实成本。更新能耗相对于节约能耗不可忽略，因为需要频繁全权重重分布的改进可能消耗比其回收更多的机群能耗。8.5.

## 合规性

设备端处理被作为一种合规策略采用，而不仅仅是效率措施，因为从未离开设备的数据不会被传输，而数据传输附带多项义务。在此情况下，数据驻留要求是通过结构性而非合同性的方式得到满足的。但义务是被重新安置而非消除：遥测数据、崩溃报告、更新日志和云端升级均属于数据传输，因此一个默认本地化的架构可能在其异常路径上发生泄露。最难处理的是，删除操作与模型记忆之间的交互不够顺畅：通过设备端微调被吸收到适配器权重中的数据无法简单地删除，因为删除一个训练样本并不会消除其对参数的影响。这些应对措施是必须先于部署做出的架构决策。读者应就其管辖区域适用的要求咨询合格的法律顾问；本综述不对这些要求持任何立场。

## 8.6 车队维护与监控

输入分布会漂移，而已部署的模型不会，并且漂移恰恰最难在隐私架构最强大的地方检测到，因为能够揭示问题的输入正是那些不应被收集的数据：这是一种真实的矛盾，而非疏忽。因此，可观测性必须基于可安全导出的量来构建：模式违反率和升级率、循环深度分布、验证器分歧度、延迟和能耗百分位数。监控本身也是一种工作负载；朴素的逐事件遥测可能消耗大量本应由SLM层保护的预算，因此必须进行批处理、采样并针对充电状态进行调度，通过设备端聚合和差分隐私报告来获取车队级别的趋势，代价是牺牲对单个故障的精细度。针对预先声明的服务级别目标进行分阶段发布是主要的控制手段，但定义这些目标仍是一个未解决的问题，因为真正重要的量——任务完成度——观测成本高昂，且往往只能由用户来评估。旧加速器的支持窗口会在设备仍在使用时结束，因此有效能力受限于最古老的保留设备群组。

## 8.7 隐含碳排放与生命周期终结

制造碳排放只发生一次，在任何推理之前，对于低功耗设备，其碳排放量可能等于甚至超过运行期间的份额。因此，边缘场景的优势在于使用本已存在的硬件时最强，而在需要激励制造专用设备时最弱，后者的隐含成本必须在产生任何净节约之前得到抵消。任何缩短设备寿命的因素都会将成本从运行账本转移到隐含账本，这就是为什么电池损耗是一个可持续性问题的原因。我们调研的文献中不存在针对边缘智能体部署的完整生命周期评估。

## 9. 批判性分析与比较评估

### 稠密SLM
稠密SLM提供了成熟的工具链、可预测的扩展性、广泛的硬件支持，以及所有模型家族中最强的可复现性和工业采用度；Phi和Gemma [8], [76]等数据策划模型提供了出色的每瓦性能。其主要限制是二次方注意力成本，这限制了长上下文的效率，以及可解释性，后者仍然是部分的。稠密SLM是当今生产智能体的安全默认选择。

### 混合专家模型（MoE）
MoE架构实现了每个活跃FLOP的出色能力，使得在类似SLM的算力下能够实现大的有效容量。然而，其总内存占用量大，路由使部署和可复现性复杂化，负载均衡引入了服务变异性 [225]。因此，MoE将约束瓶颈从计算转移到内存：在边缘服务器上很有吸引力，但在内存受限的设备上却较为尴尬。

### 状态空间与线性注意力模型
线性推理成本和恒定内存使这些模型非常适合长时程PCEL智能体 [15], [86]，具有出色的可持续性和低成本。然而，其生态系统成熟度、可解释性和工业采用度仍然落后于稠密Transformer，且上下文内回忆能力可能较弱，尽管混合模型部分解决了这一问题 [89]。

### 量化
量化是单一杠杆率最高的效率技术，广泛适用且在4比特时无需重新训练 [95], [96]，具有强大的可复现性和采用度，而1.58比特的前沿 [132] 承诺了进一步的增益。然而，低于4比特时，精度变得依赖于任务，激活量化仍然微妙；激进的量化还可能放大某些安全失败模式。

### 蒸馏
蒸馏是将推理能力打包到小规模模型的最有效途径，正如R1蒸馏模型所展示的 [100]。它需要一个有能力的教师模型和大量的训练算力，而学生模型在蒸馏分布之外的泛化不均匀，这在一定程度上削弱了可扩展性和可复现性。

### 边缘、分割与联邦方法
这些方法通过保持计算和数据在本地来实现强大的隐私性和可持续性 [101], [226]，其边缘部署就绪度很高。然而，系统可扩展性仍受设备异质性限制，联邦协调增加了通信开销，工业工具链仍在成熟中。

### 神经形态
神经形态硬件为事件驱动工作负载提供了可能最低的能量下限。然而，其软件栈尚不成熟，部署就绪度有限，当前的可复现性也很弱，这使得它成为一个长期赌注，而非近期的生产选择。

### SLM-LLM协作
协作方案在实际部署中实现了最佳的总体能量-能力平衡，将简单任务路由给SLM，将复杂任务路由给LLM [7], [174]。混合编排增加了系统复杂性，且云端LLM回退可能会重新引入选择SLM层所要避免的隐私和成本顾虑。

### 跨领域观察
表15中反复出现三种模式。第一，可持续性和隐私性在SLM为中心的方法中普遍较强，验证了本综述的核心论点。第二，可解释性和安全性普遍只是部分的，表明这是领域性的缺口而非方法特有的问题。第三，可复现性与开放性相关：完全开放的流水线 [111], [112] 得分最高，而专有或依赖路由的系统得分较低。这些观察直接促使我们梳理下一节中列出的研究缺口。

### 表15. 能源高效智能体AI方法家族在九个维度上的比较评估

| 方法家族 | 可扩展性 | 可持续性 | 可解释性 | 安全性 | 隐私性 | 部署 | 工业 | 可复现性 | 成本 |
|---|---|---|---|---|---|---|---|---|---|
| 稠密SLM | 完全支持 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 部分/有限 |
| MoE SLM | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 状态空间/线性 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 量化 | 完全支持 | 完全支持 | 完全支持 | 部分/有限 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 部分/有限 |
| 剪枝/稀疏性 | 部分/有限 | 完全支持 | 完全支持 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 蒸馏 | 部分/有限 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| PEF | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 边缘/分割计算 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 联邦智能体 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |
| 神经形态 | 不支持/不存在 | 完全支持 | 不支持/不存在 | 不支持/不存在 | 完全支持 | 不支持/不存在 | 不支持/不存在 | 不支持/不存在 | 部分/有限 |
| SLM-LLM协作 | 完全支持 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 | 部分/有限 |

图例：完全支持 | 部分/有限 | 不支持/不存在

## 10. 跨领域综合：选择与组合效率策略

前几节逐一调研了模型、技术和架构。从业者面临的是逆问题：给定固定约束，选择哪个模型层和哪种技术组合，代价如何？本节分两步回答：一个用于SLM/LLM边界的决策框架，以及一个将技术与部署场景关联的矩阵。

### 10.1 何时选择SLM，何时需要升级

八个维度决定了这一选择，而在每个维度中，决定性变量并非显而易见的那个。任务复杂度取决于模型微调分布之外所需知识的广度，而非表面难度，这使得边界明确、模式稳定的任务成为SLM的天然领域。错误容忍度取决于是否存在廉价的验证器，而非错误率本身。延迟预算必须按任务而非按token计算，因为一个需要三次迭代的SLM可能比只需一次的LLM端到端更慢。成本取决于调用量，而智能体工作负载天生处于高调用量端。长上下文通过KV缓存而非权重来惩罚小模型，因此需要线性注意力骨干或检索架构，仅仅选择更小的模型并无帮助。工具调用可靠性随可用工具的数量和相似性而下降，因此缓解措施是减少命名空间而非扩大模型规模。隐私往往凌驾于其他因素之上，因为从未离开设备的数据根本不会被传输，这可以证明接受可测量的能力损失是合理的。多步推理是差距持续存在且能量论证可能反转的领域，因为一个小模型在二十步后失败并重启，其成本可能高于一次成功的大型调用。这些构成了一项统一策略：默认运行SLM层，进行廉价验证，并在基于测量的触发条件下进行升级，例如验证器置信度低、模式违反、检索未命中或循环深度预算超出，而不是在尝试之前凭猜测决定，因为不必要的升级成本是一次大型调用，而漏掉的升级成本则是一个完整付费后又必须重复的失败循环。表16总结了该框架。

### 表16. SLM/LLM边界决策框架

| 维度 | 有利于SLM层的情况…… | 应当升级的情况…… | 升级触发条件 |
|---|---|---|---|
| 任务复杂度 | 输出空间有界，模式稳定 | 需要开放域知识或跨域综合 | 检索未命中；模式外输出 |
| 错误容忍度 | 错误廉价、可检测、可重试 | 错误不可逆、静默或涉及安全 | 验证器置信度低于阈值 |
| 延迟 | 预算主要由网络往返决定 | 预算被额外的循环迭代消耗 | 循环深度超出预算 |
| 隐私 | 输入为个人、受监管或敏感数据 | 数据已在合规情况下移出设备 | 负载的策略分类 |
| 成本 | 调用量高且持续 | 调用量低、突发或不可预测 | 未达摊销周期 |
| 上下文长度 | 工作上下文短或受检索限制 | 长上下文为内在需求，无法摘要 | KV缓存超出设备预算 |
| 工具调用 | 工具命名空间小且隔离良好 | 存在大量相似工具；需要组合式使用 | 重复出现格式错误或歧义调用 |
| 多步推理 | 链式结构熟悉且已蒸馏 | 新颖、长时程或探索性推理 | 自一致性分歧；步数预算超出 |

### 10.2 优化技术与部署约束

选择哪种优化技术，与其说取决于其宣传的节省幅度，不如说取决于哪种资源是瓶颈，而五个场景反复出现。在内存受限场景中，模型或其KV缓存无法容纳，在容纳之前其他都不重要。在延迟受限场景中，模型能容纳但错过截止时间，因此缩短关键路径的技术占主导。在能耗受限场景中，电池或热预算限制了持续工作，目标是以完成的每个任务为单位消耗的焦耳数，这使得避免工作比更廉价的工作更有价值。隐私受限场景是架构性的，因为计算不能离开设备，这从设计空间中移除了升级选项。连通性受限场景中，链路是间歇性或昂贵的，因此减少传输频率和大小占主导。表17将调研的技术映射到这些场景中：有效性是序数级别的，并非节省的保证；精度列记录的是退化的类型而非幅度；工程努力被赋予同等重要性，因为一项在论文中节省幅度大但集成成本也高的技术，往往会输给一项已被目标运行时支持且节省幅度较温和的技术。

### 表17. 优化技术与关键部署约束

| 技术 | 内存 | 延迟 | 能耗 | 隐私 | 连通性 | 精度代价（类型） | 工程 |
|---|---|---|---|---|---|---|---|
| 低位量化 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 部分/有限 | 退化对离群值敏感的层；长链算术最差；低于4比特/三值时依赖于任务类别，结构化输出可接受，推理不可接受 | 低 |
| 结构化剪枝 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 完全支持 | 均匀的质量损失，可通过微调恢复 | 中 |
| 非结构化稀疏性 | 部分/有限 | 部分/有限 | 部分/有限 | 完全支持 | 完全支持 | 若硬件利用稀疏性则效果较小；否则无增益 | 中 |
| 蒸馏 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 蒸馏分布之外的泛化能力 | 高 |
| PEFT/LoRA | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 微乎其微；受适配器容量限制 | 低 |
| 早退 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 集中在硬输入上，而硬输入本就会晚退出 | 中 |
| 推测解码 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 构造上无损失；保持分布不变 | 中 |
| 动态token预算 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 对低估的任务产生截断推理 | 低 |
| KV缓存压缩 | 完全支持 | 部分/有限 | 部分/有限 | 完全支持 | 完全支持 | 被驱逐上下文的回忆能力下降 | 中 |
| 线性注意力骨干 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 长程上下文内回忆能力较弱 | 高 |
| 语义缓存 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 部分/有限 | 近似重复查询的误命中 | 低 |
| 语义通信 | 部分/有限 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 消息可解释性损失 | 高 |
| 联邦适应 | 部分/有限 | 部分/有限 | 完全支持 | 完全支持 | 完全支持 | 异质性下的收敛问题 | 高 |
| 边缘/设备端执行 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 完全支持 | 受设备可容纳的模型规模限制 | 中 |
| SLM-LLM路由 | 部分/有限 | 完全支持 | 完全支持 | 部分/有限 | 完全支持 | 路由器误分类，双向均可能发生 | 中 |
| 碳感知调度 | 完全支持 | 完全支持 | 部分/有限 | 完全支持 | 完全支持 | 无损失；仅转移时间，不转移能量 | 低 |

图例：完全支持 | 部分/有限 | 不支持/不存在

## 11. 挑战与开放研究问题

### 11.1 SLM规模的推理-能量权衡

SLM智能体部署中的基本矛盾是推理质量与能耗之间的权衡。对于简单、结构化的智能体子任务，SLM以显著更低的能量匹配甚至超过LLM性能。对于需要广泛知识和多步推理的复杂、开放式推理任务，SLM与前沿LLM之间的差距仍然显著。精确刻画这一质量前沿是一项研究优先事项，而当前文献侧重于基准测试精度而非能量-质量帕累托分析，尚未充分解决这一问题。

### 11.2 SLM智能体的能效基准测试

现有的SLM基准测试 [16] 测量精度、延迟和内存占用，但未系统性地测量智能体上下文中的能耗。开发SLM专属的智能体能效基准代表着一个关键的基础设施缺口。IPW基准 [227] 在这一方向上迈进了一步，但未涉及智能体循环场景。

目前锚定SLM能力声明的基准测试是为单独探测知识和推理质量而设计的，而非为测量受能量限制的i智能体能力。知识推理套件如MMLU [228]、ARC [229]、HellaSwag [230]、WinoGrande [231]、GSM8K [232] 和 TruthfulQA [233]，以及面向广度测试的BIG-bench [234] 和基于偏好的MT-Bench [235]，共同定义了SLM的事实能力画像。然而，它们都不报告达到给定分数所消耗的能量，而GAIA、AgentBench和SWE-bench等智能体基准继承了同样的遗漏。表18总结了主流评估套件及其各自隔离的能力维度，明确指出了可持续性基准必须补充的缺失的能量和智能体轴。

### 表18. 常用于表征SLM能力的评估套件、各套件主要探测的维度、以及是否报告能耗或测试多步智能体行为

| 基准 | 主要维度 | 报告能耗 | 智能体 | 对SLM智能体测量的内容 |
|---|---|---|---|---|
| MMLU [228] | 广泛知识 | 不支持/不存在 | 不支持/不存在 | 57个学科的多选题世界知识 |
| ARC [229] | 科学推理 | 不支持/不存在 | 不支持/不存在 | 小学科学问答 |
| HellaSwag [230] | 常识 | 不支持/不存在 | 不支持/不存在 | 句子补全合理性 |
| WinoGrande [231] | 共指消解 | 不支持/不存在 | 不支持/不存在 | 代词消解的常识推理 |
| GSM8K [232] | 数学推理 | 不支持/不存在 | 不支持/不存在 | 多步小学数学应用题 |
| TruthfulQA [233] | 真实性 | 不支持/不存在 | 不支持/不存在 | 抵御模仿性虚假的能力 |
| BIG-bench [234] | 广度 | 不支持/不存在 | 不支持/不存在 | 200+个探测涌现能力的多样任务 |
| MT-Bench [235] | 指令质量 | 不支持/不存在 | 不支持/不存在 | 多轮评判式对话质量 |
| GAIA [63] | 助手任务 | 不支持/不存在 | 完全支持 | 真实世界的工具使用助手问题 |
| AgentBench [64] | 智能体广度 | 不支持/不存在 | 完全支持 | 8个LLM/SLM作为智能体的环境 |
| SWE-bench [65] | 软件智能体能力 | 不支持/不存在 | 完全支持 | 端到端解决真实GitHub问题 |
| IPW基准 [227] | 效率 | 完全支持 | 部分/有限 | 按功耗归一化的精度 |

### 11.3 能量约束下的幻觉

与前沿LLM相比，SLM更容易产生幻觉，特别是在其训练分布之外的知识密集型任务上。

这一现象现已得到广泛刻画：现有调查将事实性失败与忠实性失败加以区分，并梳理了涵盖检索锚定、解码约束和事后验证的缓解策略 [236]、[237]。在智能体循环中，被幻觉化的中间输出会传播至后续推理步骤，污染后续决策，并可能导致循环发散。一次失败的物理-计算-环境循环的能量成本，可能超过一次更有能力但能耗更高的成功大模型调用。为小语言模型开发不确定性量化方法，使其能够在执行物理-计算-环境循环步骤之前预测幻觉风险，既是准确性问题也是能效研究问题；语义熵，即对语义而非标记序列的不确定性度量 [238]，提供了一个计算成本适中且具有前景的信号，可用于对昂贵的升级调用进行门控。

### 11.4 能耗约束下的持续学习

通过运行经验不断提升的小语言模型智能体，在能耗受限场景下面临灾难性遗忘问题 [239]。在线 LoRA 微调提供了一种实用方法，但为每个更新周期增加了计算开销。开发能效型持续学习算法，使其在目标硬件的推理能耗预算内运行，同时保持与离线微调相当的性能提升速率，仍是一项开放的研究挑战。

### 11.5 安全性与对抗鲁棒性

部署在自主场景中的小语言模型智能体容易受到提示注入、对抗性输入和模型提取攻击的影响。小语言模型相对较少的参数量可能使其比具有更多冗余表征的大模型更容易受到某些对抗性扰动的影响。开发轻量级对抗防御方法，在增加最小能耗开销的同时提供有意义的鲁棒性保证，对于安全关键型小语言模型智能体应用尤为重要。

## 12 研究空白与未来研究方向

前文逐一列举了各项挑战；本节将其综合为投资组合视角，揭示该领域的工作应优先投入的领域。两个组织性问题构建了综合框架：首先，每个空白的解决方案空间成熟度如何——是否已有新兴技术，还是问题本质上仍未解决？其次，每个空白对可持续智能体智能的杠杆作用有多大——解决它会带来增量提升还是变革性突破？

除战略定位外，各空白在可持续性和部署维度上所阻塞的方面也不同。表 19 将主要开放问题映射到其所阻塞的维度，揭示了少数几个跨领域空白同时阻碍了几乎所有维度的进展，因此提供了不成比例的回报。这种维度阻塞视角与表 20 基于时间跨度的优先级排序形成互补：前者表明一个空白能解锁什么，后者表明何时可能解决它。

**表 19 主要研究空白与其当前阻塞维度的映射**

| 研究空白 | 能力 | 能耗 | 可靠性 | 安全性 | 隐私 | 部署 |
|---------|------|------|--------|--------|------|------|
| 能耗感知智能体基准 | 完整支持 | 完整支持 | 部分/有限 | 部分/有限 | — | — |
| 小模型–大模型路由优化 | 完整支持 | 完整支持 | 部分/有限 | — | — | — |
| 长物理-计算-环境循环上下文的键值缓存 | 部分/有限 | 完整支持 | 部分/有限 | — | — | — |
| 循环中的幻觉/不确定性 | 部分/有限 | 部分/有限 | 完整支持 | 部分/有限 | — | — |
| 持续学习效率 | 部分/有限 | 部分/有限 | 部分/有限 | — | — | — |
| 联邦智能体协同 | — | — | — | 部分/有限 | 部分/有限 | 部分/有限 |
| 神经形态–小模型集成 | 完整支持 | 完整支持 | — | — | — | 部分/有限 |
| 可认证的能耗–安全前沿 | — | 部分/有限 | 完整支持 | 完整支持 | — | — |
| 边缘小模型碳核算 | — | — | — | — | — | 部分/有限 |
| 自供能永续智能体 | — | 完整支持 | — | — | — | 完整支持 |
| 世界模型赋能的小模型 | 完整支持 | 部分/有限 | 部分/有限 | — | — | — |

**图例：** 完整支持 / 部分或有限 / 不支持或缺失

**表 20 能耗型小语言模型智能体人工智能的开放研究挑战**

| 挑战 | 层次 | 时间跨度 | 研究方向 |
|------|------|---------|---------|
| 小模型推理能耗帕累托前沿 | L1 | 近期（1–2年） | 任务特定质量–能耗特征化；动态路由 |
| 智能体能耗基准 | 评测 | 近期（1–2年） | 小模型智能体性能；物理-计算-环境循环能耗测量；边缘硬件 |
| 智能体循环中的幻觉 | L1+L2 | 近期（1–2年） | 小模型不确定性量化；物理-计算-环境循环提前退出 |
| 持续学习效率 | L1+L2 | 中期（2–4年） | 在线 LoRA；经验高效的小模型自适应 |
| 小模型–大模型路由优化 | L1 | 近期（1–2年） | 自动任务复杂度路由；混合成本模型 |
| 长物理-计算-环境循环上下文键值缓存 | L2 | 近期（1–2年） | 小模型专用淘汰策略；滑动窗口+汇聚点用于智能体 |
| 联邦小模型智能体协同 | L3 | 中期（2–4年） | 拜占庭鲁棒联邦学习；异步联邦多智能体 |
| 神经形态–小模型集成 | L1+L4 | 长期（4–7年） | 混合神经形态–数字小模型流水线 |
| 安全–能耗前沿 | 全部 | 中期（2–4年） | 形式化能耗–安全约束；可认证小模型智能体 |
| 边缘小模型碳核算 | L5 | 近期（1–2年） | 设备级生命周期评价；制造碳排放 |
| 自可持续小模型智能体 | L4+L5 | 长期（5–8年） | 能量收集驱动的永续小模型智能体；自适应占空比 |
| 开放式泛化 | L1 | 长期（4–7年） | 世界模型赋能的小模型；高效的上下文内自适应 |

### 12.1 每瓦智能作为核心设计指标

下一代小语言模型智能体研究的核心组织指标应为 IPW（每瓦智能）：即在单位持续推理功耗下可实现的自主任务执行质量。IPW 捕捉了仅靠性能指标或仅靠能耗指标都无法提供的联合优化目标。Saad-Falcon 等人 [227] 的 IPW 基准报告指出，在所评估的任务和硬件上，4 位量化、3B–7B 范围内的小模型占据了每瓦准确率前沿的有利区域。将该结论扩展到神经形态加速的亚 1B 模型以用于事件驱动感知，是我们的预期，而非该工作的发现。

图 10 以示意图方式呈现了这一概念，即能力–功耗平面。前沿大模型占据高能力、高功耗区域；激进量化的亚十亿级小模型占据低功耗、较低能力角落；而效率前沿通过紧凑小模型区域弯曲，目前大多数智能体价值就集中于此。本综述倡导的研究计划，实质上就是系统地推动这一前沿向上向左移动。

**图 10 IPW 示意图**

### 12.2 世界模型赋能的小模型

将紧凑的世界模型集成到小模型智能体流水线中，是降低物理-计算-环境循环能耗影响最大的研究方向之一。拥有精确世界模型的小模型智能体可以在数毫秒内模拟数千个候选动作序列，然后再决定是否执行物理操作，从而大幅减少完成任务所需的昂贵环境交互次数。将世界模型压缩为与小模型推理流水线兼容的 50M 以下参数表示，是一项具有直接能耗影响的开放架构挑战。

### 12.3 神经形态自主智能体

神经形态计算与小模型智能体智能的长期融合，有望实现运行能效达到生物水平的自主智能体。NeuEdge 框架 [211] 和 Intel Hala Point [240] 代表了神经形态智能在有意义规模上的早期步骤；将其扩展到在脉冲硬件上进行紧凑语言模型推理，将释放运行在毫瓦功率级别的始终在线自主智能体，这是实现真正普适嵌入式智能的技术前提。

### 12.4 微型智能体智能：一种愿景

我们引入 TAI（微型智能体智能）作为该研究领域统一性的未来愿景：自主 AI 智能体——

1. 在嵌入式边缘硬件的能耗预算（1 瓦以下）内持续运行，由电池或能量收集供电。
2. 利用针对特定操作领域优化的小模型独立推理。
3. 通过能耗开销受电池状态约束的联邦 LoRA 微调，从运行经验中自适应学习。
4. 通过最小化通信能耗的语义通信协议与同类智能体高效协同。
5. 将能耗管理作为一等认知能力，根据当前能量可用性调节推理深度、上下文长度和检索频率。

TAI 智能体将代表本综述所描绘的演化轨迹的终点：从符号 AI 经由基于大模型的自主智能，到持久的、具身的、持续运行的智能——如同生物认知一样自然且高效。

### 12.5 迈向可持续智能体智能的未来方向

TAI 愿景是一个终点；实现它需要一个分阶段的研究计划。我们将路径分为三个时间跨度——近期（2026–2028）、中期（2028–2030）和长期（2030 年之后），跨越四个相互依存的线程：模型与训练、硬件与边缘基础架构、智能体能力、可持续性与社会。

#### 12.5.1 近期（2026–2028）：测量、效率与路由

当务之急是使能耗成为可测量、可报告、可优化的量。在模型层面，数据高效训练是最直接服务于可持续性的杠杆：如 Orca [241] 中所示的解释型蒸馏，以及 LIMA [242] 的发现——高质量对齐仅需极少样本即可实现——都表明能力不必随数据量或计算量扩展。在系统层面，键值缓存优化的运行时对于长智能体上下文至关重要 [66]，稳健的能耗感知工具使用让 Mistral-7B [243] 这样的小模型也能完成原本需要前沿模型的任务。

#### 12.5.2 中期（2028–2030）：自我提升与绿色基础

测量体系建立后，中期目标是在能耗预算内实现自我提升的智能体。测试时扩展技术以少量可控的推理计算换取显著更好的推理 [244]，对小模型尤其有吸引力，因为它允许固定大小的模型根据每个查询调节努力程度，而非为很少用到的能力付费。在明确碳预算下训练的基础模型成为常态，稳健的多智能体协同 [35] 使专门化小模型集群能以总体能耗的几分之一匹敌单体系统。硬件通过混合神经形态–数字边缘加速器共同演化，将事件驱动感知与传统解码相结合。

#### 12.5.3 长期（2030 年之后）：永续、去中心化、边缘原生智能体

长期视野追求 TAI 终点。世界模型赋能的小模型获得当今模型所缺乏的开放式适应性，而能量收集和神经形态原生基础架构使在没有持续电源的情况下实现永续运行成为可能。智能体系统组织为去中心化的智能体经济体，在边缘进行协商、委派和计算交易，并受可认证的能耗–安全保证约束。可持续性线程最终收敛为零净碳排放的智能体基础设施，其每瓦智能接近生物认知水平，这是本综述核心论点的定量重述。

## 13 局限性与效度威胁

本综述中讨论的所有量化数据、数据点和信息均引自或推导自第三方已发表来源，并基于明确陈述的假设。未进行任何原始测量，所有发现均为说明性的、不可比的量级参考，旨在概念讨论，不应用作经验证的基准结果或运行决策依据。因此，每个数据要么是原始来源报告的，要么是在使用点明确陈述假设的前提下从已发表值算术推导的，要么被明确标注为说明性的未验证场景。当文献不支持某个数据时，我们将其移除或将相关主张改为定性描述。

本工作遵循 PRISMA 式报告，但不满足系统评价的方法学要求：筛选未由两名独立评审员重复进行且未报告评分者间一致性统计量，没有注册的方案，也未应用正式的偏倚风险工具。检索字符串和标准已报告，以便评估并大致复现选择过程，但不声称是穷尽的。评分表中的符号由作者统一从公开文档中应用，但标准未在书面方案中正式化，判断也不客观，因为其本质上是对文档是否足够无保留地算作完整支持的判断，评分未进行独立重复且未报告评分者间一致性。作为比较综合而非单一来源提取的表格主观性最强，应以相应较低的置信度阅读；它们揭示权衡关系，不应从中推断排名。

文献本身变化迅速。此处讨论的模型、量化格式和运行时将被超越，部分能力评估将过时；我们尝试通过将综述围绕机制和约束而非基准排名来组织，以提高综述的稳健性，因为前者变化缓慢而后者不。语料库的大部分由尚未完成同行评审的 arXiv 预印本构成，少数为企业报告或模型卡，其主张无法独立验证，因为工件、数据或评测工具集未公开。文献目前就是如此，但这意味着证据基础比引用数量所暗示的要弱，表格中也没有标记区分同行评审结果与预印本或厂商声明，因此发表状态必须从参考文献列表中确认。最后，范围在四个方向上有限：仅限英语来源；以文本为中心的智能体系统，仅在影响能耗时考虑多模态智能体；训练时能耗未像推理时能耗那样深入讨论；以及从已发表攻击类别而非我们进行的实验中推导威胁的概念安全分析。

## 14 结论

本综述论证了小语言模型不是大模型在资源受限条件下的近似替代品，而是大多数智能体负载在架构上的合适基座，因此采用小模型是一项有原则的设计选择而非能力妥协。在所综述的研究中，在边缘硬件上以 4 位精度运行的 1B–7B 模型，在多个类别的智能体子任务上被报告为在每标记能耗大幅降低的情况下接近前沿模型质量，个别研究报告特定模型对和平台上约一个数量级的降低；这些是归属性的、不可比较的数字而非经验证的基准，且此处未进行原始测量。五层能耗分类法梳理了能耗发生在何处以及紧凑模型提供最大杠杆的领域：计算能耗随模型规模直接下降，内存能耗随上下文和缓存管理按比例下降，通信能耗通过端上执行直接消除，具身能耗通过更好的决策和更少的执行动作间接影响。

目前仍待解决的具体问题——而非理论推测——包括：智能体循环中幻觉的不确定性量化、受能量约束的持续学习、安全性与能耗的联合优化，以及同时报告焦耳数与准确率的智能体基准测试。微型智能体智能，即理解为在嵌入式硬件的功率范围内永久运行的自主智能体，应被视为一个工程目标，其核心前提条件已经存在，其实现依赖于评估框架、优化工具和部署架构，而非新的能力突破——正是这些因素将使效率成为一等设计约束。生成式AI与AI辅助技术在写作过程中的声明：作者使用了Claude（Opus 5）协助初稿撰写和语言润色。所有输出均经过作者审阅和编辑，作者对最终内容承担全部责任。Abderaouf Bahi | Amel Ourici