大语言模型（LLM）结构化剪枝的能效权衡：推理能耗节省与精度损失的跨模型跨任务基准研究

《Array》：Pruning LLMs for energy saving: Is it worth the cost?

　　

研究人员基于LLMPruner对7个大语言模型（Large Language Models, LLM）和7项常识任务开展了剪枝基准测试。通过剪枝削减20%的参数量，模型在推理阶段实现了5%–18%的能耗节省。然而，9%–17%的精度损失往往与甚至超过能耗收益，限制了其适用性。能耗节省在不同任务间保持相对稳定，而精度下降则因任务复杂程度而异。若被广泛采用，剪枝每年可节省约170 TWh的能源，相当于荷兰全国的用电量。

近年来，大语言模型（Large Language Models, LLMs）在复杂自然语言处理（Natural Language Processing, NLP）任务中展现出卓越能力。尽管其训练过程以计算密集和能耗高昂著称，但近期研究表明，模型部署后的推理阶段能耗已超越初始训练。例如，当评估GPT-3推理成本时，其在A100 GPU上的年度计算成本估计可达模型训练的25倍。这一转变引发了学术界对其运营生命周期环境影响的普遍关注，亟需进一步审视其可持续性意涵。为缓解深度学习模型的能源影响，绿色人工智能（Green AI）文献系统收集并分类了多种模型压缩技术，包括剪枝（Pruning）、量化与知识蒸馏等。其中，剪枝旨在通过减少模型参数数量，降低计算需求与推理能耗。尽管剪枝被视为资源受限环境下优化模型的有效途径，但其可能导致精度损失。现有研究虽已报道剪枝在缩减模型规模与浮点运算次数（FLOPS, Floating Point Operations Per Second）方面的成效，然而剪枝水平、能耗节省与精度损失之间的定量关系仍尚未得到充分探索。尤其缺乏的是，在明确考虑能耗的前提下，系统分析剪枝如何影响跨任务、跨架构的模型性能。这一空白限制了将剪枝有效整合进可持续人工智能部署策略的能力。

针对上述问题，研究人员围绕两个核心问题展开研究：第一，结构化剪枝在多大程度上可降低大语言模型推理阶段的能耗？第二，结构化剪枝如何影响模型精度，且这种影响在不同任务与模型架构间呈现何种差异？研究人员首次提供了在受控实验条件下跨模型、跨任务的结构化剪枝系统性基准，并同步开展能耗测量。该研究不仅为开发与评估面向能效的新型剪枝方法奠定了根本基础，也为关注模型压缩与人工智能可持续性的研究人员和从业者提供了重要依据，有助于制定与可持续性目标相协调的人工智能系统开发策略。

在技术路径上，研究人员采用LLMPruner工具实施结构化剪枝，其核心基于DepGraph（Dependency Graph）依赖图算法与Taylor（泰勒）重要性准则，通过Torch-Pruning库在BookCorpus数据集的10个随机样本（截断至128个词元）上计算梯度信息，对模型实施参数削减，目标去除约20%参数量，同时依据模型架构保留首末关键层（通常首末各4层，Gemma因结构紧凑各保留2层）。剪枝后，研究人员利用低秩自适应（LoRA, Low-Rank Adaptation）参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）在Alpaca-cleaned数据集上执行两周期微调，以恢复性能损失。LoRA通过在冻结的预训练权重W₀上引入可训练的低秩矩阵A与B（A∈R^r×d，B∈R^d×r），将参数更新约束为ΔW=BA，从而仅训练少量参数。样本模型来源于HuggingFace平台，通过API筛选出500个文本生成模型中下载量居前且由meta-llama、deepseek-ai等主流作者开发的7个2–8B规模模型，具体包括DeepSeek-R1-Distill-Llama-8B、Gemma-2b、Llama-3.1-8B、Mistral-7B、Qwen2.5-7B、Vicuna-7b-v1.5与Yi-1.5-6B。能耗测量采用CodeCarbon工具记录GPU、CPU与内存的推理能耗（单位：Wh），精度评估则借助lm-evaluation-harness框架对7项常识推理基准进行零样本（zero-shot）评测。所有实验在配备NVIDIA RTX 4090图形处理器的工作站上运行，每项基准重复10次，每次运行间隔15分钟以消除热偏差。

参数削减：通过基于Taylor重要性准则的结构化剪枝，7个模型均实现约20%的参数削减，具体比例介于20.0%至20.3%之间，验证了LLMPruner在消费级硬件上的稳定压缩能力。

精度表现：利用lm-evaluation-harness在7项常识任务上的零样本评估显示，剪枝后所有模型平均精度下降幅度在8.8%至16.5%之间，其中Gemma-2.0B损失最小（8.8%），Mistral-5.8B损失最大（16.5%）。跨任务差异显著：物理常识推理任务PIQA鲁棒性最强，精度比率普遍高于95%；复杂推理任务如ARC-Challenge（ARCC）与HellaSwag下降最为剧烈，最差情形分别达约30%与超过20%。

能耗表现：通过CodeCarbon对推理阶段的监测表明，剪枝使所有模型平均能耗下降5%至18%，其中Vicuna-5.4B节能最优（从16.23 Wh降至13.25 Wh），Llama-3.1-6.4B最弱（从17.93 Wh降至17.01 Wh）。值得注意的是，能耗下降在不同任务间保持相对稳定，而精度退化则随任务复杂度异质化，且仅Vicuna与Qwen2.5的能耗下降幅度超过精度下降。

在讨论部分，研究人员指出，鉴于20%剪枝率下能耗节省已属温和，更低剪枝比例预计将进一步压缩边际收益，从而强化剪枝作为节能策略有限便利性的总体判断。研究同时触及一个根本性问题：是否应对简单任务使用大语言模型？研究人员认为，剪枝恰恰在那些伦理与实践困境最为紧迫的场景中使语言模型变得更高效，若剪枝模型能在简单基准上以更低能耗提供令人满意的精度，则在该类场景中使用语言模型的合理性将得以增强。基于国际能源署（IEA, International Energy Agency）关于全球人工智能数据中心用电量到2035年可能达到约1700 TWh的预测，研究人员将实验中约10%的平均节能保守外推至该规模，估算广泛采用剪枝每年可减少约170 TWh的电力消耗，大致相当于荷兰全国年度用电量。尽管这一外推属于理想化假设，但它凸显了剪枝在缓解人工智能能源足迹方面的最大潜在贡献。此外，研究强调剪枝通过降低模型尺寸与内存占用，使中型语言模型更易部署于消费级硬件，为资源受限组织提供了更民主化的AI访问途径，并可能通过降低硬件更新需求间接减少隐含排放。然而，工业应用仍面临专业门槛高、工具链碎片化、可扩展性与自动化程度不足等挑战，限制了其在生产环境中的大规模采纳。

研究结论强调，参数量削减约20%在带来约10%平均能耗节省的同时，也造成了约12%的平均精度下降。这一结果不容忽视，且在许多情况下，相对能耗收益不足以充分证明性能损失的合理性，尤其在复杂推理任务中。因此，剪枝不应被视为普适的压缩策略，而应作为绿色人工智能工具组合中的选择性组件，仅在精度容忍度较高或部署硬件受限的场景中审慎采用。同时，该研究呼吁未来工作超越孤立的模型基准，整合时间与空间碳数据，并将剪枝与量化、蒸馏等互补策略进行比较，以在保持性能的同时实现更深的能耗节省。