综述：关于大型语言模型联合压缩与微调的研究：资源受限条件下的方法、工具链及开放性挑战

《Neurocomputing》：Survey on joint compression and fine-tuning of large language models: Methods, toolchains, and open challenges under resource constraints

　　金智贤|李汉永|李在成
韩国首尔市东卓区忠安大学人工智能系，邮编06974

摘要
在不降低任务性能的前提下提升大规模语言模型的效率，仍是其实际应用中的核心挑战。本综述通过分析2010年代至2025年间发表的165篇相关研究，探讨了这一问题，并总结了用于压缩和微调大规模语言模型的典型方法。首先介绍了这类模型的基本构成要素以及用于评估其性能的标准基准。接着重点分析了模型压缩所涉及的主要任务，诸如剪枝和量化等手段可通过去除冗余参数来降低模型复杂度，同时保留其核心功能。与此同时，综述还介绍了微调技术——通过人类反馈或高效精准的更新，使模型获得特定任务的能力。综述将压缩与微调之间的相互作用作为核心研究内容，强调不应将模型压缩与知识迁移视为独立目标，而应将其整合为统一的流程，从而降低计算成本并缩短训练时间。最后，本文列出了常用的开源工具，并指出了未来大语言模型压缩与适配研究面临的挑战。

引言
大规模语言模型（LLM）的快速发展彻底改变了该领域，推动了推理、理解及语言生成能力的大幅提升。得益于改进的架构、可扩展的训练方法以及大规模数据集，这些模型在翻译、文本生成和总结等任务上表现出色。它们已被广泛应用于医疗、金融和教育等领域，但随着模型规模的不断增大，高效的训练与部署仍面临诸多挑战[1][2][3]。

尽管取得了显著进展，但大型语言模型通常包含数十亿个参数，这严重限制了它们的应用范围。无论是训练还是推理，都需要高性能服务器、图形处理单元（GPU）或张量处理单元（TPU），以及大量内存资源。例如，LLaMA3 405B模型无法在配备8块NVIDIA H100 GPU（总内存800GB）的单台机器上运行，而需要分布式多节点环境才能进行推理[4]。同样，175B参数的GPT-3模型在以FP16格式存储时，至少需要5块80GB的A100 GPU以及约350GB的内存[5]。图1展示了由此带来的内存问题：当使用FP16格式运行时，现代大型语言模型的内存需求会迅速上升，甚至超出单块GPU的处理能力，即便使用高端多GPU节点也往往不够用。如此大的资源消耗使得在手机或资源有限的边缘设备上运行这些模型几乎不可能。由于高能耗问题，许多缺乏大规模计算资源的研究人员和开发者也无法使用这些模型。

为降低模型规模和部署成本，人们通常采用剪枝和量化等方法来减少模型的计算量和内存占用。然而，这些方法可能会改变模型的内部表示结构，进而导致不同任务或测试基准上的性能出现差异。因此，人们通常在压缩之后再通过微调来恢复任务性能，或让压缩后的模型适应特定应用场景。单纯的顺序流程并不总能满足需求，因为压缩过程中的决策可能限制后续的适配效果，而微调又可能改变各层、权重或激活函数的敏感度。正因如此，应将压缩与适配视为一个耦合的设计问题，而非两个独立的步骤。核心挑战在于在降低内存占用、延迟和能耗的同时，保留模型满足后续应用需求的能力，尤其是在资源有限的设备或服务器上。

现有的大型语言模型综述通常仅单独讨论压缩或微调技术，或在更广泛的概述中简略提及。有一些研究主要聚焦于大型语言模型压缩，将相关方法分为四类：参数剪枝、低秩分解、量化和知识蒸馏[8][9]。相比之下，关于大型语言模型微调的综述则将方法分为监督微调（SFT）、基于人类反馈的强化学习（RLHF）、强化微调（RFT）和教程微调（TFT）[10]。还有些综述主要关注参数高效微调（PEFT），虽然视角较为全面，但并未充分探讨压缩与微调的结合使用方式[11][12]。尽管许多研究也涵盖了与大型语言模型相关的诸多主题，如发展历史、应用领域、推理策略和数据选择等[13][14][15]，但它们对压缩与微调技术的深入探讨仍显不足。有一项研究同时研究了压缩与微调技术，并探讨了跨领域的实际应用，但它并未明确强调两者的结合使用，也未系统阐述基于人类反馈的微调方法[16]。

本综述所收录的论文是通过Google Scholar、arXiv、IEEE Xplore、ACM Digital Library、ScienceDirect、ACL Anthology、OpenReview以及先前研究的参考文献收集而来的。初始搜索截止时间为2026年1月18日，之后通过针对性的补充搜索又发现了更多相关文献。搜索时使用了包含模型效率相关术语（如大规模语言模型、LLM、基础模型）、压缩相关术语（如剪枝、量化、知识蒸馏、低秩近似）以及适配相关术语（如微调、PEFT、LoRA、对齐、偏好优化、联邦微调）的查询组合。通过标题、作者列表、发表年份以及会议或预印本标识符来去除重复记录。筛选过程保留了那些提出大型语言模型压缩方法、适配方法，或分析压缩与适配之间相互关系的研究。最初共找到约500条记录，经过去除重复记录、重复的文章和预印本版本以及明显不符合研究范围的记录后，剩余约300条。通过摘要筛选后又剩下210条，全文筛选后剩余165条，最终纳入综述的研究共有165篇。其中145篇被直接用于核心方法论分析，其余研究则为未来研究方向的讨论提供了参考。完整的参考文献列表还包括背景资料、基准测试、软件/工具链以及其他相关引用。

为及时掌握这一快速发展的领域的最新进展，我们还针对半结构化剪枝、低位浮点量化、零阶微调、联邦微调、MoE + PEFT、最新的强化学习与对齐方法，以及受赫布理论或动态系统理论启发的学习方法进行了针对性补充搜索。这些搜索也遵循相同的四个阶段：初步检索、去除重复和不符合范围的记录、摘要筛选和全文筛选。最终统计结果显示：半结构化剪枝的相关研究有8篇、6篇、2篇和2篇；低位浮点量化的相关研究有24篇、19篇、12篇和7篇；零阶微调的相关研究有31篇、24篇、11篇和4篇；联邦微调的相关研究有50篇、39篇、21篇和4篇；MoE + PEFT的相关研究有20篇、12篇、4篇和2篇；最新的强化学习与对齐方法的相关研究有83篇、37篇、19篇和6篇；受赫布理论或动态系统理论启发的学习方法的相关研究有32篇、13篇、8篇和5篇。从这些搜索中筛选出的新研究在纳入之前都会与最初的文献库进行比对。由于初始检索的文献来源不同，这些数字反映的是各主题内的筛选情况，而非各主题的重要性对比。鉴于相关文献数量庞大，我们采用了以下筛选标准：

1. 优先考虑经过同行评审的期刊文章和会议论文。只有那些与现有文献尚未涵盖的新兴方法或工具链直接相关的最新预印本才会被纳入。
2. 除非研究能够为大型语言模型提供具有普遍适用性的压缩或微调方法，否则仅专注于特定领域应用的研究将被排除。
3. 由于本综述侧重于资源受限环境下的大型语言模型压缩与适配，那些仅评估小型语言模型的研究，除非被用作大型语言模型相关研究中的教师模型、学生模型、压缩目标模型或实验替代模型，否则也会被排除。具体的研究范围详见2.1.4节。

由于实际研究条件的限制，那些直接与大型语言模型压缩、微调或其联合设计相关，且能提供清晰的方法论或实证证据的研究会被优先考虑。本综述主要聚焦于基于Transformer的大型语言模型及其变体，非Transformer架构的相关内容则作为未来研究方向在第七节中介绍。本文的其余部分结构如下：第二节概述了大型语言模型的基本原理、核心系统架构以及常见的评估指标；第三节介绍了降低模型规模的方法，如参数剪枝、数据量化、知识蒸馏和低秩近似；第四节探讨了通过额外训练来修改模型部分的微调方法，重点介绍了监督微调、对齐方法和偏好优化技术；第五节分析了如何通过顺序式、交替式或更为紧密耦合的设计模式将模型压缩技术与微调方法结合起来；第六节列出了各类开源工具；最后，第七节阐述了当前大型语言模型发展面临的局限及未来发展方向。

为了提供一个整体概览，图2展示了本文所讨论的各种方法与工具的架构图。该图可作为本综述结构的概念性路线图。

术语定义
大型语言模型：在以往的研究中，“大型语言模型”这一术语的定义往往不够明确，因为模型的规模、训练数据以及其所具备的能力都在不断变化。在本综述中，“大型语言模型”是指那些因其规模较大而导致内存占用、训练成本或部署延迟成为核心设计约束的语言模型。这包括参数量达到数十亿级别的模型，以及专为这类模型设计的算法。

压缩技术：压缩技术的分类应被视为一种设计框架，而非方法的直接排名。当目标运行环境能够处理较小规模的密集张量时，结构化剪枝是一种可行的方法，但它可能会去除具有语义价值的组件，通常还需要后续的恢复训练。非结构化剪枝在固定稀疏度下往往能更好地保持模型质量，但其性能提升效果取决于稀疏核结构以及硬件支持情况。半结构化剪枝则介于两者之间，它通过某种方式结合了结构化与非结构化剪枝的特点。

监督微调：监督微调技术是在带有标签的特定任务数据集上对预训练的大型语言模型进行训练，以此在保持模型通用表示能力的同时提升其在特定任务或领域的表现[10]。如图6所示，监督微调技术可分为多种类别。其数据集范围从传统的特定任务格式，如问答和总结，到指令-响应对等形式。以FLAN[127]、FLAN-T5[128]、FLAN-PaLM[129]和Alpaca[130]为代表的指令微调技术得到了广泛应用。

综合方法：图8展示了一种综合策略的组织结构。本综述对那些将模型压缩与微调技术相结合的研究进行了梳理。虽然混合方法能够同时提升内存效率和预测精度，但其效果在很大程度上取决于两种技术的应用顺序——通常先进行压缩，然后再通过微调来恢复失去的精度。本章主要聚焦于那些将微调与压缩视为统一方法论的研究。

开源框架与工具：用于大型语言模型的开源框架可支持压缩与微调流程的各个阶段。有些工具通过分片处理、低精度优化或参数高效更新等方式降低训练时的内存需求，而另一些工具则主要致力于提升推理服务效率、内核级执行性能或部署吞吐量。这种区分非常重要，因为实际的开发流程往往需要多种工具的配合，而非仅依赖一个框架。各种工具的实际兼容性并非仅仅取决于简单的列表对比。

讨论与未来方向：本综述对降低大型语言模型规模以及调整其行为的方法进行了分类，重点关注了压缩与微调相互作用的场景。其目标是降低内存占用、训练成本和部署延迟，同时保持任务性能。要真正理解目前仍存在的挑战，就需要了解模型遗忘现象、硬件依赖性、方法兼容性问题以及流程复杂性等问题。当模型丢失之前学到的知识时，就会出现灾难性遗忘现象。

结论：本综述将压缩与微调视为构建高效且具备适应能力的大型语言模型的相互关联的过程。首先，综述明确了解读压缩与适配相关研究所需的架构背景和评估标准。随后，介绍了包括剪枝、量化、知识蒸馏和低秩近似在内的多种模型压缩方法，以及全面的微调技术、参数高效微调技术，还有以RLHF和RLAIF为代表的面向对齐的微调方法。核心结论是……

CRediT作者贡献说明
金智贤：撰写——初稿撰写、可视化处理、研究分析。
李汉永：撰写——初稿撰写、结果验证。
李在成：指导监督、项目管理。

利益冲突声明
作者声明不存在任何可能影响本研究结果的已知财务利益或个人关系。

李汉永于2022年在韩国首尔忠安大学获得计算机科学学士学位，2024年在该校获得人工智能硕士学位。他目前正在忠安大学人工智能系攻读博士学位。他的研究兴趣包括大型语言模型、自然语言处理安全、网络钓鱼检测，以及针对视觉干扰文本的对抗性鲁棒性。