摘要
压缩既会改变大语言模型所保留的信息，也会影响完成请求所需的资源。本文是一篇叙述性综述，主要围绕基于解码器的语言模型（LLM）的自回归文本生成，考察量化、剪枝与稀疏化、知识蒸馏、低秩分解，以及针对 token、上下文和键值缓存的压缩技术。其核心贡献在于综合各研究相对于自身基线的变化，将压缩机制与能力表现及部署选择关联起来。四张数值表格分别呈现了在不同压缩预算下的质量变化、蒸馏带来的相较于同等规模学生模型的增益，以及成对或独立的部署测量结果。在信息报告质量方面，本文依据来源身份、对比条件、测量范围、产物完整性和不确定性进行评估。所综述的案例表明，容量约束如何改变可行精度选择，共享预算的分配如何影响不同任务得分，以及紧凑模型构建与请求压缩如何应对互补性的资源需求。本文还提出了一套部署验证流程，将上述发现转化为面向目标工作负载的候选检验项。仍待解决的问题涉及跨能力迁移、压缩信息的延迟利用、压缩阶段间的交互效应，以及包括智能体交互在内的完整任务成本。
