SpecPV：通过部分验证改进长上下文生成的自推测解码

《Neurocomputing》：SpecPV: Improving self-speculative decoding for long-context generation via partial verification

　　验证开销限制了长上下文下的推测解码。部分验证结合选择性KV状态，可实现高效解码。周期性全量验证可防止误差累积并保持生成质量。引言大语言模型（LLMs）正被越来越广泛地应用于文档分析、代码生成和科学发现（例如基于结构的药物设计）[1]、[2]等。随着其应用场景的扩展，长上下文生成已成为一项日益重要的能力，DeepSeek和Qwen3等模型都提供了支持[3]、[4]。对长上下文生成的需求主要源于两个方面：一方面，随着LLM能力不断增强，文档分析、摘要生成和代码生成等应用需要处理越来越长的输入，从而推动了对更上下文长度的需求；另一方面，随着思考模式的流行[5]、[6]，模型需要显式生成其推理过程，这通常导致更冗长甚至啰嗦的输出，进一步加大了高效长上下文生成的难度。目前已提出多种提升长上下文生成效率的方法，例如稀疏注意力[7]、[8]、KV缓存量化[9]以及新架构的探索[10]、[11]。近期在KV缓存优化方面的进展进一步提升了长上下文推理的内存效率和解码速度[12]、[13]。除此之外，最直接有效的方法之一是推测解码：在自回归生成过程中，模型每次只能预测一个token，生成长序列时需要反复前向计算；推测解码通过"草稿—验证"框架缓解这一问题：先由轻量级草稿模型生成多个候选token，再由目标LLM在一次前向中统一验证。由于草稿模型速度更快，且可一次接受多个token，该方法显著降低了解码延迟。近期研究探讨了将推测解码应用于长上下文生成以实现无损加速[14]、[15]、[16]。在处理长上下文时，主要挑战在于KV缓存迅速膨胀以及注意力的复杂性。因此，这些方法通常专注于设计KV缓存轻量的草稿模型，而在验证阶段依赖完整KV以确保无损性。然而，当我们将EAGLE-3 [17]应用于长上下文生成时，测量了平均草稿与验证时间（见Fig. 1）。对于较短的上下文，虽然每个草稿步骤相对较快，但搜索并生成树状候选token集合仍然带来不可忽视的成本。但随着上下文长度增加，验证时间从约60%逐步上升到接近80%，逐渐成为主要瓶颈。这一观察引发一个根本性问题：在长上下文推测解码中，全量验证是否真的必要？是否可以通过仅使用部分KV状态实现可靠验证，从而大幅降低验证开销？一个自然的顾虑是，部分验证可能会损害模型性能。但已有众多研究[7]、[18]、[19]表明，LLM中的注意力具有强稀疏性，尤其在处理长上下文时。这表明通过精心设计检索策略，仅用部分KV缓存即可实现有效验证，且精度损失可忽略不计。基于这一洞察，我们提出一种用于自推测解码的部分验证方法。在该框架中，目标LLM与轻量级草稿模块交替进行前向传播。验证过程中，目标LLM可获得已接受token的层特征，并复用来指导后续草稿。由于使用部分KV缓存计算的状态可能与使用完整上下文时的状态存在偏差，进而影响后续草稿，我们仅将部分验证步骤替换为部分验证，并定期执行全量验证，重新计算先前已接受token的KV状态并刷新部分KV缓存。此外，由于部分KV缓存远小于完整缓存，在内存受限的场景下，我们只需将完整KV缓存卸载到主机内存，而将部分缓存保留在设备上，从而获得进一步的加速。最后，我们采用EAGLE-3草稿[17]，在不同模型与数据集上评估了SpecPV的模型性能与效率。实验结果表明，SpecPV仅带来可忽略的精度损失，却可获得显著的效率提升：相比标准自回归解码可实现最高6倍的解码加速，在60K上下文长度下相比全量验证可获得约2倍加速。综上，我们的主要贡献如下：• 我们总结了自推测解码的框架，并指出了其在长上下文生成中的瓶颈。• 我们提出了SpecPV，一种带有部分验证的推测解码框架，进一步加速长上下文生成。• 我们在不同模型和数据集上评估了SpecPV，在精度损失可忽略的情况下实现了最高6倍的解码加速。章节摘录推测解码推测解码是一种广泛用于无损加速自回归模型的方法。[20]提出了Speculative Sampling，并证明其在理论上等价于标准采样。推测解码的一个关键挑战是如何组织候选token以提高草稿阶段的接受长度。经典方法使用一个小型推测模型生成单一候选序列。SpecInfer [21]将候选token组织成树结构，有效地SpecPV本节介绍SpecPV——一种用于长上下文生成的部分验证自推测解码方法。我们首先介绍自推测解码的推理框架并指出其瓶颈，然后提出部分验证方法，最后为最小化潜在性能退化，定期采用全量验证以缓解累积误差。以下各小节将分别详细描述各组件。实验本节设计一系列实验，从模型性能和生成效率两方面评估SpecPV。结论本工作提出SpecPV——一种使用部分KV缓存进行快速验证，并定期执行全量验证以消除累积误差的自推测解码方法。通过加速推测解码中的验证阶段，SpecPV进一步提升了长上下文场景下的生成效率。实验表明，SpecPV相比标准自回归解码可实现最高6倍的解码加速，且仅有轻微精度下降。CRediT作者贡献声明**Zhendong Tan（谭震东）**：初稿撰写、方法论、概念构思。**Xingjun Zhang（张兴军）**：监督指导、资源提供、资金获取。**Chaoyi Hu（胡朝毅）**：可视化、验证。**Junjie Peng（彭俊杰）**：验证。**Kun Xia（夏昆）**：审阅与编辑。利益冲突声明作者声明，其不存在已知的财务利益或可能影响本文所报告工作的个人关系等竞争利益冲突。致谢本工作得到国家自然科学基金（批准号：62372366）的资助。作者简介**Zhendong Tan**于2023年获得中国西安交通大学学士学位，目前正于西安交通大学攻读博士学位。其研究方向包括高效机器学习与计算机体系结构。Zhendong Tan | Xingjun Zhang | Chaoyi Hu | Junjie Peng | Kun Xia