PACER：基于分块预验证的自适应长度推测解码方法

《Artificial Life》：PACER: Blockwise Pre-verification for Speculative Decoding with Adaptive Length

　　

摘要：

推测解码是一种强大的技术，能够在不牺牲准确性的前提下加速大型语言模型的推理过程。通常，推测解码会使用一个较小的草稿模型来生成固定数量的草稿标记，然后由目标模型对这些标记进行并行验证。然而，我们的实验表明，不同解码步骤中最佳的草稿长度存在显著差异。这种差异表明，使用固定的草稿长度会限制进一步提升解码速度的潜力。为了解决这一难题，我们提出了PACER，这是一种新颖的方法，它通过一个轻量级且可训练的预验证层来动态控制草稿长度。该层会在草稿标记被发送到目标模型之前对其进行分块预验证，如果分块预验证失败，草稿模型就可以停止生成标记。我们在多组SD模型对上实现了PACER，并在各种基准测试中评估了其性能。我们的结果表明，与自回归解码相比，PACER的加速比可达2.66×；同时，与Ouroboros结合使用时，其加速比可达3.09×；而与EAGLE-2结合使用时，其加速比甚至可达3.93×，这充分体现了我们方法的兼容性。