通过动态多路径和双流网络优化推测性解码
《Neural Networks》:Optimizing Speculative Decoding via Dynamic Multi-Path and Dual-Stream Networks
【字体:
大
中
小
】
时间:2026年04月27日
来源:Neural Networks 6.3
编辑推荐:
针对大型语言模型推理低效问题,本文提出双流网络架构(DSNA)和动态多路径解码机制(DMPD),通过并行处理词序列和特征序列,并结合自适应验证策略,在保证生成质量的前提下显著提升推理速度,实验验证优于现有方法。
杨勇|杨婷婷|高少帅|贾洪宁|凌正坤
中国科学院电子电气与通信工程学院,北京,中国
摘要
大型语言模型(LLMs)中广泛采用的Transformer架构由于自回归令牌生成的顺序性质,其推理效率有限。为了解决这个问题,提出了推测性解码(SD)方法,通过使用小型推测模型(SSMs)生成候选令牌,然后由目标LLM进行验证来加速LLM的推理。然而,SD方法常常受到一个关键挑战的制约:SSMs预测的令牌接受率较低。为了克服这一限制,本文提出了一种双流网络架构(DSNA),该架构引入了两个并行处理流,同时建模词序列和特征序列。这两个流的输出在后续阶段逐步融合,以提高候选预测的质量。此外,引入了一种动态多路径解码(DMPD)机制,以利用双流架构产生的丰富表示。该机制允许在单次前向传播过程中同时评估多个候选令牌路径,从而使模型能够在推理过程中接受多个令牌。大量实验表明,我们提出的方法在多个基准测试中一致性地优于现有的SD方法,在推理吞吐量和生成准确性方面都取得了显著提升。
引言
大型语言模型,如大型Transformer(Vaswani等人,2017年),与小型模型相比显示出显著更强的能力,这在文本或图像处理等各个领域都有体现。这类大型模型的例子包括GPT-4(Wiggers和Kyle,2024年)、Llama3.1(Dubey等人,2024年)和Gemma2(Team等人,2024年)。然而,大型模型有一个关键的限制:每个解码步骤的速度明显慢于小型模型。此外,这些步骤本质上是串行的。为了解码K个令牌,模型必须顺序运行K次。因此,它们更广泛的应用面临的一个重大障碍是高推理延迟,特别是对于拥有数百亿参数的极其深的模型(Chowdhery等人,2022年;Hoffmann等人,2022年)。延迟已成为一个关键的瓶颈。作为回应,业界转向了新的解码技术,以最小化大型语言模型的推理延迟。这一领域的创新进展是引入了块级并行解码(BPD)(Cai等人,2024年;Monea等人,2023年;Stern等人,2018年)。与自回归解码不同,块级并行LM配备了多个预测头,可以同时建议和验证连续令牌的草稿。虽然BPD为更快地生成文本提供了潜在的解决方案,但它也带来了确保提出的草稿保持流畅性和自然性的问题。
最近,使用推测性解码与草稿模型的方法变得越来越流行,其原理如图1所示。然而,这种方法需要额外的训练工作(Cai等人,2024年;Bae等人,2023年),或者使用较小的辅助模型来创建草稿(Chen等人,2023年;Miao等人,2024年),这可能会由于增加的参数或模型而增加内存需求。为了解决这些问题,提出了不依赖于训练或支持模型的替代方法,例如LLMA(Yang等人,2023年)和Lookahead-Decoding(Fu等人,2024年)。LLMA算法利用了一种适用于文档检索的文本匹配技术,但在其他场景中往往产生不太理想的结果。另一方面,Lookahead-Decoding采用Jacobi迭代来生成草稿,这可能会面临计算限制,从而影响其整体效果。推测性解码方法不可避免地面临一个根本性的权衡:增加探索或生成更长的推测前缀可以提高接受正确令牌的机会(提高最终任务的准确性并减少验证调用次数),但也会增加草稿生成的工作量和中间内存压力,从而影响延迟。我们的工作是基于这样一个观察:在许多实际应用中,主要的运行时成本不是来自轻量级的草稿生成本身,而是来自调用重量级的主LLM进行验证。DMPD通过以下方式利用了这种不平衡:(i)并行生成少量多样化、高质量的候选路径(降低每个草稿令牌都需要验证的概率),(ii)使用校准的轻量级判别器和自适应滞后来增加每次验证预期的接受前缀长度,以及(iii)应用预算缓存和掩码批量系统来分散任务之间的草稿工作量,同时保持内存成本在可控范围内。这些元素共同改变了权衡的运作点:适度的额外草稿工作和内存消耗导致较少的昂贵验证调用,从而在以验证为主的环境中降低端到端延迟,同时保持或提高输出质量。
我们的贡献可以总结如下:
•我们引入了一种动态多路径策略,通过使用位置编码作为先验信息来指导不同路径的选择和相应的权重调整。
•我们创新性地开发了双流网络架构,该架构同时处理特征序列和词序列的信息,并在后续阶段融合两个结果。
•我们在开源数据集上进行了广泛的实验,证明了双流网络架构在加速LLMs推理方面显著优于现有的最佳方法。
本文的其余部分组织如下。第二节描述了本文的背景和动机。第三节讨论了相关工作。第四节介绍了我们提出方法的详细信息。第五节提供了与现有最佳方法的评估结果。第六节总结了本文。部分摘录
背景和动机
本节首先介绍了推测性解码,提供了必要的背景知识。接下来,我们展示了从定量实验中得出的重要发现,这些发现突出了提高推测性解码速度的新机会。
相关工作
提高Transformer效率涉及微调现有模型权重或对模型架构进行根本性修改。例如,量化(Xiao等人,2024年;Dettmers等人,2022年)和模型剪枝(Sun等人,2024年;Ma等人,2023年)属于前者类别。同时,神经架构搜索在发现性能和效率之间取得平衡的网络结构方面发挥了重要作用。
方法论
现有方法,如LLMA(Yang等人,2023年),依赖于单分支方法。它们只关注一个可用的草稿,并忽略其他候选草稿。相比之下,我们的动态多路径策略同时检索多个草稿,并对这些草稿进行并行解码和验证。我们引入了验证接受(VA)和排序机制来支持这一过程。该机制系统地识别每个草稿的正确子序列,然后选择优先级最高的
实验
在本节中,我们评估了DMPD算法在多种LLMs和数据集上的性能。为了提供全面的比较,我们选择了三种最先进的序列级压缩算法作为基线方法。然后,我们展示了DMPD在模型准确性和硬件效率方面的优越性。
结论
在本文中,我们提出了DMPD,它使用双流网络同时在特征级别和令牌级别处理数据,从而提高了草稿的质量。我们还提供了理论分析,阐明了我们方法的内部工作原理。此外,我们开发了特殊的解码路径选择机制来支持解码验证阶段,从而提高了令牌接受率。全面评估表明,DMPD(L=3)的表现优于
补充实验
为了更好地验证我们方法的有效性,我们进行了带有评估指标的补充实验。除了加速效果外,我们还报告了生成准确性,以验证DMPD不会降低输出质量。表7总结了加速效果以及BLEURT(MT-bench)、Exact Match(BELLE QA)和Rouge-L(LongBench summarization)的比较结果。与基线推测采样相比,DMPD()实现了3.02×–3.32×的加速效果,同时提高了或保持了准确性:BLEURT提高了
CRediT作者贡献声明
杨勇:撰写——原始草稿,方法论。杨婷婷:监督。高少帅:监督。贾洪宁:形式分析。凌正坤:形式分析。
利益冲突声明
作者们没有与本文内容相关的利益冲突需要声明。
资助项目
PCL主要关键研究项目(PCL2023AS1-5, PCL2025A09)。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号