DDPT：通过蒸馏与动态提示调优提升大型语言模型的复杂推理能力

《Neurocomputing》：DDPT: Enhancing complex reasoning in large language models via distillation and dynamic prompt tuning

　　葛腾|陈晨|王文晓|范思楠|谢良|田翔|陈鹏|刘学松|陈耀武|叶杰平中国浙江大学，浙江省杭州市哲达路38号，邮编310027摘要提示调优（PT）是一种广泛采用的参数高效微调方法，通过优化一小部分连续的输入嵌入——即软提示，来使大型语言模型适应下游任务。由于其轻量级的特性，该方法便于高效部署，但有限的参数容量限制了其在复杂推理任务上的表现。而简单延长软提示以提升推理性能既低效，有时甚至无效。为解决这些问题，我们首先通过将学习目标从拟合人工标注数据转变为从结构相似的硬提示（即少样本示范）中提取推理知识，从而降低优化难度。其次，我们不再使用单一冗长的软提示，而是提取多个较短的软提示，每个软提示针对特定的数据子集。为最大化推理准确性，我们采用了两种动态策略：基于相似度的预推理选择模块，用于将查询路由到最优软提示；以及基于轻量级软提示的验证器，用于推理后的过滤。最后，我们将这些阶段整合在一起，形成了在PT框架下的统一体系，称为蒸馏与动态提示调优（DDPT）。在多种推理基准测试和大型语言模型架构上的实验表明，DDPT显著提升了PT的潜力。值得注意的是，与参数数量相当的标准提示调优相比，我们的框架平均准确率提升了8.39%，且所需参数更少，性能甚至优于LoRA。大量的消融实验也为未来提示调优研究提供了宝贵见解。引言近年来，随着大型预训练基础模型的发展[1]，包括大型语言模型[2]和视觉语言模型[3]，人工智能领域取得了显著进展。鉴于这些模型庞大的参数规模，参数高效微调技术[4]、[5]已成为以最低计算成本使这些模型适应各种下游任务的重要手段。常见的PEFT方法包括提示调优[6]、低秩适配[7]、前缀调优[8]以及适配器[9]。其中，提示调优因其仅需调整少量可训练的输入嵌入——即软提示，而非来自文本分词后的离散嵌入——而成为最轻量且最易于实现的方案（见图1(a)）。自提出以来，该技术在多种模型和任务中都展现出了良好的效果。然而，我们发现提示调优在处理复杂推理任务时往往存在困难[10]。主要原因有二。首先，尽管提示调优具有极低的计算成本，但由于参数数量极少以及固有的结构限制，其拟合能力有限[11]、[12]。这种结构缺陷（源于可训练参数的位置）可能导致即使拥有无限数量的可训练嵌入，提示调优也无法拟合某些数据集。此外，推理任务通常涉及思维链过程[13]，即答案是通过逐步推理得出的。这些复杂的推理过程进一步增加了欠拟合的风险。其次，单纯延长软提示长度（见图1(c)）以提高拟合能力不仅效率低下，有时甚至毫无效果（见表2）。由于Transformer架构的复杂性，推理时的计算成本与序列长度及软提示长度成正比。对于复杂的推理任务而言，序列长度本身就很大，因此增加软提示长度会带来相当大的额外计算负担。而且，由于欠拟合问题部分源于结构因素，仅仅添加更多可训练嵌入并不能解决根本问题。为应对这些挑战，我们探索了其他策略，以简化软提示的拟合过程。首先，我们回顾了思维链推理的起源[13]，即利用少样本示范（硬提示）来激发大型语言模型的推理能力。这表明与推理相关的知识实际上存储在硬提示中。由于软提示和硬提示都作为输入嵌入，它们在结构上具有相似性，因此将知识从硬提示转移到软提示可能比直接从人工标注数据训练软提示更为容易。我们在初步实验中对此进行了验证（见表1），发现无论在何种大型语言模型架构（LLaMA-2、LLaMA-3、Mistral）以及推理数据集（GSM8K、AQuA、MATH）下，单样本示范生成的数据所对应的困惑度始终显著低于真实数据。受此启发，我们将提示调优的目标从拟合人工标注数据转变为从硬提示中提取知识到软提示中。具体而言，我们将少样本示范视为“教师模型”，并训练“学生模型”来模仿教师的输出（见图1(b)）。从另一个角度来看，这种设计也是一种自我训练方式，以往的研究已证明，通过让模型学习自身的输出，该方法在训练大型语言模型处理推理任务时十分有效[16]、[17]、[18]、[19]。这也使得我们的框架无需依赖大量人工标注的推理内容。其次，我们没有依靠单个长软提示来学习整个数据集，而是提议将学习任务分配到多个较短的软提示上，每个软提示负责处理数据中的特定子集。具体来说，我们使用不同的硬提示教师来提取不同的软提示，确保每个软提示仅学习其对应教师能够正确解决的那一部分数据。这样的设计减少了每个软提示需要编码的数据量，从而降低了拟合难度。显然，这些专门的软提示之间存在互补性。为充分利用这一点，我们设计了两种动态策略，以便为每个查询选择最合适的软提示。受到动态示范方法的启发[20]、[21]，我们引入了预推理策略（见图1(d)），通过计算输入查询与原始教师示范之间的相似度来选择最优软提示。此外，受到利用验证器检测推理错误的启发[19]，我们还设计了推理后策略。通过重新利用生成的蒸馏数据集，我们用标准提示调优方法训练出一个基于软提示的验证器。这个轻量级的验证器可与多数投票机制结合，用于在推理结果生成后过滤掉错误的推理路径（见图1(d)）。最后，我们将这两个阶段整合到PT框架下的统一体系中，命名为蒸馏与动态提示调优（DDPT）。我们在多种推理数据集和大型语言模型上进行了全面实验，以验证我们的方法。与传统提示调优相比，我们的方法始终表现出更好的性能，在参数数量相当的情况下，相比100个token的提示调优基准，平均准确率提升了8.39%。总之，我们的主要贡献包括：•为了解决在参数有限的情况下拟合复杂推理数据的难题，我们提出将提示调优的学习目标从拟合真实数据转变为从硬提示（少样本示范）中提取知识。•为了解决简单延长软提示效率低的问题，我们提出提取多个较短且互补的软提示，并设计了两种动态策略：基于相似度的预推理选择和基于验证器的推理后过滤，从而为每个查询动态选择最优软提示。•在多种推理基准测试上的实验表明，DDPT显著提升了提示调优的潜力。大量的消融实验也为参数高效微调领域的进一步研究提供了宝贵启示。章节片段参数高效微调参数高效微调技术[4]、[5]旨在通过仅更新极少数的参数，使大型基础模型适应下游任务，从而在保持良好性能的同时大幅降低计算和存储成本。现有的PEFT方法大致可分为两类。第一类方法侧重于在低维子空间内近似参数更新或模型输出。一个典型的例子就是低秩适配初步研究：传统提示调优我们首先对传统的提示调优方法[6]进行规范描述。假设有一个包含个数据样本的标记数据集，以及一个由参数化的预训练大型语言模型。每个输入文本会被映射为一组词嵌入序列，其中表示序列长度，表示嵌入维度，而则是映射函数。为了进行提示调优，我们会在词嵌入序列之前添加另一组可训练的嵌入序列，代表虚拟令牌。将这些嵌入序列拼接起来即可得到最终的嵌入表示实现细节模型与数据集。为评估所提出的DDPT框架在不同代际、架构和规模下的有效性和通用性，我们在四种大型语言模型上进行了大量实验。我们的主要测试模型为LLaMA-2-13B[43]、LLaMA-3-8B[44]和Mistral-v0.2-7B[45]。此外，我们还使用了Qwen-2.5-7B[46]来验证该框架在较新大型语言模型上的兼容性。对于所有模型，我们都使用了它们的“指令”或“聊天”版本。对数据的依赖虽然DDPT相比传统提示调优能取得稳定提升，但它与其他自我训练方法一样，存在一个共同缺陷：即依赖于大型语言模型生成的数据。因此，如果收集到的训练数据质量不佳（例如，大型语言模型的基础准确率较低，或在单样本场景下无法良好泛化），则该框架的性能可能会受到影响。不过，我们的实验（见表4）表明，即便在某些情况下，DDPT依然能够保持良好效果扩展说明本研究的初步版本已被接受在2026年IEEE国际声学、语音与信号处理会议（ICASSP）上发表[57]。与4页的会议版本相比，这份期刊论文进行了大量扩展，具体如下：•方法部分：我们对算法设计进行了更严谨、更详细的描述，包括对整个DDPT流程的规范化阐述，以及算法1和算法2的介绍结论在本文中，我们提出了蒸馏与动态提示调优（DDPT）这一新的提示调优框架，旨在克服传统提示调优在处理大型语言模型中的复杂推理任务时的固有局限。具体而言，DDPT通过两种针对性的结构设计来解决这些问题。首先，为了解决软提示参数容量有限导致的欠拟合问题，我们改变了学习范式，不再拟合人工标注的真实数据CRediT作者贡献声明葛腾：撰写——初稿，软件开发，方法设计。陈晨：撰写——审阅与编辑，监督，方法设计。王文晓：调研，形式化分析。范思楠：软件开发，方法设计。谢良：验证，数据整理。田翔：撰写——审阅与编辑，监督，资金筹集。陈鹏：验证，资源协调。刘学松：可视化处理，调研。陈耀武：监督，项目管理。叶杰平：监督，项目管理。利益冲突声明作者声明存在以下可能被视为潜在利益冲突的财务利益/个人关系：田翔表示曾获得中国国家自然科学基金的支持，项目编号为U25A20539。陈晨表示与阿里云存在雇佣关系。叶杰平也表示与阿里云存在雇佣关系。其他作者则表示没有此类利益冲突声明致谢本研究得到了中国国家自然科学基金的支持，项目编号为U25A20539。葛腾于2019年毕业于浙江大学，目前在该校攻读博士学位，同时也在阿里云实习。他的博士研究方向为大型语言模型，目前的兴趣包括机制可解释性、复杂推理以及参数高效微调方法。