在不确定性条件下的大语言模型动态自适应集成解码

《Knowledge-Based Systems》：Dynamic adaptive ensemble decoding under uncertainty for large language models

【字体：大中小】 时间：2026年09月01日 来源：Knowledge-Based Systems 8.0

编辑推荐：

　　•我们提出了一个新颖的两阶段框架GUIDE，以缓解异构大语言模型（LLM）集成在计算延迟高和生成结果不稳定方面的挑战。•我们设计了一种不确定性门控辅助触发器（Uncertainty-Gated Auxiliary Trigger）和双粒度不确定性过滤（Dual-Granulari

•
我们提出了一个新颖的两阶段框架GUIDE，以缓解异构大语言模型（LLM）集成在计算延迟高和生成结果不稳定方面的挑战。
•
我们设计了一种不确定性门控辅助触发器（Uncertainty-Gated Auxiliary Trigger）和双粒度不确定性过滤（Dual-Granularity Uncertainty Filtering）机制，成功减少了不必要的计算并拒绝了矛盾信号。
•
我们在多种生成性和选择题基准测试上进行了广泛实验，证明了该框架的有效性和稳定性。

引言

目前，大型语言模型（LLM）在各种下游任务中表现出了卓越的性能[1],[2],[3],[4]。然而，对于任何单一模型而言，要在所有任务领域都表现出强劲的能力仍是一个根本性的挑战[5],[6]。由于训练语料库、底层架构和对齐策略的差异，不同的LLM固有的优势和知识边界也各不相同[7],[8]。因此，当处理超出其专业范围的多样化任务时，单个模型不可避免地会遇到性能瓶颈[9],[10]。

为了超越这些能力上限，研究人员越来越关注模型集成[11],[12],[13]。通过系统地整合多个LLM，模型集成方法旨在协同利用它们的集体知识和互补能力，从而产生更准确的结果[14],[15]。早期的集成方法主要基于同构架构，通过组合输出分布或选择整个生成的序列来改进响应[16],[17]。此外，最近的研究转向了整合异构模型，以改善在更广泛任务范围内的泛化能力[18],[19],[20]。然而，由于异构LLM使用根本不同的分词器，整合这些模型需要复杂的标记对齐机制来解决离散表示之间的差异[21]，这通常通过构建联合词汇表上的映射矩阵或将逻辑值（logits）投影到共享的相对空间来解决[22],[23]。

尽管协作生成在理论上有诸多优势，但如图1所示，基于标记的集成框架面临显著的实际挑战。第一个主要限制是高延迟[22]。传统的基于标记的方法要求在每个解码步骤都计算并合并所有参与模型的输出分布。这种频繁的计算开销的快速累积使得生成过程对于实际应用来说成本高昂。盲式逐步集成的另一个关键缺点是不稳定性[23]。当参与模型之间存在显著的能力差距、风格不一致或知识不对齐时，强制在每个标记步骤进行融合不可避免地会引入噪声或矛盾信号，这可能会引发严重的知识冲突，破坏解码轨迹，并显著降低最终输出的质量。

因此，我们提出了门控不确定性驱动的集成解码集成（GUIDE）框架，该框架通过精心设计的两阶段架构来优化计算效率和稳定性。在初始阶段，GUIDE采用轻量级探针筛选（Lightweight Probe Screening，LPS）策略在最小的探针数据集上评估候选模型。此筛选过程确定一个最优的主要模型作为可靠的生成锚点，并将其余候选模型指定为辅助模型。

然后框架进入不确定性控制解码阶段。为了解决高延迟问题，我们设计了一个UGAT，它不是在每个解码步骤都计算所有候选模型的集成分布，而是持续监控主要模型的生成不确定性，并仅在当前步骤超出主要模型的知识边界时激活辅助模型。

此外，我们引入了双粒度不确定性过滤（Dual-Granularity Uncertainty Filtering，DG-UF）机制，以克服盲目集成带来的不稳定性。当激活辅助模型时，DG-UF严格评估融合后的分布，并仅在这些分布相对于主要模型在标记或查询层面显著降低了预测不确定性时才接受它们。通过丢弃辅助模型中的矛盾信号，这一过程有效地防止了知识冲突，保证了生成的稳定性。

为了全面评估所提出框架的有效性，我们在六个基准数据集上进行了广泛的实验，涵盖了生成性和选择题任务，使用了五种主流的基于指令的LLM。实验结果表明GUIDE在保持较低计算延迟的同时，始终实现了高于现有最佳基线的集成准确性。更重要的是，该框架展现了强大的稳定性，始终能够提高性能或在所有单独子任务中保持最佳模型的表现。这有效地缓解了传统基于标记的集成方法中常见的性能下降问题。本文的主要贡献可以总结如下：

•
我们诊断了当前基于标记的集成框架中的延迟和稳定性瓶颈，并提出了GUIDE，这是一种用于动态整合异构LLM的新颖两阶段框架。
•
我们设计了一种UGAT机制，该机制通过监控生成不确定性来适应性地激活辅助模型，从而显著减少了逐步集成的延迟。
•
我们设计了双粒度不确定性过滤（DG-UF）机制，它在标记和查询层面过滤掉矛盾信号，以避免知识冲突并确保生成的稳定性。
•
我们在多种基准数据集和模型上进行了广泛实验，证明了我们的GUIDE框架在生成准确性和解码延迟之间实现了优于现有最佳基线的平衡。

章节摘录

初步介绍

在本节中，我们介绍了基于标记的模型集成范式和标记对齐策略，这些是动态集成的基础。

方法论

在本节中，我们介绍了GUIDE框架，如图2所示。该框架分为两个不同的阶段：（1）LPS（轻量级探针筛选）和（2）不确定性控制解码，后者通过UGAT和DG-UF机制整合辅助模型。

实验结果

在本节中，我们描述了主要实验中使用的数据集和模型、比较基准、实验设置以及获得的结果。

进一步分析

在本节中，我们对GUIDE框架的三个核心机制进行了全面而严格的评估：轻量级探针筛选（LPS）、UGAT和双粒度不确定性过滤（DG-UF）。使用包含Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct的代表性集成配置，我们进行了消融研究，以分离每个组件的具体贡献，并进行了敏感性分析，以评估关键超参数对整体性能的影响

结论

本文重点关注由于异构LLM的基于标记的集成框架所带来的高延迟和知识冲突引起的不稳定性问题。为了克服这些挑战，我们提出了GUIDE框架，它实现了自适应和基于不确定性的协作生成。GUIDE首先通过LPS识别一个可靠的主要模型。在解码过程中，仅在主要模型表现出高不确定性时选择性地激活辅助模型，从而减少不必要的计算。

CRediT作者贡献声明

魏涛（Weitao Ma）：撰写——审稿与编辑、撰写——初稿、验证、软件、方法论、形式分析。冯晓成（Xiaocheng Feng）：撰写——审稿与编辑、验证、资源获取。黄磊（Lei Huang）：撰写——审稿与编辑、验证、方法论、调查。黄一心（Yichong Huang）：撰写——审稿与编辑、验证、方法论。叶阳帆（Yangfan Ye）：撰写——审稿与编辑、监督。冯晓忠（Xiachong Feng）：撰写——审稿与编辑、监督。秦冰（Bing Qin）：验证、监督：

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。

致谢

本工作得到了国家自然科学基金（NSFC）（资助编号6252200908、62276078）、中央高校基本科研业务费（XNJKKGYDJ2024013）以及微小航天器快速设计与智能集群国家重点实验室（MS01240122）的支持。

魏涛|冯晓成|黄磊|黄一心|叶阳帆|冯晓忠|秦冰

引言