《Information》：An Expert Routing Method Based on Positive Sample Semantic Distribution via BGMM-LSE
编辑推荐：
多专家大语言模型（LLM）系统需要在复杂任务场景中动态地将用户请求分配给多个候选专家，以提高推理精度和系统效率。为了解决现有路由方法依赖人工规则、统一判别边界或大规模标注数据，以及专家扩展时维护成本高的问题，本文提出了一种基于正样本语义分布建模的专家路由方法B
多专家大语言模型（LLM）系统需要在复杂任务场景中动态地将用户请求分配给多个候选专家，以提高推理精度和系统效率。为了解决现有路由方法依赖人工规则、统一判别边界或大规模标注数据，以及专家扩展时维护成本高的问题，本文提出了一种基于正样本语义分布建模的专家路由方法BGMM-LSE。该方法仅使用每个候选专家历史上成功处理的请求构建正样本集，并通过预训练文本特征提取模型将请求映射为稠密语义向量；随后，为每个专家独立训练一个贝叶斯高斯混合模型（BGMM）以表征其成功请求在语义空间中的能力分布。在线推理时，系统将目标请求编码为特征向量，结合每个专家保留的高斯分量参数和平滑协方差矩阵计算对数似然分数，并使用Log-Sum-Exp聚合不同分量的概率贡献。最后，将请求路由至得分最高的专家模型。实验基于七个任务进行评估：Math、GSM-Symbolic、HumanEval、Mbpp、MMLU、AIME1983–2025和HellaSwag。结果表明，该方法平均路由精度达到86.25%。实验结果证明，BGMM-LSE能够为多专家大语言模型系统提供稳定的请求分配能力，同时保持可解释性和可扩展性。
**论文解读文章**
### 研究背景与问题
在多专家大语言模型（LLM）系统中，不同候选专家在数学推理、代码生成、知识问答等任务上各具专长，整体系统性能不仅取决于专家能力，更依赖于动态路由策略将用户请求分配给最合适的模型。现有路由方法主要分为三类：基于人工规则（如FrugalGPT的级联调用）、基于统一判别边界（如线性分类器、多层感知机、图路由或近邻聚类），以及基于大规模标注数据训练（如RouteLLM、RouterBench）。这些方法在静态场景下有效，但存在三方面局限：第一，依赖人工规则或全局判别边界，难以适应专家能力重叠或多模态分布；第二，当新增专家时通常需要全局重训练或调整，维护成本高；第三，对大规模标注数据需求高，在真实部署中难以持续获取。因此，亟需一种能够独立建模每个专家能力区域、自然支持专家扩展且保持可解释性的路由框架。
### 研究内容与结论
本文提出BGMM-LSE（Bayesian Gaussian Mixture Model with Log-Sum-Exp aggregation）专家路由方法，核心思想是将路由问题转化为专家正样本语义分布匹配问题。该方法离线阶段：仅利用每个专家历史上成功处理的请求构建正样本集，通过预训练文本编码器（BAAI/bge-large-en-v1.5）映射为1024维稠密向量，为每个专家独立训练一个带Dirichlet过程先验的贝叶斯高斯混合模型（BGMM），自适应确定有效高斯分量数量，并提取权重、均值、协方差矩阵作为专家能力画像。在线阶段：对目标请求提取特征向量，利用协方差平滑（基于平均方差的正则化对角扰动）和Log-Sum-Exp聚合各个分量对数似然分数，路由至得分最高的专家。实验在七个公开基准数据集（Math、GSM-Symbolic、HumanEval、Mbpp、MMLU、AIME1983–2025、HellaSwag）上，使用六个候选专家模型（DeepSeek-R1-Distill-Qwen-14B、Llama-3.3-70B-Instruct、Qwen3-30B-A3B、Qwen3-30B-A3B-Instruct-2507、Qwen3-Coder-30B-A3B-Instruct、Qwen2.5-7B-Instruct）进行评估。结果显示，BGMM-LSE达到平均路由精度86.25%，在数学、代码、推理三类任务上均保持竞争力，且优于K-NN回归、固定分量GMM等对比方法。该论文发表在《Information》期刊。
### 关键技术方法（250字以内）
研究人员采用以下关键技术：1）使用预训练文本特征提取模型BAAI/bge-large-en-v1.5将请求文本映射为1024维稠密语义向量；2）为每个候选专家独立训练一个贝叶斯高斯混合模型（BGMM），通过Dirichlet过程先验自适应确定有效高斯分量数量，无需手动设定分量数；3）引入协方差平滑机制，基于平均方差构造正则化对角矩阵并加到原始协方差矩阵上，提高高维空间似然计算的数值稳定性；4）在线路由时，采用Log-Sum-Exp聚合各分量对数似然，避免概率直接求和导致的数值下溢。实验数据来源于七个公开基准数据集（Math、GSM-Symbolic、HumanEval、Mbpp、MMLU、AIME1983–2025、HellaSwag），候选专家模型包括DeepSeek-R1-Distill-Qwen-14B等六个开源LLM，所有实验在配备八块NVIDIA Tesla V100 GPU的Linux服务器上完成。
### 研究结果
#### 6.1 整体路由性能（Overall Routing Performance）
通过对比六种路由方法（如K-NN回归、固定分量GMM、逻辑回归等）在七个数据集上的Top-1精度，BGMM-LSE取得86.25%的最高宏平均精度。在数学任务上，Math和GSM-Symbolic分别达到85.16%和96.40%；代码任务上，HumanEval（93.94%）和Mbpp（79.00%）均为最优；推理任务上，MMLU（87.89%）、HellaSwag（79.75%）和AIME1983–2025（81.63%）均取得最佳或持平结果。此外，Top-k指标（Precision@1、Recall@1、F1@1、Hit@2、Recall@2）也优于对比方法，表明BGMM-LSE在单专家选择和Top-2覆盖上均表现更优。
#### 6.2 计算复杂度与内存分析（Computational Complexity and Memory Analysis）
与K-NN回归相比，BGMM-LSE离线画像构建耗时8.90秒，一次准备耗时0.10秒，而K-NN仅需0.08秒；但BGMM-LSE将宏平均路由状态内存从19.25 MB降至15.44 MB，且在线推理时延显著降低（均值0.30 ms vs 8.23 ms，P95 0.33 ms vs 13.20 ms）。这是因为K-NN在推理时需检索历史请求嵌入，而BGMM-LSE仅需对紧凑的预计算专家画像进行似然评分。
#### 6.3 消融研究（Ablation Study）
去除多分量建模结构后，平均精度从86.25%降至85.36%；进一步去除协方差平滑后降至84.76%；用最大分量评分替代Log-Sum-Exp聚合时精度不变（86.25%），但Log-Sum-Exp提供更稳定的数值聚合。消融实验证实了多分量建模和协方差平滑对路由性能的贡献。
#### 6.4 路由行为与案例分析（Routing Behavior and Case Analysis）
不同数据集上专家选择比例分布呈现任务依赖性（如代码任务更多选择Qwen3-Coder-30B-A3B-Instruct，数学任务更多选择DeepSeek-R1-Distill-Qwen-14B），验证了BGMM-LSE能根据请求语义与专家能力画像的匹配度动态分配，而非固定选择同一专家。案例分析展示典型路由决策，进一步说明其语义匹配机制。
### 讨论总结
本文讨论部分强调以下要点：第一，方法与应用场景的一致性：虽然实验使用公开基准，但实际部署中正样本应来源于真实历史请求和执行日志。第二，正样本建模的优势：每个专家能力画像独立保存，新增专家时只需拟合新BGMM，无需重训练全局分类器，维护性和可解释性强。第三，协方差平滑和Log-Sum-Exp的必要性：在高维语义空间（1024维）中，原始协方差矩阵可能非正定，平滑处理可提高矩阵可逆性与稳定性；Log-Sum-Exp防止概率下溢。第四，BGMM（带Dirichlet过程先验）的选择理由：专家成功请求可能占据多个语义区域，Dirichlet过程先验自适应抑制低权重分量，有效分量数由数据决定，优于固定分量或BIC选择（BIC倾向于单分量，平均精度较低）。第五，可重用性：框架可迁移至多智能体编程助手、客服系统、医疗法律辅助等其他多专家场景，只需更换专家池和历史记录。
### 研究结论（翻译原文）
本文提出了一种基于正样本语义分布建模的专家路由方法BGMM-LSE，旨在解决异构多专家大语言模型系统中的请求分配问题。通过对专家历史成功样本的语义分布进行建模，该方法实现了用户请求与候选专家能力的概率匹配，并减少了对统一分类边界的依赖，同时保持了可解释性和可扩展性。实验结果表明，BGMM-LSE路由器在七个数据集上达到了86.25%的平均精度，验证了其在涵盖数学、代码和推理的多任务路由场景中的有效性。
