专家引导的路由机制：一种用于任务特定及多语言大语言模型优化的监督式事后路由框架

《Neurocomputing》：Expert-guided routing: A supervised post-hoc routing framework for task-specific and multilingual LLM specialization

　　

摘要

静态模型合并为整合专用大型语言模型提供了一种实用方法，但当各个专家模型负责的任务功能不同时，直接融合权重往往会导致参数干扰。我们提出了专家引导路由（EGR）这一基于监督的后处理路由框架，可用于组合一组已冻结的专家模型而无需重新训练。EGR利用一个轻量级的外部MLP路由器，该路由器通过从共享骨干网络中提取的语义表示进行训练。其核心设计思路是采用自适应双流表示策略：当专家身份主要由任务内容决定时，使用以内容为重点的表示；而在多语言路由等情况下，当专家身份主要由用户意图决定时，则使用以指令为重点的表示。我们在五种不同的骨干网络设置下，对EGR在多任务推理和多语言生成任务上的表现进行了测试。结果显示，在任务重叠度较高的多任务场景中，EGR虽提升效果较为温和，但表现稳定，其优势在于不会破坏模型的模块化结构；而在多语言专业场景中，由于静态融合更容易引发专家模型之间的干扰，EGR能带来更显著的提升效果。进一步分析表明，所提出的路由策略具有较强的抗语义噪声能力，并且在采用顶级1排序策略时仍能保持较低的活跃内存开销。这些结果表明，EGR是一种适用于基于监督方式后处理组合已冻结大型语言模型专家模型的实用框架。如需完整复现实验结果，EGR的代码及检查点可在以下地址获取：https://github.com/qidong1013-netizen/Expert-Guided-Routing.

颜启东|罗聪飞|王彦峰